Brytyjski nadzór FCA chce zgłaszania awarii AI w finansach

Co dokładnie opublikował FCA

Dokument „AI in financial services: good practice and areas for improvement” nie jest nowym rozporządzeniem. FCA zebrał w nim obserwacje z rozmów z firmami, testów w programie AI Live Testing i w swoim sandboxie regulacyjnym. Podkreśla, że do AI stosuje się istniejące przepisy, w tym Consumer Duty, czyli obowiązek dbania o dobre wyniki dla klienta, oraz zasady odpowiedzialności kadry kierowniczej.

Dokument dotyczy firm regulowanych, które tworzą, kupują lub używają AI w związku z działalnością nadzorowaną. Obejmuje narzędzia budowane wewnętrznie, dostarczane przez zewnętrznych dostawców i używane przez pracowników przy podejmowaniu decyzji. FCA zapowiada, że będzie go aktualizować wraz z rozwojem technologii.

Dobre i złe praktyki według nadzorcy

FCA dzieli obserwacje na trzy obszary. Pierwszy to dobro klienta, drugi to nadzór i odpowiedzialność, trzeci to odporność operacyjna. Poniżej najważniejsze przykłady z dokumentu.

• dobra praktyka - niezależny panel z osób z różnych działów, który przed wdrożeniem ocenia każdy pomysł na użycie AI, w tym ryzyko stronniczości,
• dobra praktyka - progi alarmowe dla modelu z oceną czerwoną, żółtą i zieloną, które decydują o wzmożonym monitoringu albo czasowym wyłączeniu,
• zła praktyka - wdrażanie AI bez jasno określonej potrzeby i dopisywanie zasad nadzoru dopiero po uruchomieniu systemu,
• zła praktyka - zbytnie zaufanie, że model językowy sam rozpozna klienta w trudnej sytuacji na podstawie tekstu,
• zła praktyka - zautomatyzowana obsługa, z której klient nie może przejść do człowieka.

Zgłaszanie awarii AI i sytuacji bliskich szkody

Najdalej idącą zapowiedź przedstawiła Jessica Rusu podczas wystąpienia w cyklu Bloomberg UK Policy Series. Według niej obecne przepisy wymagają zgłaszania poważnych incydentów, a ten obowiązek musi objąć istotne awarie AI i zdarzenia bliskie szkody. Powołała się przy tym na brytyjskiego ministra ds. AI, który uznał raportowanie takich zdarzeń przy agentach AI za kwestię bezpieczeństwa narodowego.

Wystąpienie nie zawiera projektu przepisów ani terminów. The Register zwraca uwagę, że brytyjski rząd nie zdecydował jeszcze, czy doda wymogi dotyczące AI do projektu ustawy o cyberbezpieczeństwie i odporności sieci. FCA zapowiada natomiast prace z firmami, innymi regulatorami i dostawcami modeli nad ramami dla agentów w finansach, w tym nad tożsamością agenta i zakresem jego uprawnień.

FCA sam staje się nadzorcą korzystającym z agentów

Rusu opisała też, jak FCA używa AI we własnej pracy. Urząd buduje narzędzia do nadzoru nad 60 tys. firm, które w 2028 roku przejdą pod jego kontrolę w zakresie przeciwdziałania praniu pieniędzy. Agent nazwany market first responder ma nadzorować ok. 9 tys. mniejszych firm raportujących transakcje na rynkach hurtowych.

W wystąpieniu padły też dane o konsumentach. Według FCA czterech na pięciu mniej doświadczonych inwestorów w wieku 18-40 lat korzystało z AI przy inwestowaniu, ale tylko 40 proc. konsumentów wie, że nie ma ścieżki odwoławczej po skorzystaniu z porady ogólnego czatbota.

Co to oznacza dla firm finansowych w Polsce

Wytyczne FCA nie obowiązują polskich instytucji, chyba że prowadzą działalność regulowaną w Wielkiej Brytanii. Pokazują jednak kierunek, który widać też w UE. Akt o sztucznej inteligencji (AI Act) klasyfikuje m.in. ocenę zdolności kredytowej osób fizycznych jako system wysokiego ryzyka, a rozporządzenie DORA już wymaga zgłaszania poważnych incydentów teleinformatycznych.

W naszej ocenie polskie banki i ubezpieczyciele mogą potraktować dokument FCA jako praktyczną listę kontrolną. Warto sprawdzić, czy każdy system AI ma właściciela w zarządzie, czy istnieją progi wyłączenia modelu i czy klient zawsze może porozmawiać z człowiekiem.

Ograniczenia

Zapowiedź rozszerzenia zgłaszania incydentów pochodzi z wystąpienia, które FCA opublikował jako wersję przygotowaną przed wygłoszeniem, mogącą różnić się od wygłoszonej. Nie wiadomo, czy nowe wymogi powstaną w drodze konsultacji FCA, czy ustawy. Dokument o dobrych praktykach nie ma mocy przepisu, ale nadzorcy zwykle odwołują się do takich publikacji przy ocenie firm. Tekst nie jest poradą prawną.