Capgemini oceni cyberryzyka modeli AI dla Komisji Europejskiej

Co dokładnie zleciła Komisja Europejska

Według komunikatu Capgemini zlecenie przyznało Biuro ds. AI (AI Office) działające w Dyrekcji Generalnej CNECT. Projekt należy do unijnego programu bezpieczeństwa AI i dotyczy sytuacji, w których modele ogólnego przeznaczenia (GPAI) można wykorzystać do działań ofensywnych w cyberprzestrzeni. Firma wymienia automatyczne wykrywanie podatności, tworzenie exploitów, czyli kodu wykorzystującego luki, oraz koordynację ataków na dużą skalę.

Zakres obejmuje cztery rodzaje prac. To modelowanie nowych zagrożeń, narzędzia oceny, metodyki zgodności technicznej i doraźne oceny techniczne na zlecenie. Wyniki mają pomagać w identyfikowaniu ryzyk systemowych i egzekwowaniu obowiązków dostawców wynikających z AI Act.

Kto wchodzi w skład konsorcjum

Podział ról wynika z komunikatu Capgemini. Wykonawcy nie ujawnili, jak rozkłada się praca między nich w praktyce.

• Capgemini jest liderem konsorcjum.
• Wavestone wnosi doświadczenie w zarządzaniu ryzykiem cybernetycznym i bezpieczeństwie operacyjnym.
• LNE, czyli Laboratoire National de Métrologie et d'Essais, wnosi doświadczenie w ewaluacji AI i ocenie zgodności.

Jak zlecenie wiąże się z AI Act

Rozporządzenie 2024/1689 nakłada na dostawców modeli z ryzykiem systemowym obowiązki opisane w art. 55, w tym ocenę modelu, testy kontradyktoryjne, ograniczanie ryzyk, raportowanie poważnych incydentów i odpowiednie cyberbezpieczeństwo. Art. 92 pozwala Komisji prowadzić ewaluacje modeli, także z pomocą niezależnych ekspertów. Kontrakt pozwala urzędowi korzystać z zewnętrznych kompetencji technicznych.

Temat jest pilny, bo cyberzdolności modeli szybko rosną. OpenAI udostępniło właśnie GPT-6 Cyber wybranym zespołom bezpieczeństwa, a Biuro ds. AI wysłało wcześniej żądania informacji do OpenAI i Anthropic po incydentach z agentami.

Czego jeszcze nie wiadomo

Komunikat nie podaje wartości kontraktu, terminu rozpoczęcia ani daty zakończenia. Nie wiadomo też, które modele trafią do oceny i czy dostawcy będą musieli zapewnić konsorcjum dostęp do nich. Publicznego komunikatu Komisji o tym wyborze nie znaleźliśmy na dzień sprawdzenia, więc opieramy się na oświadczeniu wykonawcy.

Otwarte pozostaje także pytanie o niezależność. Capgemini jest wymieniane wśród klientów i partnerów Mistral Studio, czyli współpracuje z jednym z dostawców modeli. Komunikat nie opisuje zasad unikania konfliktu interesów. Nie oznacza to, że taki konflikt istnieje, ale przy ocenie firm z tego rynku czytelne zasady będą miały znaczenie.

Co to oznacza dla polskich firm

Bezpośrednie obowiązki dotyczą dostawców modeli, a nie polskich firm korzystających z gotowych usług. Skutki mogą jednak dojść do nich pośrednio, przez nowe ograniczenia funkcji, weryfikację użytkowników lub zmiany w dokumentacji modeli. Kto wdraża modele w działach IT i bezpieczeństwa, powinien śledzić karty systemowe i warunki dostawców.

W Polsce trwa równolegle budowa krajowego nadzoru z udziałem Komisji Rozwoju i Bezpieczeństwa Sztucznej Inteligencji. Ma on inne zadania niż Biuro ds. AI, które odpowiada za nadzór nad modelami ogólnego przeznaczenia. Tekst nie stanowi porady prawnej.