Chatbot w urzędzie a RODO. Hamburg opisał, jak używa LLMoin

Do czego hamburski urząd używa chatbota

HmbBfDI przygotowuje z pomocą LLMoin korespondencję w sprawach skarg składanych na podstawie art. 77 RODO. Studium wymienia jako przykłady pisma do stron postępowania, informacje o stanie sprawy i pomoc przy redagowaniu rozstrzygnięć. Polityka prywatności urzędu informuje o tym zastosowaniu, a skargi na Kancelarię Senatu, która udostępnia narzędzie, są z niego wyłączone.

Powód jest praktyczny. W 2025 roku do urzędu wpłynęło 4220 skarg, a zatrudnienie nie rosło w podobnym tempie. W 2026 roku liczba skarg nadal zwiększa się mniej więcej tak samo szybko. W marcowym podsumowaniu działalności urząd wskazał, że mieszkańcy częściej używają narzędzi AI, aby zdobyć informacje o swoich prawach i złożyć skargę.

LLMoin działa w hamburskiej administracji od grudnia 2024 roku. Senat nie trenował własnego modelu, a system jest nakładką kontrolującą to, co trafia do modelu i co z niego wychodzi. Obecnie korzysta z GPT-5.6 Terra w chmurze Microsoft Azure, na podstawie umowy o przetwarzaniu danych. Użytkownik ma do dyspozycji streszczanie, generowanie tekstów urzędowych, wyszukiwanie w zbiorach dokumentów i swobodne polecenia.

Dlaczego urząd nie uznaje modelu za anonimowy

Studium przyjmuje, że używany model z dużym prawdopodobieństwem nie jest anonimowy. Bez wiedzy o metodach producenta jest to w praktyce niemal niemożliwe do sprawdzenia. Urząd stosuje więc drugi scenariusz z opinii 28/2024 Europejskiej Rady Ochrony Danych z 18 grudnia 2024 roku. Podmiot wdrażający cudzy model odpowiada w nim za ocenę legalności treningu i za zapobieganie ujawnianiu nielegalnie przetworzonych danych.

To wyraźna zmiana wobec dokumentu z 15 lipca 2024 roku. Urząd twierdził wtedy, że duże modele językowe nie przechowują danych osobowych jako takich. Teraz urząd pisze, że tamte tezy nie są dla niego miarodajne, bo standardem nadzoru stała się opinia unijnej rady.

Skutek jest bardzo praktyczny. Usuwanie informacji z parametrów modelu, czyli machine unlearning, urząd uważa za technikę jeszcze niedojrzałą, więc ryzyko trzeba ograniczać wokół modelu. Studium przypomina też stanowisko niemieckich organów nadzoru, według którego filtr ukrywający odpowiedź nie jest usunięciem danych w rozumieniu art. 17 RODO.

Zabezpieczenia uznane za wystarczające

HmbBfDI ocenił zestaw środków łącznie i uznał go za wystarczający. Urząd podkreśla, że nie istnieje jedno uniwersalne rozwiązanie, a dobór zabezpieczeń zależy od zastosowania. W LLMoin działają następujące elementy.

• filtr odpowiedzi, który pomaga realizować sprzeciw z art. 21 RODO i ukrywać znane błędne informacje,
• filtr treści wychwytujący nienawiść, seksualność, przemoc i samookaleczenie,
• zabezpieczenia wbudowane przez OpenAI, ograniczające odtwarzanie danych treningowych,
• polecenie systemowe zakazujące podejmowania decyzji i podawania danych osobowych, których nie wpisał użytkownik,
• wyszukiwanie oparte na dokumentach urzędów (RAG) oraz ręczne wklejanie kontekstu do polecenia,
• wiążące zasady użycia, testy odporności na nadużycia (red teaming), szkolenia i sieć wewnętrznych opiekunów.

Gdzie chatbot musi się zatrzymać

LLMoin nie może rozstrzygać skarg ani dokonywać oceny prawnej, która kształtuje decyzję urzędu. Podstawą jest art. 22 RODO i wyrok Trybunału Sprawiedliwości UE w sprawie SCHUFA (C-634/21). Urząd wyprowadza z niego wniosek, że sugestia AI może być zautomatyzowaną decyzją, gdy odgrywa decydującą rolę w późniejszej ocenie człowieka.

Stąd odwrócona kolejność pracy. Urzędnik czyta całe akta, sam ustala rodzaj pisma, argumenty i motywy rozstrzygnięcia, a chatbot pomaga je sformułować. Gdy w poleceniu brakuje motywów, system o nie pyta. Gotowy tekst trzeba sprawdzić i poprawić, a używanie narzędzia pozostaje dobrowolne.

Są też obszary wyłączone. Do LLMoin nie wolno wprowadzać danych wymagających wysokiej ochrony, a skargi dotyczące na przykład gabinetu psychoterapii lub postępowań karnych zwykle prowadzi wyłącznie człowiek. O kwalifikacji decyduje jednak rzeczywiste ryzyko w konkretnej sprawie, a nie sama kategoria danych. Chatbot nie pisze także pouczeń o środkach odwoławczych, bo ich treść musi zgadzać się co do słowa z wzorem działu prawnego.

Urząd uważa, że nie musi oznaczać każdego pisma przygotowanego z pomocą AI. Informację ogólną zamieścił w polityce prywatności.

Jak przebiegało wdrożenie krok po kroku

Opis wdrożenia jest najbardziej przydatną częścią dokumentu dla organizacji, które planują podobny projekt.

1. Najpierw zakazano użycia przy danych osobowych, a pracownicy ćwiczyli na zadaniach bez ryzyka, takich jak streszczanie zanonimizowanych wyroków.
2. Następnie opisano procesy urzędu i typowe sformułowania, aby przygotować szablony poleceń.
3. Grupa testowa pracowała na syntetycznych aktach, a potem na niezanonimizowanych sprawach. Wnioski trafiły do oceny skutków dla ochrony danych.
4. Urząd sklasyfikował typowe rodzaje spraw, aby pracownicy mieli jednolite kryteria poziomu ochrony.
5. Po szkoleniach na przykładach ze skarg system udostępniono w całym urzędzie dla spraw o standardowych wymogach poufności.

Czego studium nie wyjaśnia

Dokument nie podaje, ile pism powstało z pomocą LLMoin, ile czasu to oszczędza ani jak często urzędnicy poprawiają błędy. Nie ma w nim wyników red teamingu, choć Senat na ich podstawie wprowadził dodatkowe środki. Przegląd nadzorczy dotyczył modelu GPT-4.1, a o obecnym GPT-5.6 Terra studium mówi jedynie w przypisie, że wniosek o braku anonimowości będzie aktualny także dla niego.

Urząd zgłosił też jedno zastrzeżenie. Wytyczne Senatu pozwalają wydobywać z wiedzy modelu dane osoby, która sama je upubliczniła, a HmbBfDI wolałby zakaz całkowity. Planuje się natomiast wariant na 2027 rok z modelem hostowanym lokalnie u dostawcy Dataport, który ma objąć dane o wyższych wymaganiach poufności.

W naszej ocenie najsłabszym punktem jest podwójna rola organu. HmbBfDI skontrolował narzędzie administracji swojego miasta, a następnie sam zaczął z niego korzystać. Publikacja zasad częściowo równoważy ten problem, ale bez danych o jakości pism czytelnik nie może sprawdzić, czy zabezpieczenia działają w codziennej pracy.

Co przypadek LLMoin oznacza dla Polski

Studium nie wiąże Prezesa UODO ani polskich sądów, jednak opiera się na opinii unijnej rady, a RODO i wyrok SCHUFA obowiązują w całej UE. Nie znaleźliśmy porównywalnego opisu wdrożenia chatbota przez polski organ. UODO udostępnił natomiast listy pytań kontrolnych o narzędziach AI, w tym zestaw dla sektora publicznego. Temat jest aktualny, bo Krajowa Administracja Skarbowa mówi o rosnącej liczbie zażaleń pisanych z pomocą AI, a Ministerstwo Cyfryzacji buduje AI HUB dla urzędów.

Firmy i urzędy mogą potraktować hamburski opis jako listę pytań do własnego projektu. Nie zastępuje ona analizy prawnej konkretnego wdrożenia.

• Czy wiadomo, kto odpowiada za ocenę modelu kupionego od zewnętrznego dostawcy?
• Które rodzaje spraw są wyłączone z użycia AI i kto o tym decyduje?
• Czy pracownik najpierw sam poznaje sprawę, zanim zobaczy tekst wygenerowany przez model?
• Które dokumenty muszą pozostać stałym wzorem, niezależnym od modelu?
• Czy zmiana modelu u dostawcy uruchamia ponowną ocenę ryzyka?

Najważniejszy wniosek dla wdrożeń

Hamburg nie dowodzi, że model językowy jest bezpieczny sam w sobie. Pokazuje za to konkretny układ, w którym organ nadzoru akceptuje ryzyko modelu, bo ogranicza zakres spraw, kontroluje dane i zostawia człowiekowi decyzję. Pełny tekst jest dostępny po angielsku i niemiecku na stronie urzędu.