Wykorzystanie sztucznej inteligencji w administracji publicznej nie zawsze oznacza automatyczne podejmowanie decyzji. System może porządkować dane, przygotowywać analizy, wskazywać możliwe warianty działania albo wspierać pracownika w ocenie materiału. Może jednak także stać się narzędziem, które w praktyce przesądza o wyniku sprawy, podczas gdy udział urzędnika ogranicza się do formalnego zatwierdzenia rekomendacji. Właśnie to rozróżnienie ma zasadnicze znaczenie dla stosowania RODO, AI Act oraz zasad postępowania administracyjnego.
Najprostszy podział przebiega między decyzją wspieraną przez AI a decyzją opartą wyłącznie na zautomatyzowanym przetwarzaniu. W pierwszym modelu system przygotowuje materiał pomocniczy, ale człowiek pozostaje rzeczywistym decydentem. Zapoznaje się z dokumentacją, sprawdza wynik, rozumie jego podstawy i może dojść do odmiennego wniosku. W drugim modelu system faktycznie przesądza o rezultacie, a rola człowieka ma charakter pozorny. Sam fakt, że pracownik na końcu klika przycisk „zatwierdź”, nie oznacza jeszcze realnego nadzoru.
Znaczenie ma to, czy urzędnik ma dostęp do materiału źródłowego, zna ograniczenia narzędzia, potrafi rozpoznać wynik nietypowy lub błędny i może bez przeszkód odrzucić rekomendację. Jeżeli system przedstawia wyłącznie końcową ocenę, a pracownik nie wie, jak została ona wyprowadzona, jego udział staje się formalnością. Jeszcze większy problem pojawia się wtedy, gdy organizacja pracy premiuje zgodność z wynikiem algorytmu, a odstąpienie od niego wymaga dodatkowego uzasadnienia lub zgody przełożonego.
Taką sytuację trzeba oceniać w świetle art. 22 RODO, który przyznaje osobie prawo do niepodlegania decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeżeli wywołuje ona skutki prawne albo w podobny sposób istotnie na nią wpływa. Kluczowe jest tu słowo „wyłącznie”. Nie oznacza ono jedynie całkowitego braku człowieka w procesie. Obejmuje również sytuacje, w których człowiek pojawia się formalnie, ale nie dokonuje samodzielnej, rzeczywistej oceny.
W administracji publicznej takie ryzyko może dotyczyć systemów wspierających przyznawanie świadczeń, ocenę uprawnień, kierowanie do kontroli, profilowanie obywateli, ustalanie priorytetu spraw albo dostęp do usług publicznych. Im większy wpływ systemu na sytuację jednostki, tym bardziej oczywiste staje się, że symboliczny udział pracownika nie wystarczy.
RODO nie działa jednak w oderwaniu od AI Act. Oba akty regulują inne elementy tego samego procesu. RODO koncentruje się na ochronie danych osobowych oraz prawach osoby, której dane są przetwarzane. AI Act wprowadza natomiast wymagania dotyczące projektowania, wdrażania i używania systemów sztucznej inteligencji, opierając regulację na poziomie ryzyka. W administracji szczególnego znaczenia nabierają systemy, których wyniki mogą wpływać na dostęp do świadczeń, zatrudnienia, edukacji, usług publicznych albo innych praw jednostki.
Samo spełnienie technicznych wymagań AI Act nie oznacza jeszcze, że urząd prawidłowo wykorzystuje system. Narzędzie może być formalnie zgodne z regulacją, a jednocześnie używane w sposób naruszający zasadę minimalizacji danych, przejrzystości albo realnego nadzoru człowieka. Dlatego ocena nie może dotyczyć wyłącznie samego produktu. Musi obejmować również konkretny proces, w którym system został osadzony.
Istotne jest także rozróżnienie odpowiedzialności dostawcy i odpowiedzialności urzędu. Dostawca odpowiada za projektowanie, testowanie, dokumentację oraz zgodność systemu z wymaganiami dotyczącymi jego kategorii. Urząd odpowiada natomiast za wybór zastosowania, zakres danych, sposób organizacji nadzoru i to, w jaki sposób wynik wpływa na konkretną sprawę. Nie można więc przyjąć, że zakup narzędzia oznaczonego jako zgodne z AI Act automatycznie przenosi odpowiedzialność na wykonawcę.
Organ nadal odpowiada za to, czy system został wdrożony do właściwego celu, czy pracownicy zostali przygotowani do jego używania, czy wyniki są kontrolowane i czy obywatel ma możliwość zakwestionowania ich wpływu. Odpowiedzialność za wadliwe działanie modelu może spoczywać na dostawcy, ale odpowiedzialność za bezrefleksyjne wykorzystanie jego rekomendacji pozostaje po stronie urzędu.
Szczególnego znaczenia nabierają zasady celowości i minimalizacji danych. Systemy AI często działają na rozbudowanych zbiorach informacji, jednak sama techniczna możliwość przetwarzania dużej liczby danych nie oznacza, że urząd może z niej korzystać bez ograniczeń. Dane powinny być używane do jasno określonego celu i tylko w zakresie niezbędnym do jego realizacji.
Problem może pojawić się już na etapie przygotowania materiału dla systemu. Całe pismo lub pełne akta sprawy mogą zawierać znacznie więcej informacji, niż jest potrzebne do wykonania konkretnej czynności. Mogą się w nich znaleźć dane dotyczące zdrowia, sytuacji rodzinnej, dzieci, numerów identyfikacyjnych albo innych informacji wymagających szczególnej ochrony. Przekazanie ich do zewnętrznego narzędzia bez wcześniejszej oceny może naruszać podstawowe zasady ochrony danych, nawet jeśli samo narzędzie działa zgodnie z deklaracją dostawcy.
Podobny problem dotyczy profilowania. W administracji może ono prowadzić do przypisywania obywatelom określonego poziomu ryzyka, przewidywania ich zachowań albo kierowania do odmiennych ścieżek obsługi. Nawet jeśli profilowanie nie kończy się bezpośrednio decyzją, może istotnie wpływać na sytuację osoby. Skierowanie do częstszej kontroli, nadanie niższego priorytetu albo przypisanie do kategorii podwyższonego ryzyka nie pozostaje neutralne.
Dlatego obywatel powinien wiedzieć, że system AI uczestniczył w analizie jego sprawy, jaki był cel tego użycia i czy wynik miał znaczenie dla dalszego postępowania. Przejrzystość nie wymaga ujawniania kodu źródłowego ani technicznej dokumentacji modelu. Wymaga jednak takiego wyjaśnienia roli systemu, aby osoba mogła zrozumieć, co stało się z jej danymi i jaki wpływ miała analiza algorytmiczna.
Ogólna formuła, że dane mogą być przetwarzane automatycznie, nie spełnia tej funkcji. Obywatel powinien mieć możliwość ustalenia, czy AI jedynie uporządkowała materiał, czy przygotowała rekomendację, która następnie wpłynęła na rozstrzygnięcie. Powinien również wiedzieć, kto podjął ostateczną decyzję i w jaki sposób może zakwestionować wynik analizy.
Realny nadzór człowieka musi być więc zaprojektowany, a nie jedynie zadeklarowany. Pracownik nie będzie w stanie skutecznie kontrolować rekomendacji, jeżeli nie widzi danych źródłowych, nie zna ograniczeń systemu, nie ma czasu na analizę albo nie może swobodnie podjąć odmiennej decyzji. W takim układzie człowiek staje się jedynie dekoracją procesu.
Równie ważne jest dokumentowanie użycia systemu. Jeżeli AI wpływa na ocenę sprawy, urząd powinien móc odtworzyć, jaką rolę odegrała, jaki wynik wygenerowała, kto go sprawdził i w jaki sposób został wykorzystany. Ma to znaczenie nie tylko organizacyjne, ale także dowodowe. Bez takiej dokumentacji trudno wykazać, że udział człowieka był rzeczywisty, a nie pozorny.
Prawo do zakwestionowania wyniku również nie może być wyłącznie formalne. Osoba powinna mieć możliwość wskazania, że analiza systemu była błędna, że opierała się na nieaktualnych danych albo że nie uwzględniała istotnych okoliczności. Ponowna ocena nie może polegać na ponownym uruchomieniu tego samego modelu bez udziału człowieka. W przeciwnym razie mechanizm odwoławczy staje się iluzoryczny.
Największym ryzykiem nie jest więc samo użycie sztucznej inteligencji, lecz stworzenie procesu, w którym wynik systemu zyskuje większy autorytet niż ocena człowieka. Jeżeli urzędnik nie może go zmienić, nie rozumie jego podstaw albo nie ma możliwości przeanalizowania materiału źródłowego, decyzja wspierana przez AI zaczyna przekształcać się w decyzję zautomatyzowaną.
RODO i AI Act nie powinny być traktowane jako dwa odrębne zestawy formalnych obowiązków. Razem tworzą ramy, które mają zapobiec sytuacji, w której technologia przejmuje istotny wpływ na człowieka bez odpowiedzialności, wyjaśnienia i kontroli. Decyzja może być wspierana przez AI, ale nie może stać się decyzją systemu, którą człowiek jedynie podpisuje.
Artykuł opracowany na podstawie wspólnej publikacji Natalii Madej i Bartłomieja Wilka poświęconej etycznym i prawnym granicom stosowania sztucznej inteligencji w administracji publicznej.