Sztuczna inteligencja jest często przedstawiana jako narzędzie bardziej obiektywne niż człowiek. Takie założenie jest jednak ryzykowne, szczególnie w administracji publicznej. System nie działa w oderwaniu od rzeczywistości. Uczy się na danych, które mogą zawierać wcześniejsze błędy, nierówności i utrwalone schematy traktowania określonych grup. Jeżeli urząd wykorzysta taki model bez odpowiedniej kontroli, technologia może nie tylko powtórzyć istniejące problemy, ale nadać im pozór neutralności i technicznej poprawności.
Algorytm nie jest neutralny
System AI rozpoznaje zależności między danymi i na tej podstawie tworzy prognozy, klasyfikacje lub rekomendacje. Nie rozumie jednak pojęć równości, sprawiedliwości czy proporcjonalności. Jego wynik zależy od jakości materiału, na którym został wytrenowany, sposobu opisu danych oraz kryteriów przyjętych przez twórców systemu.
Jeżeli dane historyczne pokazują, że określone grupy były częściej kontrolowane, rzadziej korzystały z usług publicznych albo częściej spotykały się z odmową, system może potraktować ten stan jako wzorzec. Wtedy wcześniejsza praktyka zaczyna wpływać na przyszłe rekomendacje. Algorytm nie pyta, czy dane odzwierciedlają rzeczywiste ryzyko, czy też są skutkiem wcześniejszych decyzji administracji.
Problem nie musi dotyczyć bezpośredniego użycia informacji o wieku, płci, niepełnosprawności czy pochodzeniu. System może wykorzystywać dane pośrednie, takie jak miejsce zamieszkania, sposób korzystania z usług, historia zatrudnienia lub częstotliwość kontaktu z urzędem. Takie cechy mogą pełnić funkcję zastępczą i prowadzić do nierównego traktowania, mimo że formalnie model nie korzysta z danych chronionych.
W administracji skutki takiego działania są szczególnie poważne. Algorytmiczna klasyfikacja może wpływać na dostęp do świadczeń, częstotliwość kontroli, kolejność rozpatrywania spraw albo ocenę ryzyka. Błąd systemu nie kończy się więc na nietrafnej rekomendacji. Może realnie pogorszyć sytuację obywatela.
Dane historyczne mogą utrwalać nierówności
Dane nie są neutralnym zapisem rzeczywistości. Pokazują także sposób, w jaki instytucje działały wcześniej. Jeżeli określone środowiska były intensywniej kontrolowane, urząd posiada o nich więcej danych o nieprawidłowościach. System może następnie uznać, że sama przynależność do określonego obszaru lub profilu zwiększa prawdopodobieństwo ryzyka.
W ten sposób powstaje mechanizm samowzmacniający. Algorytm kieruje większą uwagę na grupy, wobec których administracja wcześniej podejmowała więcej działań. Z tych działań powstają kolejne dane, które później służą jako uzasadnienie dla dalszego różnicowania. System potwierdza własne założenia, ponieważ gromadzi informacje głównie tam, gdzie wcześniej skierował kontrolę.
Tego rodzaju nierówność może pozostać długo niewidoczna. Pojedyncza decyzja nie musi wyglądać na dyskryminującą. Problem ujawnia się dopiero po analizie większej liczby przypadków, gdy okazuje się, że określona grupa częściej otrzymuje negatywne rekomendacje albo jest częściej kierowana do kontroli.
Dlatego nie wystarczy sprawdzić ogólnej skuteczności systemu. Model może osiągać dobre wyniki w całej populacji, a jednocześnie systematycznie mylić się wobec osób znajdujących się w szczególnej sytuacji. W administracji publicznej taka różnica ma znaczenie prawne i społeczne, nawet jeśli statystyczny wynik systemu wygląda korzystnie.
Obywatel nie może zostać sprowadzony do profilu
Postępowanie administracyjne wymaga indywidualnego rozpatrzenia sprawy. Tymczasem system AI działa przez porównywanie konkretnej osoby z większą grupą przypadków. Może rozpoznać podobieństwo, ale nie rozumie pełnego kontekstu życiowego, społecznego i prawnego.
Obywatel może zostać przypisany do określonej kategorii ryzyka dlatego, że część jego danych przypomina informacje o innych osobach. Nie oznacza to jednak, że jego sytuacja jest taka sama. Wyjątkowa okoliczność, nietypowy dokument albo indywidualny argument mogą mieć zasadnicze znaczenie prawne, choć w modelu zostaną potraktowane jako odstępstwo od wzorca.
Jeżeli urzędnik zaczyna przyjmować wynik systemu jako obiektywną ocenę, maleje znaczenie rzeczywistego materiału sprawy. Algorytmiczna rekomendacja może wtedy zastąpić indywidualne rozumowanie, mimo że formalnie decyzję nadal podpisuje człowiek.
Takie podejście pozostaje w napięciu z zasadą godności i podmiotowego traktowania obywatela. Administracja nie może postrzegać osoby wyłącznie jako zestawu cech statystycznych. Obywatel powinien mieć możliwość przedstawienia własnych argumentów, wyjaśnienia nietypowej sytuacji i zakwestionowania oceny opartej na błędnych lub niepełnych danych.
Przejrzystość i możliwość zakwestionowania wyniku
Ochrona obywatela nie wymaga publikowania kodu źródłowego systemu. Wymaga natomiast jasnej informacji o tym, że AI uczestniczyła w analizie sprawy, jaką rolę pełniła i czy jej wynik wpłynął na dalsze działania organu.
Osoba powinna móc ustalić, czy system jedynie porządkował dokumenty, czy także oceniał ryzyko, przygotował klasyfikację lub wskazał rekomendowany rezultat. Powinna również wiedzieć, kto zweryfikował wynik i czy urzędnik miał realną możliwość podjęcia odmiennej decyzji.
Bez takiej wiedzy prawo do odwołania może stać się pozorne. Obywatel nie może skutecznie kwestionować oceny, jeżeli nie zna rzeczywistych przesłanek, które wpłynęły na jego sprawę. Szczególnie ważna jest możliwość wskazania błędnych danych, przedstawienia pominiętych okoliczności oraz domagania się ponownej oceny przez człowieka.
Ponowna analiza nie może polegać na ponownym uruchomieniu tego samego systemu z tym samym zestawem danych. Taki mechanizm jedynie odtwarza wcześniejszy wynik. Kontrola jest realna dopiero wtedy, gdy człowiek samodzielnie odnosi rekomendację do materiału sprawy.
Administracja odpowiada za skutki działania systemu
Urząd nie może zasłaniać się informacją, że wynik wygenerował algorytm. Odpowiedzialność za sposób wykorzystania systemu nadal spoczywa na organie i osobach uczestniczących w procesie.
Dostawca odpowiada za projekt, działanie i zgodność narzędzia z wymaganiami technicznymi. Administracja odpowiada za wybór zastosowania, zakres danych, organizację nadzoru oraz skutki wykorzystania rekomendacji. Urzędnik powinien z kolei krytycznie oceniać wynik i reagować wtedy, gdy nie odpowiada on materiałowi sprawy, pomija istotne okoliczności albo prowadzi do wyraźnie nierównego traktowania.
Szczególne znaczenie ma audyt algorytmiczny. Nie powinien ograniczać się do sprawdzenia, czy system działa zgodnie ze specyfikacją. Musi obejmować jakość danych, rozkład błędów, wpływ na poszczególne grupy, możliwość zakwestionowania wyniku oraz rzeczywisty sposób wykonywania nadzoru przez pracowników.
Kontrola nie może zakończyć się w dniu wdrożenia. Model może zmieniać działanie po aktualizacji, zmianie danych albo rozszerzeniu zakresu stosowania. Dlatego urząd powinien analizować skargi, przypadki błędnych klasyfikacji i sytuacje, w których pracownicy odrzucili rekomendację systemu. To właśnie takie zdarzenia najczęściej pokazują, że model nie radzi sobie z określonym typem spraw.
Algorytm nie staje się bezstronny tylko dlatego, że działa według matematycznych reguł. Bezstronność trzeba sprawdzić, udokumentować i stale kontrolować. Im większy wpływ systemu na prawa jednostki, tym wyższy powinien być standard nadzoru.
Administracja może wykorzystywać AI do wspierania analizy, ale nie może przyjmować jej wyników bezrefleksyjnie. Obywatel zachowuje prawo do indywidualnego traktowania, wyjaśnienia sposobu oceny i realnego zakwestionowania rezultatu. Technologia nie może prowadzić do sytuacji, w której wcześniejsze nierówności zostają ukryte w danych, a następnie przedstawione jako obiektywna decyzja systemu.
Artykuł opracowany na podstawie wspólnej publikacji Natalii Madej i Bartłomieja Wilka dotyczącej etycznych i prawnych granic stosowania systemów sztucznej inteligencji w administracji publicznej.