Dyskusja o sztucznej inteligencji w administracji publicznej często zatrzymuje się na poziomie ogólnych zasad. Mówi się o przejrzystości, nadzorze człowieka, ochronie danych i odpowiedzialności, ale znacznie rzadziej pokazuje, jak te pojęcia powinny wpływać na codzienną pracę urzędu. Tymczasem największe ryzyko nie powstaje wtedy, gdy instytucja nie zna teorii, lecz wtedy, gdy kupuje narzędzie, udostępnia je pracownikom i zaczyna korzystać z jego wyników bez zmiany procedur, podziału odpowiedzialności i sposobu dokumentowania spraw.
Bezpieczne wdrożenie AI nie polega na dodaniu do regulaminu zdania, że człowiek zachowuje nadzór nad systemem. Taki zapis nie ma znaczenia, jeżeli pracownik nie widzi danych źródłowych, nie zna ograniczeń narzędzia i nie ma realnej możliwości odrzucenia rekomendacji. Podobnie nie wystarczy deklaracja, że system nie podejmuje decyzji. Jeżeli jego wynik w praktyce przesądza o kolejności obsługi, skierowaniu do kontroli albo treści rozstrzygnięcia, wpływ na sytuację obywatela jest rzeczywisty niezależnie od nazwy przyjętej przez dostawcę.
Urząd powinien zacząć od opisania procesu
Pierwszym etapem nie powinien być wybór modelu ani porównanie cen licencji. Trzeba najpierw opisać proces, który ma zostać usprawniony. Urząd powinien wiedzieć, jakie zadanie wykonuje pracownik, jakie dane wykorzystuje, gdzie powstają opóźnienia i które elementy rzeczywiście wymagają automatyzacji.
Taka analiza często pokazuje, że problem nie wynika z braku AI. Przyczyną może być nieczytelny formularz, dokumenty przekazywane w różnych formatach, brak wspólnego repozytorium albo niejasny podział obowiązków. Zastosowanie zaawansowanego narzędzia do źle zaprojektowanego procesu nie usuwa jego wad. Może jedynie przyspieszyć wykonywanie błędnych czynności.
Dopiero po zrozumieniu procesu można ocenić, czy AI ma wspierać wyszukiwanie informacji, klasyfikację korespondencji, przygotowanie streszczeń czy analizę danych. Każde z tych zastosowań wymaga innego poziomu kontroli. Im bliżej rozstrzygnięcia indywidualnej sprawy znajduje się system, tym większe znaczenie mają przejrzystość, możliwość odwołania i samodzielna ocena urzędnika.
Human in the loop musi oznaczać realną kontrolę
Jedną z najczęściej powtarzanych zasad odpowiedzialnego użycia AI jest human in the loop. W praktyce łatwo jednak stworzyć proces, w którym człowiek jest obecny tylko formalnie. Pracownik otrzymuje końcowy wynik, nie zna sposobu jego powstania i zatwierdza rekomendację, ponieważ system został przedstawiony jako skuteczny i obiektywny.
Realny nadzór wymaga więcej. Urzędnik powinien mieć dostęp do dokumentu źródłowego, możliwość sprawdzenia danych i prawo do podjęcia innej decyzji. Musi również dysponować czasem na weryfikację. Jeżeli technologia została wdrożona po to, aby skrócić obsługę spraw, ale etap kontroli ograniczono do kilku sekund, nadzór staje się iluzoryczny.
Ważne jest także dokumentowanie przypadków, w których pracownik nie zgodził się z systemem. Takie sytuacje nie powinny być traktowane jak odstępstwo wymagające tłumaczenia. Są cennym źródłem wiedzy o ograniczeniach modelu. Mogą pokazać, że narzędzie nie radzi sobie z określonym typem spraw, pomija nietypowe okoliczności albo opiera się na nieaktualnych danych.
Obywatel powinien wiedzieć, jaką rolę odegrała AI
Przejrzystość nie wymaga ujawniania całej dokumentacji technicznej. Obywatel nie musi znać architektury modelu ani sposobu jego trenowania. Powinien jednak wiedzieć, czy AI uczestniczyła w analizie jego sprawy i jaki był zakres tego udziału.
Inaczej należy informować o systemie, który jedynie przekierował pismo do właściwej komórki, a inaczej o narzędziu, które oceniło ryzyko lub przygotowało rekomendację wpływającą na rozstrzygnięcie. Ogólna klauzula o „możliwości automatycznego przetwarzania danych” nie wyjaśnia rzeczywistego znaczenia technologii.
Jeżeli obywatel nie zna roli systemu, nie może skutecznie zakwestionować jego wyniku. Może odwoływać się od decyzji, ale nie wie, że istotnym elementem była klasyfikacja oparta na błędnych danych. Prawo do kontroli staje się wtedy formalne, a nie realne.
Przejrzystość ma także znaczenie dla zaufania. Organ, który potrafi wyjaśnić sposób wykorzystania AI, pokazuje, że zachował kontrolę. Organ, który odpowiada jedynie, że narzędzie jest zgodne z prawem i dostarczone przez profesjonalną firmę, przenosi ciężar odpowiedzialności na technologię.
Odpowiedzialność musi być przypisana konkretnie
Wdrożenia AI angażują wiele osób. Dostawca odpowiada za system, dział IT za konfigurację, inspektor ochrony danych za kwestie związane z przetwarzaniem, a komórka merytoryczna za prowadzenie spraw. Taki podział jest naturalny, ale bez wskazania właściciela całego procesu prowadzi do rozmycia odpowiedzialności.
Urząd powinien jasno określić, kto zatwierdza zastosowanie systemu, kto odpowiada za jakość danych, kto weryfikuje wyniki i kto podejmuje decyzję o ograniczeniu lub wyłączeniu narzędzia. Osobno trzeba opisać zasady reagowania na skargi, incydenty i błędne rekomendacje.
Nie można oczekiwać od pojedynczego urzędnika pełnej odpowiedzialności, jeżeli nie ma wpływu na konfigurację systemu i nie zna jego ograniczeń. Z drugiej strony pracownik nie może zasłaniać się algorytmem, gdy zaakceptował wynik bez podstawowej kontroli. Odpowiedzialność powinna odpowiadać rzeczywistemu wpływowi na proces.
Istotne są również umowy z dostawcami. Powinny określać nie tylko funkcje narzędzia i poziom dostępności usługi, ale także sposób przetwarzania danych, możliwość audytu, zgłaszanie zmian w modelu, obsługę błędów i warunki wycofania systemu. Administracja nie może uzależnić kluczowego procesu od rozwiązania, którego działania nie potrafi później odtworzyć.
Szkolenie powinno przygotowywać do kwestionowania wyników
Pracownik nie jest przygotowany do korzystania z AI tylko dlatego, że potrafi wpisać polecenie i odczytać odpowiedź. Potrzebuje wiedzy o ryzyku konfabulacji, jakości danych, profilowaniu, ochronie informacji i możliwości wystąpienia dyskryminacji algorytmicznej.
Najważniejszą kompetencją nie jest jednak znajomość interfejsu. Jest nią zdolność rozpoznania sytuacji, w której wynik nie powinien zostać wykorzystany. Pracownik musi wiedzieć, kiedy sprawdzić przepis w oficjalnym źródle, kiedy wrócić do pełnego dokumentu i kiedy skonsultować sprawę z osobą odpowiedzialną za nadzór.
Szkolenie powinno również obejmować komunikację z obywatelem. Urzędnik musi umieć wyjaśnić, jaką rolę system odegrał w sprawie, bez zasłaniania się technicznym językiem. Jeżeli pracownik nie potrafi opisać procesu, trudno uznać, że rzeczywiście go kontroluje.
Ważna jest także kultura organizacyjna. Wynik systemu nie może być traktowany jako domyślnie prawidłowy tylko dlatego, że powstał automatycznie. Pracownicy powinni mieć prawo zgłaszać błędy bez obawy, że zostanie to odebrane jako brak kompetencji lub niechęć do nowych technologii.
Wdrożenie powinno być kontrolowane także po uruchomieniu
Testy przed uruchomieniem nie wystarczają. System może zmienić działanie po aktualizacji, zmianie danych lub rozszerzeniu zakresu użycia. Dlatego urząd powinien monitorować błędy, skargi, przypadki odrzucenia rekomendacji i różnice w wynikach wobec różnych grup użytkowników.
Szczególnie ważne jest wychwytywanie sytuacji, w których narzędzie zaczyna być wykorzystywane do innych celów niż pierwotnie przewidziano. System kupiony do tworzenia streszczeń może z czasem zacząć wpływać na ocenę priorytetu spraw. Taka zmiana powinna uruchamiać ponowną analizę ryzyka, a nie odbywać się w sposób nieformalny.
Urząd musi także zachować możliwość ograniczenia albo wyłączenia systemu. Wdrożenie nie może być traktowane jako proces nieodwracalny. Jeżeli narzędzie generuje trudne do wykrycia błędy, zwiększa nierówności albo wymaga więcej pracy kontrolnej niż zapewnia oszczędności, dalsze używanie nie znajduje uzasadnienia.
AI powinna wspierać procedurę, a nie ją omijać
Sztuczna inteligencja może przyspieszyć pracę administracji, ale sprawność nie jest jedyną wartością. Procedura administracyjna ma chronić obywatela przed arbitralnym działaniem organu. Zapewnia możliwość przedstawienia stanowiska, poznania podstaw decyzji i zakwestionowania rozstrzygnięcia.
Jeżeli automatyzacja prowadzi do ograniczenia tych gwarancji, urząd może działać szybciej, ale gorzej. Szczególnie niebezpieczna jest sytuacja, w której AI analizuje pismo przygotowane przez inny system, a urzędnik zapoznaje się jedynie z automatycznym podsumowaniem. Procedura formalnie istnieje, lecz jej rzeczywisty dialogiczny charakter zanika.
Dlatego najważniejszą zasadą powinno być zachowanie odpowiedzialnego człowieka w każdym miejscu, w którym technologia wpływa na prawa jednostki. AI może wyszukiwać, porządkować i proponować. Nie powinna zastępować indywidualnej oceny, wyjaśnienia i odpowiedzialności za rozstrzygnięcie.
Granice automatyzacji nie wynikają wyłącznie z możliwości technicznych systemu. Wyznaczają je prawa obywatela, zasady postępowania i zdolność urzędu do uzasadnienia własnego działania.
Odpowiedzialne wdrożenie AI nie polega na tym, aby organ deklarował zgodność z przepisami. Polega na takim zorganizowaniu pracy, aby każda rekomendacja mogła zostać sprawdzona, każdy błąd wykryty, a każda decyzja nadal należała do człowieka. To właśnie od jakości tego procesu zależy, czy sztuczna inteligencja stanie się realnym wsparciem administracji, czy tylko szybszym sposobem powielania błędów.
Artykuł opracowany na podstawie wspólnej publikacji Natalii Madej i Bartłomieja Wilka poświęconej etycznym i prawnym granicom stosowania sztucznej inteligencji w administracji publicznej.