W dyskusji o sztucznej inteligencji w administracji publicznej często pojawia się zasada human in the loop, czyli realnego udziału człowieka w procesie wspieranym przez system AI. Brzmi rozsądnie i bezpiecznie, ale w praktyce bywa sprowadzana do prostego założenia, że skoro ostateczną decyzję zatwierdza pracownik, to proces pozostaje pod kontrolą. Taki sposób myślenia jest zbyt uproszczony. Obecność człowieka nie gwarantuje nadzoru, jeżeli jego rola ogranicza się do formalnego zaakceptowania wyniku, którego nie potrafi ocenić, zakwestionować ani odtworzyć.
W administracji ma to szczególne znaczenie, ponieważ systemy AI mogą wpływać na ocenę materiału dowodowego, klasyfikowanie spraw, ustalanie priorytetów, przygotowywanie projektów odpowiedzi, a nawet rekomendowanie określonego sposobu rozstrzygnięcia. Jeżeli człowiek pojawia się dopiero na końcu takiego procesu i nie ma rzeczywistego wpływu na jego przebieg, nadzór staje się jedynie formalną osłoną automatyzacji.
Człowiek w procesie to nie to samo co człowiek kontrolujący proces
Najważniejsze pytanie nie brzmi, czy pracownik uczestniczy w obsłudze systemu, lecz czy posiada realną możliwość oceny jego działania. Urzędnik, który widzi wyłącznie końcową rekomendację, nie ma dostępu do danych źródłowych i nie zna ograniczeń modelu, nie sprawuje skutecznego nadzoru. Może jedynie zaakceptować wynik albo go odrzucić na podstawie intuicji, bez możliwości zrozumienia, w jaki sposób powstał.
Rzeczywisty nadzór wymaga dostępu do materiału sprawy oraz informacji o roli systemu. Pracownik powinien wiedzieć, czy AI jedynie porządkowała dane, czy także oceniała ryzyko, klasyfikowała osobę albo wskazywała proponowany rezultat. Powinien też rozumieć, że wynik modelu nie jest neutralnym faktem, lecz rezultatem działania określonego mechanizmu opartego na danych, kryteriach i założeniach.
Jeżeli organizacja oczekuje od pracowników szybkiego zatwierdzania rekomendacji, a odstąpienie od wyniku systemu wymaga dodatkowych wyjaśnień, realna kontrola zanika. W takim układzie człowiek formalnie podejmuje decyzję, ale praktycznie działa pod presją algorytmicznej sugestii.
Nadzór wymaga kompetencji, czasu i uprawnień
Nie można oczekiwać skutecznej kontroli od osoby, która nie została przygotowana do pracy z systemem. Urzędnik nie musi znać szczegółów programowania ani budowy modelu, ale powinien rozumieć jego podstawowe ograniczenia. Musi wiedzieć, że AI może tworzyć fałszywe informacje, pomijać kontekst, powielać błędy obecne w danych albo przedstawiać niepewną rekomendację w sposób bardzo stanowczy.
Samo szkolenie z obsługi interfejsu nie wystarcza. Pracownik powinien potrafić rozpoznać sytuację, w której wynik wymaga dodatkowego sprawdzenia, oraz wiedzieć, gdzie znaleźć materiał źródłowy. Musi także mieć uprawnienie do odrzucenia rekomendacji bez obawy, że zostanie to potraktowane jako niewłaściwe użycie systemu.
Znaczenie ma również czas. Jeżeli urząd wdraża AI po to, aby przyspieszyć obsługę spraw, może pojawić się pokusa, by ograniczyć etap weryfikacji. Wtedy narzędzie rzeczywiście przyspiesza proces, ale odbywa się to kosztem jakości kontroli. Human in the loop nie może oznaczać człowieka, który w kilka sekund potwierdza wynik przygotowany przez system analizujący setki danych.
Nadzór powinien obejmować cały cykl życia systemu
Kontrola człowieka nie zaczyna się dopiero wtedy, gdy AI wygeneruje wynik. Powinna być obecna już na etapie wyboru zastosowania, przygotowania danych, testowania narzędzia i ustalania zasad jego użycia.
Jeżeli system został wdrożony do źle zdefiniowanego celu, późniejsza weryfikacja pojedynczych wyników nie rozwiąże problemu. Podobnie jest wtedy, gdy dane używane przez model są niepełne, nieaktualne albo obciążone wcześniejszymi nierównościami. Człowiek kontrolujący końcową rekomendację może nie mieć możliwości zauważenia, że źródło błędu znajduje się znacznie wcześniej.
Nadzór powinien więc obejmować także monitorowanie systemu po uruchomieniu. Trzeba analizować przypadki, w których pracownicy odrzucili rekomendację, skargi użytkowników, powtarzające się błędy i zmiany po aktualizacjach. Model, który podczas testów działał poprawnie, może z czasem zacząć generować inne wyniki albo zostać użyty do celów, których pierwotnie nie przewidziano.
Human in the loop nie jest jednorazowym warunkiem technicznym. To sposób organizacji całego procesu.
Człowiek musi móc wyjaśnić własne rozstrzygnięcie
Jednym z najważniejszych testów realnego nadzoru jest możliwość uzasadnienia decyzji niezależnie od systemu. Urzędnik powinien potrafić wskazać, jakie fakty uznał za istotne, jakie przepisy zastosował i dlaczego przyjął określony wynik.
Jeżeli jedynym uzasadnieniem jest to, że narzędzie wskazało wysokie ryzyko albo rekomendowało określone działanie, oznacza to, że system przejął rolę, która powinna należeć do organu. Administracja nie może zasłaniać się technologią, zwłaszcza gdy rozstrzygnięcie wpływa na prawa i obowiązki obywatela.
Wynik AI może być jednym z elementów analizy, ale nie powinien zastępować toku rozumowania. Urzędnik musi być w stanie odnieść rekomendację do materiału sprawy i wskazać, dlaczego została uznana za trafną albo odrzucona.
Ma to również znaczenie dla obywatela. Strona powinna móc zrozumieć, czy AI uczestniczyła w analizie i jaki wpływ miała na rozstrzygnięcie. Bez tej wiedzy trudno skutecznie zakwestionować wynik albo wskazać, że system opierał się na błędnych danych.
Formalny udział człowieka może ukrywać pełną automatyzację
Najbardziej niebezpieczny model nie polega na całkowitym usunięciu człowieka. Polega na pozostawieniu go w procesie w taki sposób, aby sprawiał wrażenie, że decyzja nadal jest podejmowana indywidualnie.
Pracownik może formalnie zatwierdzać każdą sprawę, ale jeśli w praktyce niemal zawsze przyjmuje wynik systemu, jego rola staje się pozorna. Z czasem może pojawić się tak zwane zaufanie automatyzacyjne, czyli skłonność do traktowania rekomendacji technologii jako bardziej wiarygodnej niż własna ocena.
Taki mechanizm jest szczególnie silny, gdy system przedstawia wynik liczbowy, poziom ryzyka albo procentowe prawdopodobieństwo. Liczba może wyglądać jak obiektywna prawda, choć w rzeczywistości opiera się na założeniach, jakości danych i sposobie zaprojektowania modelu.
Administracja powinna więc obserwować nie tylko skuteczność systemu, ale również zachowania pracowników. Jeżeli rekomendacje przestają być kwestionowane, należy sprawdzić, czy nadzór nadal ma rzeczywisty charakter.
Odpowiedzialność musi pozostać po stronie organu
Zasada human in the loop ma sens tylko wtedy, gdy człowiek zachowuje odpowiedzialność za użycie wyniku. Nie oznacza to przeniesienia całego ryzyka na pojedynczego urzędnika. Organizacja musi zapewnić odpowiednie procedury, szkolenia, dostęp do danych i możliwość konsultacji.
Dostawca odpowiada za projekt i działanie narzędzia w zakresie wynikającym z przepisów oraz umowy. Urząd odpowiada za wybór zastosowania, sposób wdrożenia i nadzór. Pracownik odpowiada za ocenę wyniku w konkretnej sprawie, o ile posiada realne warunki do wykonania tego zadania.
Nie można oczekiwać od urzędnika skutecznej kontroli, jeżeli system jest nieprzejrzysty, procedura nie przewiduje możliwości odrzucenia rekomendacji, a organizacja premiuje szybkość zamiast jakości. Odpowiedzialność musi być przypisana tak, aby odpowiadała rzeczywistemu wpływowi poszczególnych osób na proces.
Human in the loop nie może więc służyć jako wygodna formuła, która formalnie zabezpiecza urząd przed zarzutem automatycznego podejmowania decyzji. Musi oznaczać rzeczywistą zdolność człowieka do zrozumienia, zakwestionowania i zmiany wyniku.
Sztuczna inteligencja może analizować dane szybciej, porównywać tysiące przypadków i wskazywać zależności trudne do zauważenia bez wsparcia technologicznego. Nie może jednak przejąć odpowiedzialności za ocenę konkretnej sprawy.
Człowiek powinien pozostać w procesie nie jako podpis pod rekomendacją systemu, lecz jako osoba, która rozumie jej znaczenie, potrafi ją ocenić i odpowiada za ostateczne rozstrzygnięcie. Tylko wtedy nadzór człowieka jest rzeczywisty, a nie jedynie deklarowany.
Artykuł opracowany na podstawie wspólnej publikacji Natalii Madej i Bartłomieja Wilka poświęconej etycznym i prawnym granicom stosowania sztucznej inteligencji w administracji publicznej.