Wdrożenie sztucznej inteligencji w administracji publicznej nie powinno zaczynać się od wyboru narzędzia ani zakupu licencji. Najpierw trzeba ustalić, jaki problem urząd chce rozwiązać, jakie dane będą przetwarzane, kto będzie korzystał z systemu i jaki wpływ jego wynik może mieć na sytuację obywatela. Bez takiego przygotowania AI łatwo staje się rozwiązaniem szukającym zastosowania, a odpowiedzialność za jego działanie pozostaje rozproszona między dostawcą, informatykami i pracownikami merytorycznymi.
Największe ryzyko nie wynika z samej technologii. Powstaje wtedy, gdy system zostaje włączony do codziennej pracy bez jasnych zasad, realnego nadzoru człowieka i możliwości odtworzenia sposobu, w jaki wykorzystano jego wynik.
Najpierw proces, później narzędzie
Punktem wyjścia powinien być opis konkretnego zadania. Urząd musi wiedzieć, czy AI ma klasyfikować korespondencję, wyszukiwać informacje, przygotowywać streszczenia, wspierać analizę dokumentów czy tworzyć projekty odpowiedzi. Każde z tych zastosowań wiąże się z innym poziomem ryzyka.
Narzędzie używane do porządkowania wewnętrznej dokumentacji nie wpływa bezpośrednio na prawa obywatela. Inaczej należy ocenić system, który wspiera przyznawanie świadczeń, kierowanie do kontroli albo analizę materiału dowodowego. Im bliżej rozstrzygnięcia sprawy znajduje się AI, tym bardziej szczegółowe muszą być zabezpieczenia.
Przed wdrożeniem warto także sprawdzić, czy problem rzeczywiście wymaga sztucznej inteligencji. Czasami przyczyną opóźnień nie jest brak zaawansowanej technologii, lecz źle zaprojektowany formularz, nieuporządkowany obieg dokumentów albo brak integracji między systemami. Zastosowanie AI w takim miejscu może ukryć problem, ale go nie rozwiąże.
Dane muszą pozostawać pod kontrolą
System AI jest użyteczny tylko wtedy, gdy pracuje na danych. To właśnie na tym etapie pojawia się jedno z najpoważniejszych zagrożeń.
Pracownik może skopiować do narzędzia całe pismo, choć do wykonania zadania potrzebny jest jedynie jego fragment. W dokumencie mogą znajdować się dane osobowe, informacje dotyczące zdrowia, sytuacji rodzinnej, dzieci albo innych okoliczności objętych szczególną ochroną. Jeżeli urząd nie określi zasad, pracownicy będą podejmować decyzje samodzielnie, często bez wiedzy, gdzie dane trafiają i jak długo są przechowywane.
Przed uruchomieniem systemu trzeba ustalić, jakie informacje są rzeczywiście niezbędne, czy dostawca wykorzystuje dane do rozwijania modelu, gdzie znajdują się serwery i czy urząd może skutecznie usunąć wprowadzone treści. Nie wystarczy ogólne polecenie, aby nie wpisywać danych wrażliwych. Zasady muszą być wsparte konfiguracją techniczną, ograniczeniami dostępu i szkoleniem pracowników.
Szczególnej ostrożności wymagają rozwiązania ogólnodostępne, które nie zostały zamówione ani zaakceptowane przez organizację. Ich wygoda sprzyja powstawaniu tak zwanego shadow AI, czyli nieformalnego używania narzędzi poza kontrolą urzędu. W takim modelu instytucja może nawet nie wiedzieć, że jej dokumenty są przetwarzane przez zewnętrzny system.
Człowiek musi zachować realny wpływ
Zasada human in the loop bywa sprowadzana do stwierdzenia, że ostateczną decyzję podejmuje pracownik. Sama obecność człowieka nie wystarcza jednak do zapewnienia nadzoru.
Urzędnik musi mieć dostęp do materiału źródłowego, znać ograniczenia narzędzia i móc zakwestionować rekomendację. Powinien także mieć wystarczająco dużo czasu na jej sprawdzenie. Jeżeli organizacja pracy zakłada szybkie zatwierdzanie wyników, a odstąpienie od sugestii systemu wymaga dodatkowych wyjaśnień, udział człowieka staje się pozorny.
Realny nadzór oznacza również odpowiednie kompetencje. Pracownik powinien rozumieć, że system może pomijać kontekst, powielać błędy obecne w danych albo tworzyć nieprawdziwe informacje. Nie musi znać szczegółów budowy modelu, ale musi wiedzieć, kiedy wynik wymaga pogłębionej weryfikacji.
Szczególnie istotne jest to w sprawach dotyczących praw i obowiązków obywatela. AI może przygotować podsumowanie albo wskazać podobne przypadki, ale nie powinna zastępować samodzielnej oceny materiału dowodowego. Ostateczne rozstrzygnięcie musi wynikać z rozumowania organu, a nie z automatycznej rekomendacji.
Odpowiedzialność trzeba przypisać przed uruchomieniem
W wielu wdrożeniach odpowiedzialność jest rozproszona. Informatycy odpowiadają za działanie systemu, komórka merytoryczna za sprawy, inspektor ochrony danych za dane, a dostawca za technologię. Każdy kontroluje własny fragment, ale nikt nie odpowiada za cały proces.
Dlatego przed wdrożeniem trzeba wskazać właściciela zastosowania. Powinna to być osoba lub komórka, która rozumie cel systemu, zna proces i ma realny wpływ na sposób jego używania.
Osobno należy określić odpowiedzialność za dane, konfigurację techniczną, szkolenia, kontrolę wyników i obsługę incydentów. Dostawca odpowiada za projekt oraz działanie narzędzia w zakresie wynikającym z umowy i przepisów. Urząd odpowiada jednak za dobór zastosowania, sposób wdrożenia i skutki wykorzystania rekomendacji.
Nie można przenieść odpowiedzialności za decyzję na system ani zasłonić się zapewnieniem wykonawcy, że rozwiązanie jest zgodne z prawem.
Wykorzystanie AI powinno być możliwe do odtworzenia
Jeżeli system uczestniczy w analizie sprawy, urząd powinien móc ustalić, kiedy został użyty, w jakim celu, na jakich danych pracował i jaki wynik wygenerował. Bez dokumentacji trudno wykazać, że rekomendacja była jedynie materiałem pomocniczym, a człowiek rzeczywiście ją zweryfikował.
Znaczenie ma także wersja systemu. Modele mogą zmieniać sposób działania po aktualizacji. Wynik uzyskany w jednym momencie nie musi być identyczny z rezultatem wygenerowanym kilka miesięcy później. Jeżeli AI wpływa na istotny proces, urząd powinien zachować informacje pozwalające odtworzyć warunki jej użycia.
Dokumentowanie nie powinno jednak prowadzić do tworzenia rozbudowanej procedury bez związku z ryzykiem. Zakres zapisu powinien odpowiadać znaczeniu zastosowania. Innej dokumentacji wymaga pomoc przy redagowaniu neutralnego komunikatu, a innej system wspierający ocenę uprawnień obywatela.
Szkolenie nie może kończyć się na obsłudze interfejsu
Pracownik, który potrafi wpisać polecenie i skopiować odpowiedź, nie jest jeszcze przygotowany do odpowiedzialnego korzystania z AI.
Szkolenie powinno obejmować ryzyko tworzenia fałszywych informacji, ochronę danych, zasady sprawdzania źródeł, możliwość występowania uprzedzeń oraz zakres zastosowań niedopuszczalnych. Pracownicy muszą wiedzieć, kiedy wynik może zostać wykorzystany, kiedy potrzebna jest dodatkowa konsultacja i kiedy narzędzie powinno zostać całkowicie pominięte.
Równie ważne jest stworzenie warunków do zgłaszania błędów. Jeżeli pracownik obawia się, że poinformowanie o problemie zostanie uznane za jego winę, organizacja nie otrzyma informacji potrzebnych do poprawy procesu.
Dobre wdrożenie wymaga kultury, w której system można kwestionować. AI nie powinna otrzymywać większego zaufania niż doświadczony pracownik tylko dlatego, że przedstawia wynik w sposób uporządkowany i stanowczy.
Pilotaż powinien poprzedzać pełne wdrożenie
Bezpieczniej rozpocząć od ograniczonego zastosowania, niewielkiej liczby użytkowników i danych o niższym poziomie ryzyka. Pilotaż pozwala sprawdzić nie tylko jakość wyników, lecz także sposób, w jaki pracownicy rzeczywiście korzystają z narzędzia.
W praktyce może się okazać, że użytkownicy traktują rekomendacje zbyt dosłownie, nie rozumieją ograniczeń albo omijają procedury, aby przyspieszyć pracę. Takie problemy są równie ważne jak błędy techniczne.
Po zakończeniu pilotażu potrzebna jest ocena, czy narzędzie rzeczywiście poprawiło proces, czy jedynie przeniosło obciążenie na etap weryfikacji. System, który generuje dużą liczbę błędów, może pozornie przyspieszać pracę, ale ostatecznie zwiększać jej koszt.
Decyzja o rozszerzeniu wdrożenia powinna wynikać z danych i obserwacji, a nie z samego faktu, że narzędzie zostało zakupione.
System trzeba kontrolować także po uruchomieniu
Ocena przed wdrożeniem nie kończy odpowiedzialności urzędu. System może zmieniać się po aktualizacji, zacząć pracować na innych danych albo zostać użyty do celów, których pierwotnie nie przewidziano.
Organizacja powinna analizować błędy, skargi, przypadki odrzucenia rekomendacji i różnice w wynikach. Szczególną uwagę trzeba zwrócić na sytuacje, w których system działa inaczej wobec określonych grup albo regularnie pomija nietypowe przypadki.
Monitorowanie powinno obejmować również dostawcę. Urząd musi wiedzieć, czy zmienia się model, polityka przetwarzania danych, sposób przechowywania informacji albo zakres funkcji systemu.
Jeżeli narzędzie przestaje spełniać wymagania, powinna istnieć możliwość jego ograniczenia lub wycofania. System AI nie może stać się nieusuwalnym elementem organizacji tylko dlatego, że został już zintegrowany z innymi rozwiązaniami.
Bezpieczne wdrożenie jest zmianą organizacyjną
Sztuczna inteligencja nie jest zwykłym programem biurowym. Wpływa na sposób podejmowania decyzji, podział odpowiedzialności, ochronę danych i relację obywatela z urzędem.
Dlatego musi zostać uwzględniona w procedurach, politykach bezpieczeństwa, zasadach ochrony danych, regulaminach pracy, umowach z wykonawcami i programach szkoleniowych. Nie powinna działać obok istniejącego systemu organizacyjnego.
Najważniejsze jest zachowanie odpowiedzialności człowieka. AI może wspierać analizę, porządkować informacje i przyspieszać czynności rutynowe, ale nie powinna usuwać z procesu osoby, która rozumie sprawę, potrafi zakwestionować wynik i odpowiada za jego wykorzystanie.
Bezpieczne wdrożenie nie polega na unikaniu technologii. Polega na takim jej zastosowaniu, aby sprawność organizacyjna nie została osiągnięta kosztem praw obywatela, przejrzystości działania i odpowiedzialności administracji.
Artykuł opracowany na podstawie wspólnej publikacji Natalii Madej i Bartłomieja Wilka poświęconej etycznym i prawnym granicom stosowania sztucznej inteligencji w administracji publicznej.