Robodługi. Co zrobisz, gdy algorytm opróżni Ci konto?

Systemy świadczeń społecznych oparte na działaniu Sztucznej Inteligencji nie są wolne od wad. Podczas gdy firmy technologiczne snują optymistyczne wizje zmian społecznych, zdarza się, że najubożsi mieszkańcy naszego globu wpadają w kłopoty spowodowane pomyłkami algorytmów które powodują robodługi.

Wielokrotnie pisałem o zasługach Sztucznej Inteligencji dla biznesu, środowiska, nauki. Uważam, że równanie, które rozpisujemy w naszym coraz bardziej zdigitalizowanym świecie, wychodzi ciągle na plus, czyli z korzyścią dla ludzkości. Mam jednocześnie świadomość, że świat technologii zmaga się po części z problemem zawężonej perspektywy. 

Cyfryzacja naszej całej rzeczywistości niesie ze sobą korzyści, ale i ryzyka. Wiele się mówi o tym, że technologia może pogłębiać rozwarstwienia społeczne, kreować procesy, które mają niewiele wspólnego ze społeczną sprawiedliwością. Wiedzą o tym najlepiej obywatele Australii, Wielkiej Brytanii i Holandii, którzy toczą walkę z błędnie działającymi systemami opieki społecznej, które zautomatyzowano kompletnie, ale wadliwie. Dlatego przyjrzę się kilku aspektom nieprawidłowego działania cyfrowych systemów, które potrafią mocno skomplikować czyjeś życie.

Witamy w kafkowskiej dystopii

Nieprawidłowo przeprowadzona digitalizacja systemów świadczeń społecznych może prowadzić do egzystencjalnych dramatów. Błędne wyliczenia historii kredytowej, naliczanie zadłużenia, czy wyliczanie fikcyjnych niedopłat, mogą rujnować życie całych rodzin. Negocjacje, rozmowa, próby wyjaśnienia sytuacji niejednokrotnie zawodzą, bo klucz do sejfu mają dziś maszyny. Pracę opiekuna społecznego zastępuje coraz częściej analityka predykcyjna, która ocenia, czy ktoś ma prawo do świadczeń czy nie, a także czy jest uczciwy, czy może jednak oszukuje państwo na drodze rzekomych wyłudzeń. Kontakt z reprezentantem instytucji, która odpowiada za wstrzymanie wypłat potrzebnych do życia środków, zastąpiony zostaje niejednokrotnie przez rozmowę z botem lub pracownikiem call center, zlokalizowanym na innym kontynencie. Systemy ukazują swój kafkowski wymiar – operacje algorytmów są niejawne, a obywatele nie mają nawet świadomości, że są prześwietlani.

Zasiłek się nie należy

Nie tak dzwno temu, w Szwecji toczyła się poważna debata na temat automatyzacji systemu świadczeń społecznych. Media opisywały sytuację tysięcy bezrobotnych, którym algorytmy odmówiły wypłaty zasiłków w wyniku awarii systemu. Urzędnicy publiczni, którzy przeanalizowali jego działanie, wykryli, że 10 – 15 proc. decyzji dotyczących wypłaty zasiłku zawierało błąd. System, którego celem była weryfikacja uczciwości obywateli, całkowicie zawiódł.

Anne Kaun i Julia Velkova, zajmujące się problemem algorytmizacji systemów pomocy społecznej w całej Europie, stwierdziły, że „Szwedzka administracja publiczna zaczęła zastępować ludzi algorytmami decydującymi o świadczeniach społecznych, alimentach i zasiłku chorobowym. Obywatele już nie wiedzą, czy decyzja została podjęta przez algorytm czy urzędnika”.

Nowa kategoria: robodługi

W 2011 roku w Australii wprowadzono do użycia algorytm, który porównywał kwoty dochodu zgłaszane do instytucji pomocy społecznej przez osoby w potrzebie z ich zarobkami zgłaszanymi do skarbówki przez pracodawców. Rozbieżności miały być badane przez pracowników Centrelink, którzy w razie wątpliwości mieli podejmować kontakt z takimi osobami. Sytuacja zmieniła się 2016 roku, wraz z automatyzacją systemu. Rozbieżności w deklarowanych przychodach zaczęły być analizowane przez algorytmy, a zautomatyzowany system, po wykryciu nieprawidłowości, wysyłał informacje mailem. Po otrzymaniu wiadomości, wielu Australijczyków doznawało szoku. Logując się na rządowy portal, dowiadywali się o rzekomym zadłużeniu – algorytmy wykrywały różnice między deklaracjami o przychodach, a wyliczeniami skarbówki. Kwoty fikcyjnego zadłużenia były olbrzymie, sięgały kilkudziesięciu tysięcy USD. Odbiorcy świadczeń twierdzili, że postępowali zgodnie z regułami, ale algorytm uważał inaczej. Z czasem jednak okazywało się, że faktyczny dług danej osoby nie wynosił 5000 dolarów tylko 50 dolarów! Na skutek protestów, parlament zdecydował o wyłączeniu systemu. Australijski prawnik Philip Alston opracował raport dla ONZ na temat skrajnego ubóstwa osób, które zostały wykluczone z życia w wyniku błędnych decyzji zdigitalizowanych systemów świadczeń społecznych. Należy on do grona osób i instytucji, które dostrzegają coraz większą powagę i skalę problemu.

Walka o prawo do prywatności

Inny przykład z Holandii. Tamtejsze organizacje prawnicze i fundacje dedykowane walce o prawa obywatelskie negatywnie zaopiniowały działanie systemu SyRI. W istocie było to algorytmiczne rozwiązanie, które pozwalało na analizowanie danych osób zamieszkujących określone obszary – brane były pod uwagę zarówno dzielnice miejskie jak i całe gminy. Celem było stworzenie profili osób, które – teoretycznie – mogłyby się dopuszczać wyłudzeń z systemu pomocy społecznej. Co istotne, prześwietlanie wybranej grupy obywateli było całkowicie niejawne. Nie mogli więc oni bronić się przed umieszczeniem na liście podejrzewanych o możliwe, potencjalne wykroczenia. Opinie prawników przyniosły konsekwencje w postaci decyzji sądów, które orzekły, że system ma nieograniczone możliwości docierania do wszystkich danych o każdym mieszkańcu i jest to bezprawne. Była to jednoznaczna reakcja na rodzący się system inwigilacji społecznej.

Algorytmy wpędzają w ubóstwo?

Problemem zajmuje się także od pewnego czasu organizacja Humans Rights Watch, która przeanalizowała efekty działania zautomatyzowanego systemu Universal Credit w Wielkiej Brytanii. „Rząd stosuje wadliwy algorytm, który decyduje, ile pieniędzy dać ludziom na opłacenie czynszu i wyżywienie rodzin. Starania władz o zautomatyzowanie systemu świadczeń – bez względu na koszty ludzkie – popychają ludzi na skraj ubóstwa” – stwierdził Amos Toh, specjalista ds. Sztucznej Inteligencji i badacz praw człowieka w Human Rights Watch. W czerwcu tego roku, brytyjski sąd apelacyjny nakazał rządowi naprawienie wpływu wadliwego algorytmu na osoby otrzymujące regularne wynagrodzenie. Podobne przykłady można by mnożyć. A więc witamy w dystopii, w której opieka państwa, czy ochrona obywatela staje się kompletną fikcją.

Witamy w systemie Kafki

Państwa wydają coraz większe pieniądze na wdrażaniu technologii, która ma udrażniać przestarzałe systemy informatyczne. W intencjach rządów ma też rodzić się wartość dodatkowa, w postaci polepszenie relacji obywatel – instytucje. Tyle w teorii. W praktyce wiele osób, którym brakuje prostych kompetencji cyfrowych lub które trafiły na czarną listę stworzoną przez błędnie działający system, wpada w tarapaty. Okazuje się też niestety, że technologia niejednokrotnie staje się dzisiaj argumentem w ustach polityków i lobbystów, którzy przekonują władze do wdrażania danych rozwiązań ze względu na rzekome dobro społeczne. Ono się nie pojawia, a algorytmy zyskują wizerunek przerażającego narzędzia w rękach reprezentantów bezdusznego systemu.

Czy mamy więc szansę na zachowanie ludzkiej autonomii i ochronę przed szkodliwymi działaniami technologii? Podkreślę to po raz kolejny – mechanizmy, które regulują kwestie nowoczesnych technologii, powinny być regularnie wdrażane, stając się istotnym, pozytywnym elementem rozwoju technologicznego.

Cytowane prace:

Algorithm Watch, Sweden: Rogue algorithm stops welfare payments for up to 70,000 unemployed, Automated decision-making has become a national talking point in Sweden, after a report by the country’s public broadcaster revealed thousands of unemployed people were wrongly denied benefits by a government computer run amok. , Link, 2021. 

Centrelink Belot, Henry (17 January 2017). „Centrelink’s controversial data matching program to target pensioners and disabled, Labor calls for suspension”. ABC News. Retrieved 19 January 2017.

Algorithm Watch, How Dutch activists got an invasive fraud detection algorithm banned. The Dutch government has been using SyRI, a secret algorithm, to detect possible social welfare fraud. Civil rights activists have taken the matter to court and managed to get public organizations to think about less repressive alternatives. Link, 2021. 

Human Rights Watch, UK: Automated Benefits System Failing People in Need. Government’s Flawed ‘Universal Credit’ Algorithm Pushing People into Poverty. Link, 2021. 

Powiązane artykuły:

– Algorytmy zrodzone z naszych uprzedzeń

– Jak regulować sztuczną inteligencję?

– Czy algorytmy będą popełniać zbrodnie wojenne?

– Maszyno, kiedy nauczysz się ze mną kochać?

– Sztuczna inteligencja to nowa elektryczność

Artykuł Robodługi. Co zrobisz, gdy algorytm opróżni Ci konto? pochodzi z serwisu Norbert Biedrzycki.