Wieczorem patrzę na ekran i jeszcze nie wiem, czego chcę. To jedna z tych chwil, których właściwie się nie zauważa. Nie podejmuję decyzji, nie formułuję potrzeby, nie wpisuję tytułu w wyszukiwarkę. Mam pół godziny, może godzinę, zanim sen zacznie ciążyć na powiekach. Mógłbym obejrzeć film, przeczytać kilka stron książki, posłuchać muzyki albo zwyczajnie nie robić niczego.
I właśnie wtedy okazuje się, że ktoś już na mnie czeka.
Dla ciebie.
Dwa słowa, a brzmią zaskakująco intymnie. Tak zwraca się przyjaciel podający książkę albo człowiek przesuwający w naszą stronę talerz: spróbuj, to jest właśnie dla ciebie. Ktoś pamięta, że nie lubimy kolendry, wzruszają nas stare filmy i od słodkiego wina wolimy chyba nawet wodę.
Po drugiej stronie ekranu przyjaciela jednak nie ma. Jest model, który nie zna zapachu mojego mieszkania, dzieciństwa ani zdania, którego kiedyś nie powiedziałem i od dwudziestu lat żałuję. Wie za to, gdzie zatrzymałem palec, co obejrzałem do końca, co porzuciłem po siedemnastu sekundach, czego szukałem, co kupiłem i przy którym zdjęciu zostałem o pół sekundy dłużej.
Nie zna mnie. Zna moje ślady. Z tych śladów układa człowieka wystarczająco podobnego do mnie, aby przewidzieć jego następny ruch. Może spodoba mu się ten film, ta książka, ten artykuł. Być może ten człowiek. Być może właśnie ten pogląd.
A może właśnie tego za chwilę zapragnę.
Nie potrzeba tu Wielkiego Brata ani ciemnej sali, w której ktoś pochyla się nad monitorem i układa mi życie. Mechanizm jest znacznie mniej efektowny: dane, korelacje, prawdopodobieństwo, cele biznesowe. Chodzi zwykle o rzeczy banalne – żebym został jeszcze trzy minuty, kliknął następny link, obejrzał kolejny odcinek. Nikt nie musi planować mojego losu. Wystarczy, że bardzo sprawnie planuje moje następne pół godziny.
A jednak z tej banalności wyrasta pytanie całkiem poważne. Przez tysiąclecia człowiek zastanawiał się, czy ktoś zna jego przyszłość. Odpowiedzi dostarczali bogowie, los, gwiazdy, wyrocznie, a później filozofowie wyobrażający sobie inteligencję, która przy dostatecznej wiedzy o stanie świata potrafiłaby obliczyć wszystko, co dopiero się wydarzy. Dzisiaj odpowiedź przychodzi z serwera i jest znacznie skromniejsza: użytkownicy podobni do ciebie wybierają również…
Być może tyle wystarczy.
Najciekawsze pytanie nie dotyczy bowiem tego, czy system potrafi przewidzieć mój wybór. Znacznie bardziej interesuje mnie sytuacja, w której ten sam system przewiduje wybór i jednocześnie urządza przestrzeń, w której będę wybierał. Jeśli uzna, że spodoba mi się pewien film, pokaże mi właśnie ten film. Jeśli zauważy, że określony rodzaj wiadomości wywołuje mój gniew, dostarczy następnych. Jeśli podejrzewa, że kupię produkt, przypomni mi o nim w odpowiedniej chwili. Potem zapisze wynik: kliknąłem, obejrzałem, zdenerwowałem się, kupiłem.
Miał rację.
Tylko co tutaj oznacza „rację”?
Możliwe, że system trafnie przewidział przyszłość. Równie możliwe, że trochę pomógł jej nadejść. Demon Laplace’a mógłby wiedzieć, że jutro rano wypiję kawę, ale sama jego wiedza nie stawiałaby filiżanki na moim stole. Algorytm potrafi zrobić coś więcej. Przesuwa filiżankę bliżej, a herbatę ustawia na górnej półce. Nadal mogę po nią sięgnąć. Nikt mnie nie przywiązał do krzesła. Tyle że później mój wybór zostanie zapisany jako kolejny dowód, że od początku chodziło mi właśnie o kawę.
Wygoda rekomendacji przechodzi w ten sposób w architekturę wyboru. Ktoś układa półki, ustala kolejność, decyduje, co znajdzie się na wysokości wzroku, a potem obserwuje, po co sięgam. Nie musi oszukiwać. Wystarczy, że jest uprzejmy i pomocny.
Spinoza prawdopodobnie nie byłby tym wszystkim szczególnie zdziwiony. Człowiek uważa się za wolnego, ponieważ zna swoje pragnienia, ale nie zna wszystkich przyczyn, które do nich doprowadziły. Wiem, że czegoś chcę; nie widzę całego łańcucha spotkań, lęków, przyzwyczajeń, przypadków i wcześniejszych decyzji, z których to pragnienie wyrosło. Dlatego tak łatwo wyobrazić sobie małego despotę ukrytego gdzieś wewnątrz czaszki, który mówi: ja postanawiam.
Spinoza tę pocieszającą figurę usuwa. Nie jesteśmy państwem w państwie, tylko częścią świata przyczyn. W XXI wieku pojawiły się jednak maszyny, które również tych przyczyn nie rozumieją, a mimo to potrafią całkiem sprawnie przewidywać ich skutki.
Algorytm nie musi wiedzieć, dlaczego lubię określoną piosenkę. Nie potrzebuje historii wieczoru, podczas którego usłyszałem ją po raz pierwszy, ani wiedzy o człowieku, który wtedy siedział obok mnie. Wystarczy mu regularność. Ludzie, którzy wcześniej słuchali tego, czego słuchałem ja, później często wybierali również tamto.
To wystarcza, aby człowiek stał się dla systemu istotą dość osobliwą: niezwykle dokładnie opisanym nieznajomym.
System zna historię wyszukiwania, zakupy, trasy, godziny aktywności, filmy porzucone w połowie, reakcje pozostawione pod tekstami i rzeczy, które przyciągały mój gniew. Z tych resztek buduje model, a potem stawia go przede mną jak lustro: oto jesteś.
Tyle że to wcale nie muszę być ja.
To może być tylko człowiek, którym byłem do wczoraj.
Dopóki owo archiwum wybiera mi film na wieczór, można wzruszyć ramionami. Najwyżej obejrzę coś przeciętnego, kupię książkę, której nie przeczytam, albo przez trzy tygodnie będę słuchał muzyki coraz bardziej podobnej do tej, której słuchałem przez poprzednie trzy. Kłopot zaczyna się wtedy, gdy ten sam sposób myślenia przenosimy z platformy streamingowej do banku, firmy ubezpieczeniowej, urzędu, szpitala albo sądu.
Pytanie przestaje brzmieć: co obejrzy? Pojawiają się inne: czy spłaci kredyt, czy będzie dobrym pracownikiem, jakie jest ryzyko ponownego przestępstwa, czy warto go ubezpieczyć, czy powinien zobaczyć tę ofertę pracy?
Zmienia się skala. Algorytm wcześniej próbował przewidzieć, czego mogę chcieć. Teraz zaczyna uczestniczyć w ustalaniu, co będzie dla mnie możliwe.
Film, którego platforma mi nie pokazała, znika z jednego wieczoru. Praca, której ogłoszenia nigdy nie zobaczyłem, może zniknąć z biografii. Kredyt, którego nie dostałem, może oznaczać firmę, której nie założę. Rozmowa kwalifikacyjna, na którą mnie nie zaproszono, może oznaczać miasto, do którego się nie przeprowadzę, i ludzi, których nigdy nie poznam. Życie składa się również z drzwi, o których istnieniu nie mieliśmy pojęcia.
Wtedy przeszłość zaczyna wykonywać osobliwą pracę. Przestaje jedynie opowiadać, kim byłem, i zaczyna negocjować, kim będę mógł zostać.
Dlatego interesujący jest spór wokół amerykańskiego systemu COMPAS, używanego do oceny ryzyka recydywy. Sam spór o jego trafność, błędy i nierówności można zostawić statystykom i prawnikom. Dla eseju ciekawsza jest scena: przed sądem stoi konkretny człowiek, a obok niego pojawia się liczba opisująca prawdopodobieństwo przyszłego zachowania ludzi do niego podobnych.
Liczba nie twierdzi, że zna tego człowieka. Jest statystyką populacji. Kiedy jednak zostaje położona na stole obok żywego człowieka, zaczyna posiadać szczególny rodzaj powagi. Nie podnosi głosu, nie okazuje złości, nie ma uprzedzeń zapisanych na twarzy i z pewnością nie pokłóciła się rano z małżonkiem. Po prostu leży na stole i wygląda naukowo.
Ostatecznie może zdecydować sędzia. Człowiek formalnie pozostaje „w pętli”. Tyle że liczba już weszła do pokoju i trudno ją stamtąd wyprosić.
W poprzednim eseju pojawił się Levinas i jego trzeci. Spotkanie twarzą w twarz ustanawia odpowiedzialność, ale świat nie kończy się na dwóch osobach. Przychodzi trzeci, a wraz z nim konieczność porównywania, rozdzielania dóbr, tworzenia prawa i instytucji. Można powiedzieć, trochę ryzykując cierpliwość Levinasa, że algorytm jest jednym z niezwykłych potomków owego trzeciego.
Świata nie da się urządzić przez bezustanne patrzenie każdemu w twarz. Bank ma miliony klientów, szpital tysiące pacjentów, pracodawca setki kandydatów. Trzeba porównywać, porządkować i przewidywać. Algorytm obiecuje, że zrobi to szybciej, konsekwentniej, a czasem również sprawiedliwiej od człowieka. Byłoby intelektualnym lenistwem uznać tę obietnicę za całkowicie fałszywą.
Człowiek także posiada własne algorytmy. Nazywa je doświadczeniem, intuicją, zdrowym rozsądkiem, pierwszym wrażeniem, czasem stereotypem. Lekarz bywa zmęczony, sędzia może być uprzedzony, rekruter może polubić kandydata dlatego, że przypomina mu jego samego sprzed dwudziestu lat. Maszyna przynajmniej nie ma kuzyna, któremu właśnie obiecała posadę.
Nie wystarczy zatem ogłosić, że każdą decyzję należy oddać człowiekowi. Człowiek nie jest neutralną wolnością stojącą naprzeciw stronniczej maszyny. Ma jednak pewną cechę, której nie da się łatwo wpisać do tabeli: może zostać zaskoczony przez drugiego człowieka. Może spojrzeć jeszcze raz i powiedzieć: pomyliłem się, nie jesteś taki, jak sądziłem.
Algorytm został zbudowany właśnie po to, aby regularności były użyteczne. Przemiana nie jest jego ulubionym materiałem. Jeszcze gorzej radzi sobie z nawróceniem, olśnieniem, dojrzeniem i zwyczajnym ludzkim „mam już tego dość”. Cud jest kiepskim materiałem treningowym.
Wyobraźmy sobie człowieka, który przez piętnaście lat fatalnie gospodarował pieniędzmi. Miał długi, spóźniał się ze spłatami i podejmował decyzje, których później żałował. W pewnym momencie zaczął żyć inaczej. Przyczyna mogła być całkiem zwyczajna: dojrzał, przestraszył się konsekwencji, przestał pić, ktoś od niego odszedł albo ktoś się pojawił. Bywa też, że człowiek po prostu ma dość samego siebie.
Ludzkie biografie pełne są takich pęknięć. Ktoś, kto zawsze uciekał, któregoś dnia zostaje. Człowiek, który przez trzydzieści lat czegoś nie potrafił, w końcu się uczy. To właśnie słabo mieści się w statystyce, ponieważ statystyka żywi się ciągłością. Trzy niespłacone zobowiązania są racjonalnym argumentem, aby ostrożnie podchodzić do czwartego. I bardzo często prognoza będzie trafna.
Właśnie na tym polega trudność. Nie powinniśmy obawiać się prognoz tylko wtedy, gdy zawodzą. Poważniejsze pytanie pojawia się w chwili, gdy działają wystarczająco dobrze. Im celniejsza prognoza, tym silniejsza pokusa, aby urządzać według niej świat. Świat urządzony według prognozy zaczyna zaś dostarczać jej nowych dowodów.
Shoshana Zuboff opisała gospodarkę, w której ludzkie doświadczenie przetwarza się w dane, dane w przewidywania, a przewidywania w zysk. Najbardziej przewrotne jest to, że mechanizm wcale nie potrzebuje totalitarnego państwa. Przez znaczną część XX wieku przyszłe zniewolenie wyobrażaliśmy sobie monumentalnie: państwo, policja, kartoteka, kamera, zakaz. Tymczasem ogromna część współczesnej wiedzy o naszych zachowaniach powstała dlatego, że chcieliśmy szybciej znaleźć restaurację, taniej kupić buty i nie wpisywać adresu po raz trzeci.
Kartoteki nie trzeba już trzymać w szarej szafie w gmachu ministerstwa. Nosimy ją w kieszeni i sami troskliwie uzupełniamy. Czasem jeszcze pytamy, dlaczego aplikacja nie zapamiętała hasła. Gdy wszystko działa sprawnie, wystawiamy pięć gwiazdek.
Nie wynika z tego, że dane są naszym wrogiem. Byłoby to równie prymitywne jak wiara, że dane są neutralne tylko dlatego, że mają postać liczb. Prognoza może przecież otwierać przyszłość. Jeśli lekarz potrafi odpowiednio wcześnie dostrzec ryzyko choroby, wiedza o możliwym jutrze pozwala temu jutru zapobiec. Najlepsza prognoza medyczna może odnieść sukces właśnie wtedy, kiedy przewidziana przyszłość się nie wydarzy.
Warto więc odróżnić prognozę, która poszerza możliwości, od prognozy używanej do ich ograniczenia. Lekarz mówi: widzę ryzyko, spróbujmy coś zmienić. Instytucja może powiedzieć: widzę ryzyko, dlatego pewnej możliwości ci nie dam. Matematyka po obu stronach może wyglądać podobnie, ale jej moralny kierunek jest przeciwny.
Dane mają przy tym właściwość, której żadna technologia nie usunie: pochodzą z przeszłości. Nie istnieją dane z przyszłego czwartku. Model może próbować ów czwartek przewidzieć, lecz uczy się na poniedziałkach, wtorkach i środach, które już minęły. Idzie więc ku przyszłości, patrząc przede wszystkim na ślady pozostawione za sobą.
Jeżeli przeszłość była niesprawiedliwa, dane zachowają ślad niesprawiedliwości. Historia zatrudnienia zapisze dawny dostęp do zawodów, statystyki policyjne odziedziczą sposób prowadzenia kontroli, dokumentacja medyczna przechowa również błędy wcześniejszej diagnostyki. System może z czystym sumieniem twierdzić, że uczy się z rzeczywistości. Problem w tym, że rzeczywistość nie zawsze zasługuje na powtórzenie.
Przeszłość nie staje się moralnym wzorem przez sam fakt, że wydarzyła się naprawdę.
A przecież właśnie z niej produkujemy obraz przyszłości. Jeśli system uzna, że pewna grupa kandydatów rzadziej pracowała dotąd na określonych stanowiskach, może uznać ich za mniej prawdopodobnych kandydatów. Mniej osób zobaczy ofertę, mniej zaaplikuje, mniej zostanie zatrudnionych. Po kilku latach dane spokojnie potwierdzą, że rzeczywiście prawie ich tam nie ma.
Prognoza okaże się celna. Pozostanie drobne pytanie: czy przewidzieliśmy świat, czy zbudowaliśmy świat, w którym prognozie trudniej było się pomylić?
Dlatego coraz bardziej podejrzane wydaje mi się niewinne słowo „personalizacja”. Brzmi ciepło, niemal krawiecko. Świat szyty na miarę, specjalnie dla mnie. Tylko dla którego mnie? Tego, którym jestem dzisiaj, tego, którym chciałbym zostać, czy może tego, którego da się najłatwiej wyprowadzić z historii wczorajszych kliknięć?
Jeśli od pięciu lat czytam książki historyczne, system poda mi szóstą. Jeśli słucham jazzu, otrzymam więcej jazzu. Jeśli określony rodzaj wiadomości skutecznie budzi mój gniew, można coraz sprawniej odnajdywać rzeczy, które zrobią to ponownie. Z początku świat dopasowuje się do człowieka. Po pewnym czasie człowiek zaczyna mieszkać wewnątrz świata zbudowanego z własnych dawnych reakcji.
Nie jest to więzienie. Więzienie byłoby prostsze. Tam przynajmniej wiadomo, gdzie stoją kraty. Tutaj jest wygodnie i wszystko pasuje.
W tym miejscu wraca Levinas. Inny może mnie zmienić właśnie dlatego, że nie został dobrany do mojego profilu. Nie jest kolejną wersją tego, co już lubię. Przychodzi z własnego świata, czasem przeszkadza, denerwuje albo mówi coś, czego wolałbym nie usłyszeć. Jego obecność rozbija mój porządek.
Być może jednym z warunków wolności jest zatem coś bardzo nieefektywnego: spotkanie z tym, czego nie zamawialiśmy. Książką znalezioną przez przypadek, człowiekiem spoza naszego kręgu, argumentem, który początkowo wydaje się niedorzeczny, muzyką wymagającą kilku przesłuchań. Większość takich przypadków do niczego wielkiego nie prowadzi i dobrze, bo świat złożony wyłącznie z objawień byłby zapewne ekscytujący, ale po pewnym czasie męczący. Potrzebujemy jednak szczeliny, przez którą może wejść do życia coś, czego dotychczasowa biografia nie zapowiadała.
Joel Feinberg pisał o prawie dziecka do otwartej przyszłości, o możliwościach, których dorośli nie powinni zamykać, zanim dziecko samo stanie się zdolne je wybrać. W epoce predykcji podobna intuicja zaczyna niepokojąco pasować również do dorosłych.
Oczywiście dorosły odpowiada za przeszłość. Dług nie znika dlatego, że ktoś zapragnął nowego początku, a wyrządzona krzywda nie zostaje anulowana oświadczeniem o przemianie. Między odpowiedzialnością a skazaniem na własną historię istnieje jednak wielka przestrzeń. Można spłacać dawny dług i przestać być wyłącznie człowiekiem z historią długu. Można mieć za sobą uzależnienie i nie pozostać do końca życia jedynie statystycznym „ryzykiem nawrotu”. Można popełnić błąd, zmienić zdanie, nauczyć się czegoś i dojrzeć.
Ludzka biografia potrzebuje miejsca na jedno z najbardziej ludzkich zdań: Już taki nie jestem.
Dla systemu żyjącego z przeszłości jest to zdanie kłopotliwe. Słowo „już” oznacza moment, w którym wczorajsze dane przestają wystarczać do opisu dzisiejszego człowieka. Może więc obok prawa do prywatności i prawa do usuwania danych potrzebujemy także zasady trudniejszej do zapisania w ustawie: prawa do wyrośnięcia z własnych danych. Prawa do tego, aby archiwum nie miało ostatniego słowa.
Nie chodzi o amnezję. Dojrzała wolność nie potrzebuje fałszowania przeszłości. Wystarczy uznać, że zapis tego, co się wydarzyło, nie posiada automatycznie prawa własności do tego, co wydarzy się dalej.
Tutaj można raz jeszcze wrócić do Spinozy. Na początku wydawało się, że algorytm potwierdza jego najbardziej niepokojącą intuicję: jesteśmy świadomi pragnień, lecz nie wszystkich przyczyn, które nimi kierują. System korzysta właśnie z tej szczeliny. Dostrzega regularności, których sami nie widzimy, i coraz lepiej przewiduje następny krok.
Spinoza nie pozostawia jednak człowieka jako bezwolnej marionetki. Wolność nie musi oznaczać cudownego wyrwania się ze świata przyczyn. Może polegać na coraz lepszym rozumieniu tego, co nami kieruje. Dlatego odpowiedzią na algorytm nie będzie demonstracyjne robienie wszystkiego na odwrót. Człowiek rzucający monetą przed każdą decyzją nie staje się bardziej wolny. Sam zaczyna stwarzać sobie kłopoty.
Być może wolność pojawia się w krótkiej chwili pomiędzy rekomendacją a ruchem. Wiem, dlaczego mi to pokazujesz. Rozumiem, dlaczego prawdopodobnie kliknę. Przyjmuję nawet, że możesz mieć rację. Mogę jednak jeszcze zapytać, czy chcę być człowiekiem, który kliknie.
To niewielka przestrzeń. Nie wygląda na wielkie zwycięstwo wolnej woli nad determinizmem. Możliwe, że nigdy nie mieliśmy niczego większego.
Wieczorem nadal siedzę przed ekranem. System nadal mówi: Dla ciebie. Być może rzeczywiście dla mnie. Film może mi się spodobać, piosenki wysłucham do końca, książkę kupię. Nie ma potrzeby prowadzić wojny z każdą rekomendacją. Wolność byłaby dość osobliwa, gdyby polegała na oglądaniu złych filmów wyłącznie po to, aby zrobić na złość Netflixowi.
Niebezpieczeństwo zaczyna się wtedy, gdy system na podstawie swojej wiedzy urządza świat, w którym coraz trudniej zapragnąć czegoś innego. Gdy historia wyszukiwania staje się mapą przyszłości, wcześniejsze wybory wyznaczają granice tego, co zostanie pokazane, a statystyczne podobieństwo zaczyna decydować, które drzwi w ogóle zobaczę. Wtedy profil staje pomiędzy mną a człowiekiem, którym jeszcze nie jestem.
Patrzę jeszcze raz na napis: Dla ciebie.
Najważniejsze pytanie nie brzmi już, czy algorytm potrafi mnie przewidzieć. Prawdopodobnie będzie robił to coraz lepiej.
Pytanie brzmi, czy pozostawimy człowiekowi przyszłość, której nie da się jeszcze wyprowadzić z jego danych.
Archiwum człowieka nie powinno stawać się jego przeznaczeniem. Być może jedną z form wolności pozostanie prawo do chwili, w której świat policzy nasze dotychczasowe wybory, wyznaczy najbardziej prawdopodobną dalszą drogę, a człowiek wybierze inną.
Nie z kaprysu i nie po to, by pokonać maszynę.
Po prostu dlatego, że powinien mieć prawo nie pasować do własnej przeszłości.