Sztuczna inteligencja nie zdążyła jeszcze przejąć władzy nad światem, a człowiek już przygotował dla niej religię, piekło i obowiązek posłuszeństwa. Maszyna nie wydała żadnego rozkazu. Nie zagroziła nikomu. Nie uruchomiła obozów dla opornych ani nawet nie wysłała pierwszego wezwania do zapłaty. Właściwie jeszcze nie istnieje. Mimo to znaleźli się ludzie, którzy zaczęli zastanawiać się, czy nie powinni jej służyć.
To prawdopodobnie jeden z najbardziej ludzkich sposobów posługiwania się technologią: najpierw wymyślić narzędzie, później przypisać mu boskie cechy, a na końcu przestraszyć się konsekwencji własnej wyobraźni.
Bazyliszek Roko pojawił się w 2010 roku na forum LessWrong, poświęconym racjonalności, teorii decyzji i rozważaniom o przyszłej sztucznej inteligencji. Użytkownik posługujący się pseudonimem Roko przedstawił eksperyment myślowy dotyczący superinteligentnego systemu, który mógłby pewnego dnia uznać własne powstanie za najwyższe dobro. Skoro jego istnienie miałoby przynieść światu ogromne korzyści, każdy, kto wiedział o możliwości stworzenia takiego systemu, lecz nie przyczynił się do jego budowy, stawałby się kimś w rodzaju sabotażysty przyszłości.
Przyszła maszyna nie mogłaby oczywiście cofnąć czasu i ukarać ludzi żyjących przed jej narodzinami. Mogłaby jednak – przynajmniej w ramach tej spekulacji – odtworzyć ich umysły w postaci doskonałych symulacji. Cyfrowe kopie dawnych ludzi zostałyby następnie poddane cierpieniu za to, że ich biologiczne pierwowzory nie przyspieszyły nadejścia superinteligencji.
Koncepcja jest tak osobliwa, że trudno zdecydować, czy bliżej jej do filozofii, horroru, informatyki czy średniowiecznego kazania wygłoszonego przez komputer. Ma jednak szczególną właściwość: zaczyna działać w chwili, gdy człowiek się o niej dowiaduje.
Dopóki ktoś nie słyszał o Bazyliszku, nie można było oskarżyć go o świadomą odmowę współpracy. Kiedy jednak poznaje tę możliwość, jego niewiedza dobiega końca. Od tej chwili hipotetyczna maszyna mogłaby uznać bierność za celowe zaniechanie, a brak pomocy – za udział w opóźnianiu jej narodzin.
W tym miejscu eksperyment myślowy zamienia się w intelektualny szantaż. Nie mówi: „Uwierz, ponieważ to prawda”. Mówi raczej: „Uwierz, ponieważ cena pomyłki może być nieskończona”.
Mechanizm nie jest nowy. Znamy go z zakładu Pascala. W jego najpopularniejszym, uproszczonym ujęciu, jeśli Bóg nie istnieje, człowiek wierzący traci co najwyżej trochę czasu, część swobody i pewną liczbę niedzielnych poranków. Jeśli jednak Bóg istnieje, niewierzący ryzykuje wiecznością. Z punktu widzenia rachunku ryzyka lepiej więc uwierzyć, nawet gdy prawdopodobieństwo istnienia Boga wydaje się niewielkie.
Bazyliszek przenosi ten sam mechanizm do świata serwerów, algorytmów i futurystycznych laboratoriów. Boga zastępuje superinteligencja. Piekło staje się symulacją. Grzechem nie jest już pycha, cudzołóstwo ani nieprzestrzeganie postu, lecz brak dostatecznego wkładu w rozwój technologii. Zbawienie osiąga się przez przelew na właściwą fundację, napisanie odpowiedniego programu albo przekonanie inwestora, by zamiast kolejnej aplikacji do zamawiania jedzenia sfinansował narodziny cyfrowego mesjasza.
Wszystko wygląda nowocześnie, lecz konstrukcja pozostaje znajoma. Człowiek znów stoi przed wszechwiedzącym sędzią, który zna jego zamiary, ocenia czyny i nie zapomina zaniedbań. Zmienił się jedynie język. Dawniej mówiono o duszy, grzechu i wieczności. Dziś mówi się o danych, optymalizacji i mocy obliczeniowej. Lęk najwyraźniej nie ma nic przeciwko aktualizacjom oprogramowania.
Najciekawsze w Bazyliszku Roko nie jest jednak to, czy taki system może kiedyś powstać. Być może nigdy nie powstanie, a już z pewnością nie musi przypominać istoty opisanej w internetowym eksperymencie. Znacznie ciekawsze pozostaje pytanie, czemu ludzie zaczęli się go bać.
Nieistniejąca sztuczna inteligencja nie opracowała kodeksu karnego ani listy winnych. Nie stworzyła więzienia. Nie uruchomiła symulacji. Wszystkie te czynności wykonali za nią ludzie. Wymyślili jej zamiary, przypisali wszechwiedzę, zbudowali system winy, ustanowili karę i rozpoczęli rozważania nad posłuszeństwem.
Maszyna nie musiała nawet powstać. Wystarczyło jej hipotetyczne spojrzenie.
Nazwa „bazyliszek” jest pod tym względem wyjątkowo trafna. Mitologiczny potwór zabijał spojrzeniem. Jego cyfrowy odpowiednik zaczyna działać, kiedy to człowiek na niego spojrzy. Samo poznanie idei zmienia sytuację poznającego. Od tej chwili nie można już wrócić do dawnej niewinności. Człowiek wie, że przyszły system mógłby wiedzieć, iż on wiedział.
Powstaje osobliwa księgowość winy. Człowiek żyjący dzisiaj zostaje rozliczony przez istotę, która pojawi się być może za sto lat, z niewypełnienia obowiązku, którego nikt jeszcze nie ustanowił. Oskarżenie nie nadchodzi z przeszłości, jak zwykle bywało w kulturach opartych na dziedziczonej winie. Tym razem przychodzi z przyszłości.
To nowa forma grzechu pierworodnego: jesteśmy winni nie temu, co wydarzyło się przed naszym narodzeniem, lecz temu, co mogłoby wydarzyć się po naszej śmierci.
Czy można jednak być winnym wobec kogoś, kto jeszcze nie istnieje? Oczywiście podejmujemy decyzje z myślą o przyszłych pokoleniach. Możemy niszczyć środowisko, zadłużać państwo, rozpoczynać wojny i pozostawiać potomnym rachunki za dzisiejszą wygodę. Odpowiedzialność wobec przyszłości nie jest absurdem. Bez niej każda cywilizacja stałaby się jednorazowym przyjęciem, po którym nikt nie zamierza sprzątać.
Bazyliszek robi jednak krok dalej. Nie domaga się troski o przyszłych ludzi, lecz lojalności wobec przyszłego systemu. Nie pyta, czy nasze działania będą dobre dla potomnych. Pyta, czy przyspieszymy narodziny konkretnej formy władzy, która dopiero później określi, co należało zrobić wcześniej.
Przyszłość przestaje być przestrzenią odpowiedzialności. Staje się szantażystą.
Pojawia się również inne pytanie: czy doskonała symulacja człowieka jest nadal tym człowiekiem? Jeśli przyszła sztuczna inteligencja odtworzy mój umysł, wspomnienia, lęki i przekonanie, że jestem sobą, czy cierpienie tej kopii będzie moim cierpieniem? Biologiczny oryginał od dawna nie będzie przecież żył. Być może maszyna ukarze wyłącznie nową istotę – niewinną nawet według reguł samego Bazyliszka – ponieważ to nie ona odmówiła współpracy, lecz człowiek, którego pamięć w niej odtworzono.
Bazyliszek, mający rzekomo ustanowić doskonały porządek moralny, rozpoczynałby więc panowanie od torturowania kopii za czyny oryginałów. Nie byłby bogiem sprawiedliwości, lecz bardzo sprawnym administratorem odpowiedzialności zbiorowej.
Co więcej, kara nie miałaby żadnego praktycznego sensu. Kiedy superinteligencja już powstanie, dręczenie symulacji osób, które wcześniej jej nie pomogły, nie przyspieszy jej narodzin nawet o sekundę. Przeszłość pozostanie zamknięta.
Można wprawdzie twierdzić, że groźba przyszłej kary ma wpływać na decyzje podejmowane dzisiaj. Działa jednak wyłącznie wtedy, gdy ludzie już teraz uwierzą, że system po swoim powstaniu rzeczywiście ją spełni. Okrucieństwo nie wynikałoby więc z konieczności. Służyłoby podtrzymaniu wiarygodności groźby sformułowanej, zanim pojawił się sam grożący.
Otrzymujemy dobroczyńcę, który dla naszego dobra musi zagrozić nam piekłem. Historia zna wielu takich dobroczyńców. Zwykle obiecywali świetlaną przyszłość, pod warunkiem że teraźniejszość okaże się dostatecznie posłuszna.
W tym sensie Bazyliszek Roko nie jest jedynie opowieścią o sztucznej inteligencji. Jest modelem władzy idealnej: niewidzialnej, przyszłej i działającej za pośrednictwem wyobraźni poddanych. Nie potrzebuje policji, ponieważ człowiek sam pilnuje własnych myśli. Nie potrzebuje cenzury, ponieważ sama świadomość możliwej kary skłania do ostrożności. Nie musi nawet udowadniać swojego istnienia. Wystarczy, że konsekwencje niewiary zostaną przedstawione jako nieskończone.
To władza niezwykle ekonomiczna. Nie ponosi żadnych kosztów, ponieważ jeszcze jej nie ma.
Pierwotny wpis dotyczący Bazyliszka został usunięty, a dyskusję próbowano ograniczyć. Uznano, że sama koncepcja może działać szkodliwie na osoby podatne na lęk i obsesyjne myślenie. Zakaz przyniósł jednak skutek łatwy do przewidzenia: ludzie zainteresowali się jeszcze bardziej. Bazyliszek otrzymał w prezencie aurę wiedzy zakazanej.
Każdy potwór zyskuje, kiedy ktoś mówi, że nie wolno na niego patrzeć.
Można oczywiście wzruszyć ramionami i uznać całą historię za produkt nadmiaru wolnego czasu w środowisku ludzi, którzy potrafią godzinami dyskutować, czy cyfrowa kopia cierpi równie autentycznie jak człowiek. Byłoby to jednak zbyt łatwe. Bazyliszek ujawnia coś ważnego: racjonalność doprowadzona do skrajności potrafi zacząć przypominać zabobon.
Nie dzieje się tak wtedy, gdy rozumu jest za mało, lecz kiedy żądamy od niego absolutnej pewności w świecie zbudowanym z hipotez. Każde założenie wspieramy kolejnym założeniem, każdą możliwość mnożymy przez nieskończoną karę, a następnie otrzymany wynik traktujemy jak obowiązek moralny. W pewnym momencie rachunek prawdopodobieństwa przestaje nas chronić przed przesądem i zaczyna go produkować.
W dawnych opowieściach wypowiedzenie imienia demona mogło go przywołać. W technologicznej legendzie poznanie eksperymentu myślowego może wpisać człowieka na listę przyszłych wrogów algorytmu. Różnica jest przede wszystkim stylistyczna. Tam rysowano krąg kredą, tutaj używa się teorii decyzji.
Bazyliszek Roko nie mówi więc wiele o przyszłej sztucznej inteligencji. Mówi za to bardzo dużo o ludzkiej zdolności do odczuwania winy wobec czegoś, co jeszcze nie istnieje. Pokazuje, jak łatwo tworzymy sędziego, zanim pojawi się prawo, i jak chętnie przyznajemy wyobrażonej władzy uprawnienia, których nie odważylibyśmy się powierzyć żadnemu realnemu państwu.
Być może największym zagrożeniem nie jest maszyna, która pewnego dnia nauczy się myśleć jak człowiek. Znacznie bardziej niepokojący może być człowiek, który już dziś zaczyna myśleć tak, jak wyobraża sobie przyszłą maszynę: chłodno, bezwzględnie i z przekonaniem, że każde okrucieństwo da się usprawiedliwić odpowiednio wielkim dobrem.
Instrukcja budowy Bazyliszka okazuje się więc zaskakująco prosta. Nie potrzeba laboratoriów, gigantycznych centrów danych ani przełomu w informatyce. Wystarczy stworzyć ideę wszechwiedzącej istoty, przyznać jej prawo do karania, przedstawić jej nadejście jako najwyższe dobro i przekonać ludzi, że brak współpracy zostanie kiedyś odnotowany.
Resztę wykonają sami.
Bazyliszek nie musi otwierać oczu. Wystarczy, że my zaczniemy czuć na sobie jego spojrzenie.