Ten ebook jest chroniony znakiem wodnym

ebookpoint.pl Kopia dla:

Wit Nirski wit.nirski@gmail.com G01042649645
wit.nirski@gmail.com

Nick Bostrom

Superinteligencja

Scenariusze,‌ strategie, zagrożenia

Tytuł oryginalny: Superintelligence: Paths, Dangers, Strategies, First Edition

Tłumaczenie: Dorota Konowrocka-Sawa

Projekt okładki:‍ ULABUKA

Illustracja na okładce: ULABUKA

ISBN: 978-83-289-0329-6

© Nick Bostrom 2014

Superintelligence: Paths, Dangers, Strategies, First Edition was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Helion SA is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

Książka‌ Superinteligencja.‍ Scenariusze, strategie, zagrożenia została pierwotnie wydana w języku angielskim w 2014 roku. Niniejszy przekład został opublikowany na podstawie umowy z wydawnictwem Oxford University Press. Jedynym podmiotem odpowiedzialnym za tłumaczenie oryginalnego tekstu jest Helion S.A., a Oxford University Press nie ponosi odpowiedzialności za jakiekolwiek błędy, przemilczenia, nieścisłości czy niejednoznaczności przekładu, ani za szkody powstałe w ich rezultacie.

Polish edition copyright © 2016, 2021, 2023 by Helion SA. All rights reserved.

All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopying, recording or by any information storage retrieval system, without permission from the Publisher.

Wszelkie prawa zastrzeżone. Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej publikacji w jakiejkolwiek postaci jest zabronione. Wykonywanie kopii metodą kserograficzną, fotograficzną, a także kopiowanie książki na nośniku filmowym, magnetycznym lub innym powoduje naruszenie praw autorskich niniejszej publikacji.

Wszystkie znaki występujące w tekście są zastrzeżonymi znakami firmowymi bądź towarowymi ich właścicieli.

Autor oraz wydawca dołożyli wszelkich starań, by zawarte w tej książce informacje były kompletne i rzetelne. Nie biorą jednak żadnej odpowiedzialności ani za ich wykorzystanie, ani za związane z tym ewentualne naruszenie praw patentowych lub autorskich. Autor oraz wydawca nie ponoszą również żadnej odpowiedzialności za ewentualne szkody wynikłe z wykorzystania informacji zawartych w książce.

HELION S.A.

ul.‍ Kościuszki 1c,‍ 44-100 GLIWICE

tel.‌ 32 230 98 63

e-mail: helion@helion.pl

WWW: https://helion.pl (księgarnia internetowa,‌ katalog książek)

Drogi Czytelniku!

Jeżeli chcesz ocenić tę książkę, zajrzyj pod adres

https://helion.pl/user/opinie/supivv_ebook

Możesz tam wpisać swoje uwagi, spostrzeżenia, recenzję.

- Poleć książkę

- Kup w wersji papierowej

- Oceń książkę

- Księgarnia internetowa

- Lubię to! » nasza społeczność

Niedokończona‍ bajka o wróblach

Działo‌ się to w okresie gniazdowania. Po wielu dniach ciężkiej pracy wróble przysiadły w wieczornym słońcu, odpoczywając i świergocąc jeden przez drugiego.

— Jesteśmy takie małe i słabe. Wyobraźcie sobie, jak proste byłoby nasze życie, gdybyśmy miały sowę, która pomogłaby nam w budowie gniazd! — powiedział pierwszy.

— Tak!‍ — zawtórował mu drugi. — I moglibyśmy zatrudnić ją do opieki nad pisklętami i najstarszymi wróblami.

— Mogłaby‍ udzielać nam dobrych rad i miałaby na oku kota z sąsiedztwa — dodał trzeci.

I wtedy przemówił stary ptak o imieniu Pasterz:

— Poślijmy‍ zwiadowców na wszystkie krańce świata. Niech znajdą porzuconą sówkę lub chociaż sowie jajo, w ostateczności może być pisklę wrony albo mała łasica. To może być najlepsze, co nam się kiedykolwiek zdarzyło! W każdym razie od czasu otwarcia Pawilonu Nieograniczonych Zasobów Ziarna na tamtym podwórku.

Stadko było zachwycone i wszystkie wróble zaczęły ćwierkać i świergotać ze zdwojoną siłą.

Tylko Gderacz, jednooki wróbel o zgryźliwym usposobieniu, nie podzielał przekonania o roztropności tego przedsięwzięcia.

— Z‌ pewnością przywiedzie nas to do zguby — ostrzegł. — Czy nie należałoby poznać tajników oswajania sów, zanim wprowadzimy takie stworzenie do naszego grona?

— Oswajanie sów wydaje się niezmiernie trudne — odpowiedział Pasterz. — Już samo znalezienie sowiego jaja będzie wymagało mnóstwo wysiłku, więc od tego zacznijmy, a dopiero kiedy się nam uda wyhodować sowę, pomyślimy o podjęciu kolejnego wyzwania.

— To nieprzemyślany plan! — burknął Gderacz, lecz protestował na próżno, bo stadko już odleciało, by wykonać polecenia Pasterza.

Na miejscu pozostały tylko dwa czy trzy wróble. Wspólnie zaczęły się zastanawiać, jak można by było oswoić i udomowić sowy. Wkrótce zrozumiały, że Pasterz miał rację — było to niezmiernie trudne zadanie, zwłaszcza biorąc pod uwagę brak sowy, na której można by było poćwiczyć. Mimo to nie ustawały w wysiłkach, obawiając się nieustannie, że zwiadowcy powrócą z sowim jajem, zanim problem kontroli doczeka się rozwiązania.

Nie wiadomo, jak zakończyła się ta historia, lecz autor dedykuje tę książkę Gderaczowi i tym, którzy podążają jego śladem.

Spisy‌ rysunków, tabel i ramek

Spis‌ rysunków

1.‌ Długookresowa historia wzrostu światowego PKB 20

2.‌ Całkowity długofalowy wpływ HLMI na ludzkość 44

3.‌ Moc obliczeniowa superkomputera 52

4.‌ Trójwymiarowa rekonstrukcja neuroanatomii na bazie zdjęć wykonanych mikroskopem elektronowym 57

5.‍ Harmonogram emulacji całego mózgu 62

6.‍ Zdjęcia kombinowane jako metafora skorygowanego genomu 71

7.‌ Krzywa odejścia 102

8.‌ Skala mniej antropomorficzna? 112

9.‍ Jeden z prostych modeli eksplozji inteligencji 121

10.‌ Fazy scenariusza przejęcia władzy przez sztuczną inteligencję 146

11.‍ Schematyczne przedstawienie wybranych możliwych trajektorii hipotetycznego mądrego singletonu 154

12.‌ Rezultaty antropomorfizacji pobudek istot pozaziemskich 161

13.‌ Najpierw sztuczna inteligencja czy emulacja mózgu? 352

14.‌ Poziomy ryzyka w wyścigu technologii SI 358

Spis‍ tabel

1.‍ Systemy sztucznej inteligencji grające w gry 32

2.‌ Kiedy zostaną wynalezione myślące maszyny dorównujące inteligencją człowiekowi? 42

3.‍ Ile czasu zajmie przejście od myślących maszyn dorównujących inteligencją człowiekowi do systemów SI o nadludzkiej inteligencji? 43

4.‌ Potencjał techniczny konieczny do wykonania emulacji całego mózgu 58

5.‌ Maksymalny wzrost IQ będący wynikiem wyboru spośród puli embrionów 66

6.‍ Możliwy wpływ selekcji genetycznej w rozmaitych scenariuszach 70

7.‌ Wybrane istotne strategicznie wyścigi technologiczne 127

8.‌ Supermoce: wybrane istotne strategicznie zadania i odpowiadające im zestawy umiejętności 143

9.‌ Rozmaite rodzaje wyzwalaczy 206

10.‍ Metody kontroli superinteligencji 213

11.‌ Cechy rozmaitych kast systemów inteligentnych 230

12.‌ Podsumowanie technik przekazywania wartości 301

13.‌ Lista komponentów 321

Spis‍ ramek

1.‍ Optymalny sprawca bayesowski 30

2.‍ Flash Crash z 2010 roku 39

3.‍ Czego będzie wymagać rekapitulacja ewolucji? 49

4.‍ O dynamice eksplozji inteligencji 119

5.‍ Wyścigi technologiczne — kilka historycznych przykładów 126

6.‍ Scenariusz zamawianego pocztą DNA 149

7.‌ Jak duża jest nasza kosmiczna spuścizna? 152

8.‍ Przechwycenie antropiczne 201

9.‍ Dziwne rozwiązania będące wynikiem ślepych poszukiwań 228

10.‍ Formalizacja stopniowego rozumienia wartości 284

11.‌ SI, która chce być przyjazna 288

12.‌ Dwie najnowsze (niedopracowane jeszcze) koncepcje 289

13.‍ Ryzykowny wyścig na dno 357

Przedmowa

Wewnątrz naszych czaszek znajduje się coś, dzięki czemu możemy czytać. To coś, czyli ludzki mózg, ma pewne cechy, których brakuje mózgom innych zwierząt. Tym właśnie wyróżniającym nas cechom zawdzięczamy dominującą pozycję na tej planecie. Inne zwierzęta mają silniejsze mięśnie i ostrzejsze pazury, lecz my mamy lepiej rozwinięte mózgi. Nasza skromna przewaga w dziedzinie inteligencji ogólnej doprowadziła nas do rozwoju języka, techniki i złożonej organizacji społecznej. Przewaga ta kumulowała się z biegiem czasu, gdyż każde kolejne pokolenie korzystało z osiągnięć swoich przodków i rozwijało je.

Jeśli pewnego dnia zbudujemy sztuczne mózgi przewyższające inteligencją ludzki umysł, ta nowa forma superinteligencji może zyskać ogromną moc. I tak jak los goryli zależy teraz w większym stopniu od nas, ludzi, niż od samych goryli, tak los naszego gatunku zależeć będzie od działań podejmowanych przez superinteligentne maszyny.

Mamy jedną przewagę — to my je zbudujemy. W zasadzie możemy skonstruować taką superinteligencję, która będzie bronić wartości cenionych przez ludzi. Z pewnością będziemy mieli ku temu zdecydowane powody. W praktyce jednak zagadnienie kontroli — pytanie o to, jak sterować zachowaniami superinteligencji — wygląda na dość trudne. Wygląda też na to, że dostaniemy tylko jedną szansę. Nieprzyjazna superinteligencja, kiedy już powstanie, uniemożliwi nam zastąpienie jej czymś innym lub zmianę jej preferencji. Nasz los zostanie przypieczętowany.

W niniejszej książce staram się zrozumieć wyzwania, które stawia przed nami perspektywa rozwoju superinteligencji, i przedstawić najlepsze strategie postępowania. Jest to prawdopodobnie najważniejsze i najbardziej onieśmielające wyzwanie, z jakim kiedykolwiek mierzyła się ludzkość. I — niezależnie od tego, czy nam się powiedzie, czy nie — jest to prawdopodobnie ostatnie wyzwanie, z którym przyjdzie nam się kiedykolwiek zmierzyć.

W tej książce nie staram się nikogo przekonać, że jesteśmy oto w przededniu wielkiego przełomu w dziedzinie sztucznej inteligencji ani też że potrafimy przewidzieć z jakąkolwiek dokładnością, kiedy do takiego przełomu może dojść. Wydaje się dość prawdopodobne, że dojdzie do niego w tym stuleciu, lecz nie mamy pewności. W kilku pierwszych rozdziałach omawiamy możliwe scenariusze rozwoju zdarzeń i staramy się ocenić, w którym momencie może dojść do przełomu, lecz większa część książki dotyczy tego, co zdarzy się później. Badamy dynamikę eksplozji inteligencji, formy i potencjał superinteligencji oraz wybory strategiczne dostępne superinteligentnemu sprawcy, który osiągnął decydującą przewagę. Następnie koncentrujemy się na problemie kontroli i zastanawiamy się nad tym, co możemy zrobić, by ukształtować warunki początkowe w taki sposób, by w efekcie zapewnić sobie przetrwanie i korzystny dla nas rozwój zdarzeń. Pod koniec tej książki przyjmujemy szerszą perspektywę i obejmujemy wzrokiem cały obraz będący rezultatem naszych dociekań. Przedstawiamy też pewne sugestie działań, które należałoby podjąć już teraz, by zwiększyć nasze szanse uniknięcia katastrofy egzystencjalnej.

Niełatwo‌ było napisać tę książkę. Mam nadzieję, że przetarta przeze mnie ścieżka umożliwi innym badaczom szybsze i wygodniejsze dotarcie do punktu, w którym porzucam te rozważania, by mogli ze świeżą energią włączyć się w prace zmierzające do poszerzenia granic naszego poznania (a jeśli droga, którą utorowałem, jest nieco kręta i wyboista, to mam nadzieję, że oceniający rezultat recenzenci wezmą pod uwagę, po jak nieprzyjaznym terytorium się poruszam!).

Niełatwo‍ było napisać tę książkę. Starałem się, by łatwo się ją czytało, lecz nie sądzę, by mi się powiodło. Pisałem tę książkę z myślą o czytelniku podobnym do mnie samego sprzed kilku lat, mając nadzieję, że tworzę coś, z czego lektury sam czerpałbym przyjemność. I choć może się okazać, że grupa tak scharakteryzowanych czytelników jest nieliczna, sądzę mimo wszystko, że treść tej książki powinna być przystępna dla wielu osób, pod warunkiem że poświęcą jej odrobinę namysłu i opanują pokusę natychmiastowego błędnego rozumienia każdej nowej koncepcji poprzez utożsamienie jej z najbardziej podobnie brzmiącą kliszą dostępną w ich zasobach kapitału kulturowego. Czytelników bez zacięcia technicznego nie powinno zniechęcać pojawianie się od czasu do czasu odrobiny matematyki lub specjalistycznego słownictwa, gdyż przedstawione w trakcie wywodu wyjaśnienia zawsze pozwalają zrozumieć główną myśl. Ci zaś czytelnicy, którzy oczekiwaliby więcej konkretów, znajdą ich całkiem sporo w przypisach[1].

Wiele spostrzeżeń przedstawionych w tej książce jest prawdopodobnie błędnych[2]. Prawdopodobne jest również, że nie wziąłem pod uwagę pewnych czynników o kluczowym znaczeniu, których pominięcie podważa część lub wręcz całość moich wniosków. W tekście starałem się zwrócić uwagę na pewne niuanse i stopień niepewności, opatrując stosowne uwagi szpetnie rozmytymi „prawdopodobnie”, „być może”, „wydaje się”, „zapewne” czy „prawie na pewno”. Każdy określnik został umieszczony na swoim miejscu celowo i po namyśle. Mimo to te miejscowe zastosowania poznawczej skromności nie wystarczą — należy je uzupełnić ogólnym przyznaniem się do niepewności i omylności. Nie jest to skromność fałszywa. O ile bowiem jestem przekonany, że moja książka jest prawdopodobnie w wielu aspektach fundamentalnie błędna i zwodnicza, o tyle sądzę jednocześnie, że przedstawione w literaturze poglądy alternatywne są znacznie gorsze — włączając w to hipotezę zerową, zgodnie z którą możemy na razie bezpiecznie i rozsądnie zignorować perspektywy rozwoju superinteligencji.

Podziękowania

Membrana otaczająca mój proces twórczy była dość przepuszczalna. Wiele pomysłów i koncepcji wypracowanych podczas pisania tej książki za moim przyzwoleniem przesączyło się na zewnątrz i stało się elementem szerszej dyskusji. Oczywiście również wiele poglądów wyrażonych przez innych, podczas gdy pracowałem nad niniejszym tekstem, zostało do niego włączonych. Starałem się skrupulatnie podawać źródła wszystkich cytatów, lecz wpływy były zbyt rozliczne, by mogły zostać wszystkie co do jednego udokumentowane.

Bardzo wielu osobom jestem wdzięczny za żywe i pogłębione dyskusje, które pomogły mi wyklarować mój tok myślenia. Na wspomnienie zasługują zwłaszcza: Ross Andersen, Stuart Armstrong, Owen Cotton-Barratt, Nick Beckstead, David Chalmers, Paul Christiano, Milan Ćirković, Daniel Dennett, David Deutsch, Daniel Dewey, Eric Drexler, Peter Eckersley, Amnon Eden, Owain Evans, Benja Fallenstein, Alex Flint, Carl Frey, Ian Goldin, Katja Grace, J. Storrs Hall, Robin Hanson, Demis Hassabis, James Hughes, Marcus Hutter, Garri Kasparow, Marcin Kulczycki, Shane Legg, Moshe Looks, Willam MacAskill, Eric Mandelbaum, James Martin, Lillian Martin, Roko Mijic, Vincent Mueller, Elon Musk, Seán Ó hÉigeartaigh, Toby Ord, Dennis Pamlin, Derek Parfit, David Pearce, Huw Price, Martin Rees, Bill Roscoe, Stuart Russell, Anna Salamon, Lou Salkind, Anders Sandberg, Julian Savulescu, Jürgen Schmidhuber, Nicholas Shackel, Murray Shanahan, Noel Sharkey, Carl Shulman, Peter Singer, Dan Stoicescu, Jaan Tallinn, Alexander Tamas, Max Tegmark, Roman Jampolski i Eliezer Yudkowsky.

Proszę, by podziękowania za szczególnie wnikliwe komentarze przyjęli: Milan Ćirković, Daniel Dewey, Owain Evans, Nick Hay, Keith Mansfield, Luke Muehlhauser, Toby Ord, Jess Riedel, Anders Sandberg, Murray Shanahan i Carl Shulman. Dobrych rad i pomocy badawczej przy rozmaitych fragmentach tej książki udzielili mi: Stuart Armstrong, Daniel Dewey, Eric Drexler, Alexandre Erler, Rebecca Roache i Anders Sandberg, za co chciałbym im serdecznie podziękować.

W przygotowaniu manuskryptu pomagali mi: Caleb Bell, Malo Bourgon, Robin Brandt, Lance Bush, Cathy Douglass, Alexandre Erler, Kristian Rönn, Susan Rogers, Andrew Snyder-Beattie, Cecilia Tilli i Alex Vermeer, za co jestem im niezmiernie wdzięczny. Na szczególne podziękowania zasługuje mój redaktor, Keith Mansfield, który podczas całego projektu nie szczędził mi słów zachęty.

Przepraszam wszystkich, o których w tym miejscu nie wspomniałem, choć powinienem.

Chciałbym wreszcie serdecznie podziękować moim donatorom, przyjaciołom i rodzinie: bez Waszego wsparcia praca ta nie mogłaby zostać ukończona.

Rozdział‌ 1.
Dotychczasowe dokonania i obecne możliwości

Zaczniemy od spojrzenia wstecz. Gdy przyjmie się najszerszą możliwą perspektywę, historia wydaje się ujawniać sekwencję wyraźnie wydzielonych faz wzrostu, przy czym każda z nich jest gwałtowniejsza od poprzedniej. Przywołujemy ten wzorzec, byśmy mogli sobie uzmysłowić, że możliwa jest kolejna (jeszcze szybsza) faza wzrostu, lecz nie przywiązujemy nadmiernej wagi do tej obserwacji, gdyż nie jest to książka na temat „przyspieszenia technologicznego”, „wzrostu wykładniczego” ani żadnego z rozmaitych pojęć wrzucanych czasem do wspólnej kategorii „osobliwości” (ang. singularity). Następnie przyjrzymy się dotychczasowej historii rozwoju sztucznej inteligencji, po czym zbadamy współczesne możliwości uzyskane w tej dziedzinie. Na koniec rzucimy okiem na kilka najnowszych sondaży opinii ekspertów i zadumamy się nad naszą niewiedzą dotyczącą umiejscowienia przyszłych postępów w czasie.

Fazy‍ wzrostu w dziejach ludzkości

Jeszcze kilka milionów lat temu nasi przodkowie zwisali sobie na gałęziach drzew pod sklepieniem afrykańskiej dżungli. W geologicznej czy nawet ewolucyjnej skali czasu do powstania gatunku Homo sapiens z ostatniego wspólnego przodka ludzi i małp człekokształtnych doszło bardzo niedawno. Przyjęliśmy postawę pionową, wykształciliśmy przeciwstawne kciuki i — co najistotniejsze — staliśmy się beneficjentami pewnych stosunkowo drobnych zmian w wielkości mózgu i organizacji neuronów, które doprowadziły do ogromnego skoku zdolności poznawczych. W konsekwencji istoty ludzkie zyskały zdolność myślenia abstrakcyjnego, przekazywania złożonych idei i akumulowania informacji kulturowej z pokolenia na pokolenie w znacznie większym stopniu niż jakikolwiek inny gatunek żyjący na naszej planecie.

Te zdolności pozwoliły ludziom na rozwój coraz efektywniejszych technologii produkcji, umożliwiając naszym przodkom migracje i rozprzestrzenianie się na tereny odległe od lasu deszczowego i sawanny. Po rewolucji neolitycznej, kiedy to doszło do opracowania technik rolniczych, gęstość zaludnienia wzrastała wraz ze zwiększaniem się całkowitej liczby ludności Ziemi. Większa liczba ludzi równała się większej liczbie idei, zaś większa gęstość zaludnienia oznaczała, że idee te mogą się rozprzestrzeniać szybciej, a niektóre jednostki mogą się poświęcić rozwojowi wyspecjalizowanych umiejętności. Te zjawiska spowodowały podniesienie stopy wzrostu produktywności gospodarczej i potencjału technicznego. Kolejne wydarzenia, związane tym razem z rewolucją przemysłową, wywołały porównywalnie raptowną zmianę tempa tego wzrostu.

Takie zmiany tempa wzrostu mają istotne konsekwencje. Kilkaset tysięcy lat temu, w czasach prehistorycznych, rozwój był tak powolny, że potrzeba było rzędu miliona lat, by wzrost ludzkich zdolności produkcyjnych pozwolił na utrzymanie się przy życiu dodatkowego miliona ludzi. Pięć tysięcy lat przed naszą erą, po wybuchu rewolucji neolitycznej, stopa wzrostu podniosła się do takiego poziomu, że analogiczna zmiana wymagała już zaledwie dwustu lat. Dziś, po rewolucji przemysłowej, światowa gospodarka osiąga taki wzrost w zaledwie półtorej godziny[1].

Jeśli takie tempo wzrostu zostanie utrzymane przez stosunkowo długi okres, to nawet na obecnym poziomie przyniesie imponujące rezultaty. Jeśli światowa gospodarka będzie wzrastać w tym samym tempie, w jakim rosła przez ostatnie pięćdziesiąt lat, to do 2050 roku świat będzie mniej więcej 4,8 razy bogatszy niż dziś, a do 2100 roku mniej więcej 34 razy bogatszy niż dziś[2].

Jednak perspektywa stałego, nieprzerwanego wzrostu wykładniczego blednie w zestawieniu z tym, co może się zdarzyć, gdyby świat miał doświadczyć kolejnej raptownej zmiany stopy wzrostu porównywanej pod względem skali ze zmianami, jakie pociągnęły za sobą rewolucja neolityczna i rewolucja przemysłowa. Ekonomista Robin Hanson szacuje — opierając się na historycznych danych ekonomicznych i demograficznych — czas podwojenia rozmiarów światowej gospodarki dla plejstoceńskich społeczności myśliwsko-zbierackich na 224 tysiące lat, dla społeczności rolniczych na 909 lat i dla społeczeństw przemysłowych na 6,3 roku[3] (w modelu Hansona obecna epoka jest mieszaniną rolniczych i przemysłowych faz wzrostu — rozmiary gospodarki światowej jako całości nie podwajają się jeszcze co 6,3 roku). Gdyby miało dojść do kolejnego takiego przejścia do odmiennej fazy wzrostu i gdyby miało być to przejście porównywalne pod względem skali do dwóch poprzednich, doszłoby w efekcie do nowych warunków wzrostu, w których rozmiary gospodarki światowej ulegałyby podwojeniu mniej więcej co dwa tygodnie.

Taka stopa wzrostu ze współczesnej perspektywy może się wydawać iście fantastyczna. Obserwatorzy we wcześniejszych epokach musieli uważać za równie absurdalne podejrzenia, że pewnego dnia rozmiary światowej gospodarki będą się podwajać kilkakrotnie w czasie ludzkiego życia. A mimo to te wyjątkowe warunki są dziś naszym chlebem powszednim.

Koncepcja nadchodzącej technologicznej osobliwości została przez ostatnie lata szeroko spopularyzowana, poczynając od wpływowego eseju Vernora Vinge’a, którego następstwem były publikacje Raya Kurzweila i innych[4]. Jednakże termin „osobliwość” używany był myląco w wielu całkowicie odmiennych znaczeniach i dziś otacza go aura iście piekielnych (choć niemal tysiącletnich) konotacji techniczno-utopijnych[5]. Ponieważ‍ większość tych znaczeń i konotacji nie ma dla naszego wywodu żadnego znaczenia, możemy osiągnąć większą klarowność, pozbywając się terminu „osobliwość” na rzecz terminologii precyzyjniejszej.

Związana z osobliwością koncepcja, która nas tutaj interesuje, to możliwość eksplozji inteligencji, a zwłaszcza perspektywa rozwoju superinteligentnych maszyn. Być może są tacy, których wykresy wzrostu przypominające te na rysunku 1. przekonują,‍ że zanosi się na kolejną drastyczną zmianę tempa wzrostu, porównywalną z rewolucją neolityczną lub przemysłową. Ci ludzie mogą pomyśleć, że trudno jest opracować scenariusz, w którym czas podwajania się rozmiarów światowej gospodarki skraca się do zaledwie dwóch tygodni, jeśli nie uwzględni się w nim stworzenia umysłów znacznie szybszych i działających znacznie efektywniej niż znane nam mózgi biologiczne. Jednakże argumenty na rzecz poważnego rozważenia perspektyw rewolucji myślących maszyn nie muszą się opierać jedynie na ćwiczeniach z konstruowania odpowiedniego modelu regresji ani ekstrapolacji przeszłych trendów wzrostu gospodarczego. Jak się przekonamy, są poważniejsze przyczyny, by wziąć to pod uwagę.

Rysunek 1. Długookresowa historia wzrostu światowego PKB. Ukazana na skali liniowej historia światowej gospodarki wygląda jak płaska linia przytulona do osi x, która nagle szybuje niemal pionowo w górę. (a) Nawet kiedy skupimy się na ostatnich 10 tysiącach lat, wykres zasadniczo pozostaje ten sam: linia trendu skręca jednokrotnie pod kątem niemal 90 stopni ku górze. (b) Dopiero w ciągu ostatnich mniej więcej stu lat krzywa uniosła się dostrzegalnie ponad poziom zerowy (różne linie na wykresie odpowiadają różnym zbiorom danych, które pozwalają uzyskać lekko różniące się szacunki[6])

Wielkie‍ oczekiwania

Pojawienia się maszyn, które dorównają ludziom pod względem inteligencji ogólnej — a więc posiądą zdrowy rozsądek i faktyczną zdolność do uczenia się, wnioskowania i planowania, pozwalające rozwiązywać złożone problemy, które wymagają przetwarzania danych w szeregu obszarów zarówno abstrakcyjnych, jak i związanych z zagadnieniami życia codziennego — oczekiwano od chwili wynalezienia komputerów w latach 40. XX wieku. W tamtym czasie skonstruowania takich maszyn spodziewano się w perspektywie kolejnych dwudziestu lat[7]. Od tamtego okresu oczekiwana data pojawienia się tego rodzaju maszyn była przesuwana co roku o rok. A zatem dziś futuryści rozważający możliwość pojawienia się sztucznej inteligencji nadal są często zdania, że od inteligentnych maszyn dzieli nas kilka dekad[8].

Dwie dekady to ulubiony przedział czasowy tych, którzy wieszczą radykalną zmianę — dość krótki, by zwrócić uwagę opinii publicznej i skłonić ją do uznania tematu za wart przedyskutowania, a mimo to wystarczająco długi, by umożliwić przypuszczenie, że w międzyczasie dojdzie do szeregu przełomów, które dziś trudno sobie wyobrazić, lecz które jednak mogą nastąpić. Porównajmy to z krótszymi przedziałami czasowymi: większość technologii, które będą wywierać znaczący wpływ na świat za pięć czy dziesięć lat, już w tej chwili jest w ograniczonym zakresie wykorzystywana, natomiast technologie, które przekształcą świat za mniej niż piętnaście lat, prawdopodobnie istnieją już w postaci prototypów rozwijanych w laboratoriach. Dwadzieścia lat to często również okres, w którym prawdopodobnie zakończy się kariera prognosty, co ogranicza potencjalnie negatywny wpływ śmiałych, lecz nietrafionych przewidywań na jego reputację.

Jednakże z faktu, że pewne osoby przewidywały w przeszłości zbyt rychłe pojawienie się sztucznej inteligencji, nie wynika jeszcze, że istnienie sztucznej inteligencji nie jest możliwe czy też nigdy nie zostanie ona opracowana[9]. Głównym powodem,‍ dla którego dotychczasowy postęp był wolniejszy niż oczekiwano, jest to, że techniczne przeszkody stojące na drodze do skonstruowania inteligentnych maszyn okazały się większe, niż przewidywali to pionierzy. Otwarte pozostaje pytanie, jak duże są to przeszkody i ile nas jeszcze dzieli od ich przezwyciężenia. Czasem problem, który początkowo wydaje się beznadziejnie skomplikowany, okazuje się mieć zaskakująco proste rozwiązanie (choć częstsza jest prawdopodobnie sytuacja odwrotna).

W następnym rozdziale przyjrzymy się rozmaitym scenariuszom, które mogą doprowadzić do powstania maszyn dorównujących inteligencją człowiekowi. Zaznaczmy jednak już na wstępie, że niezależnie od tego, ile przystanków dzieli sytuację obecną od powstania sztucznej inteligencji dorównującej ludzkiej, jej powstanie nie jest punktem docelowym. Następnym przystankiem, leżącym w niedalekiej odległości od poprzedniego, jest sztuczna inteligencja przewyższająca ludzką. Pociąg niekoniecznie się zatrzyma czy choćby zwolni na stacji Ludzieszyn. Bardziej prawdopodobne jest to, że przemknie przez nią ze świstem.

Matematyk Irvin John Good, który pracował jako główny statystyk w zespole kryptologów Alana Turinga podczas II wojny światowej, prawdopodobnie jako pierwszy wyłożył kluczowe aspekty tego scenariusza. W często przywoływanym fragmencie z 1965 roku napisał:

Zdefiniujmy maszynę ultrainteligentną jako maszynę, która dalece przewyższa na polu wszelkich aktywności intelektualnych dowolnego, choćby najinteligentniejszego człowieka. Ponieważ projektowanie maszyn jest jedną z tych aktywności intelektualnych, maszyna ultrainteligentna potrafi projektować jeszcze lepsze maszyny; dojdzie zatem bez wątpienia do „eksplozji inteligencji”, w wyniku której inteligencja człowieka pozostanie daleko w tyle. A zatem pierwsza maszyna ultrainteligentna będzie ostatnim wynalazkiem, którego człowiek kiedykolwiek dokona — zakładając, że maszyna ta okaże się wystarczająco potulna, by powiedzieć nam, jak ją utrzymać pod kontrolą[10].

Może‌ się teraz wydawać oczywiste, że z taką eksplozją inteligencji wiąże się poważne zagrożenie egzystencjalne i że z tego względu tę perspektywę należałoby rozważyć z największą powagą, nawet gdybyśmy mieli pewność (a jej nie mamy), że prawdopodobieństwo jej zaistnienia jest naprawdę niewysokie. Jednakże pionierzy sztucznej inteligencji — pomimo swojego przekonania o nieuchronności sztucznej inteligencji dorównującej ludzkiej — raczej nie rozważali prawdopodobieństwa zaistnienia sztucznej inteligencji przewyższającej ludzką. Tak jakby ich zdolność snucia domysłów całkowicie się wyczerpała po zrodzeniu radykalnej koncepcji maszyn dorównujących człowiekowi inteligencją, uniemożliwiając im dostrzeżenie jej naturalnej konsekwencji: koncepcji maszyn, które z czasem pod względem inteligencji przewyższą ludzi.

Większość‍ pionierów sztucznej inteligencji (SI) nie przyjmuje do wiadomości, że podjęte przez nich przedsięwzięcie może się wiązać z ryzykiem[11]. Nie starają się nawet pozorować zainteresowania — nie wspominając już o poważnym namyśle — jakimikolwiek obawami o bezpieczeństwo czy wątpliwościami etycznymi związanymi ze stworzeniem sztucznych umysłów lub potencjalnych komputerowych władców; ta luka zdumiewa nawet na tle niezbyt imponujących standardów tej epoki dotyczących krytycznej oceny potencjału techniki[12]. Musimy mieć nadzieję, że do momentu, w którym to przedsięwzięcie rzeczywiście przyniesie owoce, posiądziemy nie tylko techniczną biegłość umożliwiającą nam zapoczątkowanie eksplozji inteligencji, ale i wyższy poziom zdolności jej kontrolowania, co może okazać się niezbędne, byśmy uszli z tej detonacji z życiem.

Zanim jednak zajmiemy się tym, co przed nami, przyda się szybki rzut oka na historię inteligentnych maszyn aż do czasów współczesnych.

Okresy‌ nadziei i rozczarowań

Latem 1956 roku w Dartmouth College dziesięciu naukowców zainteresowanych zagadnieniami sieci neuronowych, teorią automatów i badaniami nad inteligencją zjechało się na sześciotygodniowe warsztaty. Dartmouth Summer Research Project on Artificial Intelligence uznawany jest często za wydarzenie, które zapoczątkowało prace nad sztuczną inteligencją jako dziedzinę badań naukowych. Wielu uczestników wspomnianych warsztatów zostało później uznanych za ojców tej dziedziny. Optymistyczne poglądy dominujące wśród uczestników warsztatów odzwierciedla wniosek przedstawiony Fundacji Rockefellera, która sfinansowała to wydarzenie:

Proponujemy przeprowadzenie dwumiesięcznego warsztatu badawczego dla dziesięciu badaczy zagadnień sztucznej inteligencji (...). Warsztat zostanie przeprowadzony przy założeniu, że każdy aspekt uczenia się lub dowolnej innej cechy inteligencji może zostać z zasady opisany tak precyzyjnie, że możliwe będzie zbudowanie maszyny do jego zasymulowania. Zostanie podjęta próba zrozumienia, jak zbudować maszyny posługujące się językiem naturalnym, formułujące idee i koncepcje abstrakcyjne, rozwiązujące problemy z gatunku tych zarezerwowanych dziś dla ludzi i doskonalące same siebie. Sądzimy, że można dokonać znaczących postępów w jednej lub kilku z tych dziedzin, jeśli starannie wybrana grupa naukowców podejmie nad nimi wspólną pracę podczas lata.

W ciągu sześciu dekad, które upłynęły od tego śmiałego początku, badania nad sztuczną inteligencją przechodziły naprzemiennie okresy wzmożonego zainteresowania i rozdmuchanych oczekiwań oraz niepowodzeń i rozczarowań.

Pierwszy okres ekscytacji, zapoczątkowany spotkaniem w Dartmouth, został później opisany przez Johna McCarthy’ego (głównego organizatora tego wydarzenia) jako era „Mamo, popatrz, wcale się nie trzymam!”. W tym początkowym okresie badacze budowali systemy zaprojektowane z myślą o obaleniu twierdzeń w rodzaju „Żadna maszyna nigdy nie zdoła zrobić X!”. W tamtych czasach tego rodzaju sceptyczne twierdzenia były na porządku dziennym. Aby się im przeciwstawić, badacze SI tworzyli małe systemy, którym udawało się zrobić X w „mikroświecie” (w dobrze zdefiniowanej, ograniczonej dziedzinie umożliwiającej zademonstrowanie zredukowanej wersji danego działania), dowodząc w ten sposób słuszności danej koncepcji i pokazując, że zasadniczo działanie X może‍ zostać wykonane przez maszynę. Jeden z tego rodzaju wczesnych systemów, program komputerowy Logic Theorist, był w stanie dowieść większości twierdzeń zamieszczonych w drugim rozdziale książki Principia Mathematica autorstwa Alfreda Northa Whiteheada i Bertranda Russella, a nawet zaproponować jeden dowód, który był znacznie bardziej elegancki niż oryginalny, i tym samym obalił przekonanie, że maszyny mogą „myśleć jedynie numerycznie”, oraz zademonstrował, że maszyny są również zdolne przeprowadzić rozumowanie dedukcyjne i wymyślać dowody logiczne[13]. Program będący jego następcą, General Problem Solver, potrafił z zasady rozwiązywać szeroki zakres formalnie opisanych problemów[14]. Napisano również programy, które rozwikływały problemy rachunkowe na poziomie zajęć pierwszego roku college’u, dostrzegały wizualne analogie w zadaniach podobnych do tych, które zamieszcza się w niektórych testach na inteligencję, oraz znajdowały rozstrzygnięcia prostych problemów algebry opisowej[15]. Robot Shakey (nazwany tak ze względu na swoją skłonność do drżenia podczas wykonywania operacji) zaprezentował, w jaki sposób rozumowanie logiczne może zostać zintegrowane z postrzeganiem i wykorzystane do zaplanowania fizycznego działania i sterowania nim[16]. Program ELIZA pokazał, że komputer może stać się uosobieniem psychoterapeuty rogeriańskiego[17]. W połowie lat 70. program SHRDLU zademonstrował, w jaki sposób zasymulowane robotyczne ramię w zasymulowanym świecie geometrycznych klocków może wypełniać polecenia i odpowiadać na pytania zadane po angielsku przez użytkownika korzystającego z klawiatury[18]. W późniejszych dekadach miały powstać systemy, które dowiodły, że maszyny potrafią tworzyć muzykę w stylu rozmaitych kompozytorów klasycznych, przewyższyć mniej doświadczonych lekarzy w wykonywaniu pewnych zadań z zakresu diagnostyki klinicznej, autonomicznie prowadzić samochody i dokonywać wynalazków nadających się do objęcia ochroną patentową[19]. Stworzono nawet taki system SI, który umiał wymyślać oryginalne dowcipy[20]. (Nie to, żeby cechował się jakimś szczególnie wyrafinowanym poczuciem humoru, lecz ponoć dzieci zgodnie twierdziły, że jego żarty są śmieszne).

Trudne jednak okazało się rozciągnięcie metod, które pozwoliły osiągnąć sukcesy wczesnym wersjom demonstracyjnym, na szerszy zakres problemów lub na problemy trudniejsze. Jednym z powodów tej sytuacji jest „eksplozja kombinatoryczna” możliwości, które muszą zostać zbadane przez metody opierające się na mechanizmach wyszukiwania wyczerpującego. Takie metody dobrze się sprawdzają w odniesieniu do prostych problemów, lecz zawodzą, gdy sprawy zaczynają się komplikować. Dla przykładu, aby dowieść twierdzenia, którego dowód zawiera się w pięciu liniach w systemie dedukcyjnym z jedną regułą wnioskowania i pięcioma aksjomatami, wystarczy po prostu wyliczyć 3125 możliwych kombinacji i sprawdzić każdą z nich, by stwierdzić, która daje oczekiwany wynik. Wyszukiwanie wyczerpujące sprawdza się również w przypadku dowodów zamykających się w sześciu czy siedmiu liniach. Kiedy jednak zadanie staje się bardziej skomplikowane, metody wyszukiwania wyczerpującego napotykają na problemy. Dowiedzenie twierdzenia, którego dowód mieści się w pięćdziesięciu liniach, nie trwa dziesięciokrotnie dłużej niż dowiedzenie twierdzenia, którego dowód mieści się w pięciu liniach. Jeśli korzysta się z wyszukiwania wyczerpującego, wymaga to przeanalizowania 5^50 ≈ 8,9 × 10^34 możliwych sekwencji — czego nie da się obliczyć nawet za pomocą najszybszych superkomputerów.

Do przezwyciężenia eksplozji kombinatorycznej potrzebne są algorytmy wykorzystujące struktury z dziedziny docelowej i zdobytą wcześniej wiedzę poprzez zastosowanie przeszukiwania heurystycznego, planowania i elastycznych reprezentacji abstrakcyjnych — tego rodzaju mechanizmy we wczesnych systemach SI były rozwinięte w stopniu znikomym. Potencjał tych wczesnych systemów podkopywały również marne metody radzenia sobie z niepewnością, poleganie na kruchych i nieugruntowanych reprezentacjach symbolicznych, niedostatek danych oraz poważne ograniczenia sprzętowe w zakresie pojemności pamięci i szybkości przetwarzania danych. W połowie lat 70. świadomość tych problemów stawała się coraz większa. Zrozumienie, że wielu projektom SI nigdy nie uda się spełnić pokładanych w nich oczekiwań, doprowadziło do nadejścia pierwszej „zimy SI”: okresu redukcji wydatków, podczas którego ograniczeniu finansowania tego rodzaju projektów towarzyszył rosnący sceptycyzm. Sztuczna inteligencja wyszła z mody.

Nowa wiosna rozpoczęła się z początkiem lat 80., kiedy to Japończycy uruchomili swój projekt systemów komputerowych piątej generacji, hojnie sfinansowane partnerstwo prywatno-publiczne, którego celem było dokonanie ogromnego skoku technicznego poprzez rozwój potężnych systemów bazujących na architekturze przetwarzania równoległego, które miały się stać platformą systemów sztucznej inteligencji. Doszło do tego w szczycie fascynacji japońskim „powojennym cudem gospodarczym” — okresem, w którym to państwa zachodnie i liderzy biznesu starali się odgadnąć przepis Japończyków na sukces gospodarczy, mając nadzieję na powtórzenie tej magicznej sztuczki na własnym podwórku. Kiedy Japonia postanowiła zainwestować znaczne kwoty w rozwój sztucznej inteligencji, kilka innych krajów poszło w jej ślady.

W kolejnych latach doszło do upowszechnienia na szeroką skalę systemów‌ eksperckich. Zaprojektowane jako narzędzia wspierające decydentów, systemy eksperckie były programami opartymi na regułach, które wyciągały proste wnioski z bazy wiedzy zawierającej fakty uzyskane od specjalistów w danej dziedzinie i z mozołem wklepane ręcznie do systemu w języku formalnym. Zbudowano setki tego rodzaju systemów eksperckich, ale mniejsze systemy okazały się mało przydatne, a większe bardzo kosztowne, gdy szło o ich rozwój, weryfikację i aktualizację, przy czym z zasady były bardzo nieporęczne i kłopotliwe w użyciu. Kupowanie samodzielnego komputera tylko po to, by uruchomić na nim jeden program, było niepraktyczne. Pod koniec lat 80. również ten okres wzrostu dobiegł końca.

Projektowi piątej generacji nie udało się osiągnąć zakładanych celów, podobnie jak analogicznym do niego projektom uruchomionym w Stanach Zjednoczonych i Europie. Nadeszła druga zima SI. W tamtym momencie krytycy mogli słusznie ubolewać nad „historią dotychczasowych badań nad sztuczną inteligencją, które nieodmiennie mogły się pochwalić jedynie bardzo ograniczonymi sukcesami w ściśle określonych dziedzinach, a po tych sukcesach następowało natychmiastowe fiasko projektów zmierzających do osiągnięcia szerzej zakreślonych celów, na których realizację te początkowe sukcesy wydawały się dawać nadzieję”[21]. Prywatni inwestorzy zaczęli unikać jakichkolwiek przedsięwzięć realizowanych pod hasłem „sztucznej inteligencji”. Nawet wśród naukowców i ich fundatorów „SI” stało się niepożądanym epitetem[22].

Prace techniczne posuwały się jednak w szybkim tempie naprzód i w latach 90. znów rozpoczęła się odwilż. Ziarno optymizmu zostało zasiane dzięki wprowadzeniu nowych technik, które wydawały się alternatywą do tradycyjnego paradygmatu logicznego (określanego czasem mianem „starej dobrej sztucznej inteligencji”, Good Old Fashioned Artificial Intelligence, w skrócie GOFAI) — ten koncentrował się na wysokopoziomowej manipulacji symbolicznej, a jego kulminacją były systemy eksperckie lat 80. Cieszące się świeżo zdobytą popularnością techniki sieci neuronowych i algorytmów genetycznych obiecywały przezwyciężenie niektórych problemów podejścia GOFAI, zwłaszcza „kruchości” cechującej tradycyjne programy SI (wyrzucające zazwyczaj kompletne bzdury, gdy programiści poczynili choćby jedno nie do końca prawidłowe założenie). Nowe techniki chlubiły się działaniem bardziej organicznym. Dla przykładu: sieci neuronowe wykazywały własność „płynnego obniżania efektywności”: niewielkie uszkodzenie sieci neuronowej owocowało zazwyczaj niewielkim spadkiem jej wydajności, a nie całkowitym krachem systemu. Co jeszcze istotniejsze, sieci neuronowe potrafiły się uczyć na podstawie własnych doświadczeń, znajdując naturalne sposoby generalizowania na bazie przykładów i wyszukiwania ukrytych wzorców statystycznych w danych wejściowych[23]. Dzięki tej cesze sieci trafnie rozpoznawały trendy i sprawnie klasyfikowały problemy. Dla przykładu: szkoląc sieć neuronową na podstawie zestawów danych będących pomiarami sonarów, można było nauczyć ją rozpoznawania profili akustycznych łodzi podwodnych, min i fauny morskiej z trafnością nieosiągalną dla ludzkich specjalistów — i można było tego dokonać bez konieczności określania przez kogokolwiek z góry dokładnych definicji kategorii czy też konkretnych wag przypisywanych rozmaitym cechom.

O ile proste modele sieci neuronowych były znane już w późnych latach 50., o tyle dziedzina ta przeżyła renesans po wprowadzeniu algorytmu wstecznej propagacji błędu, który umożliwił szkolenie wielowarstwowych sieci neuronowych[24]. Takie wielowarstwowe sieci, które mają jedną lub więcej pośrednich („ukrytych”) warstw neuronów pomiędzy warstwami wejściową i wyjściową, potrafią opanować działania ze znacznie szerszego zakresu niż ich prostsze poprzedniczki[25]. W połączeniu z coraz wydajniejszymi komputerami, które stawały się coraz łatwiej dostępne, te udoskonalenia algorytmiczne umożliwiły inżynierom zbudowanie sieci neuronowych wystarczająco dobrych, by mogły znaleźć wiele praktycznych zastosowań.

Przypominające pod względem własności ludzki mózg sieci neuronowe wypadały korzystnie w zestawieniu ze sztywnymi, bezwzględnie logicznymi, lecz przy tym kruchymi tradycyjnymi systemami GOFAI opartymi na regułach — dość korzystnie, by przyczyniły się do powstania nowego -izmu: koneksjonizmu, który‍ podkreślał istotność przetwarzania masowo równoległego. Od tego czasu opublikowano ponad 150 tysięcy artykułów naukowych na temat sztucznych sieci neuronowych będących nadal istotnym podejściem do kwestii uczenia się maszyn.

Metody oparte na ewolucji, takie jak algorytmy genetyczne i programowanie genetyczne, stanowią kolejne podejście, którego pojawienie się przyczyniło się do zakończenia drugiej zimy AI. Wywarło być może mniejszy wpływ na badania naukowe niż sieci neuronowe, lecz zostało szeroko spopularyzowane. W modelach ewolucyjnych utrzymywana jest populacja rozwiązań „kandydujących” (którymi mogą być struktury danych lub programy), a nowe rozwiązania tworzone są losowo poprzez mutacje lub rekombinację wariantów w istniejącej populacji. Od czasu do czasu populacja jest redukowana poprzez zastosowanie kryterium selekcji (funkcja dostosowania darwinowskiego), które pozwala tylko lepszym kandydatom przetrwać do następnego pokolenia. Po przeprowadzeniu tysięcy iteracji w kolejnych pokoleniach średnia jakość rozwiązań w puli kandydatów stopniowo wzrasta. Tego rodzaju algorytm, jeśli zadziała, pozwala na uzyskanie wydajnych rozwiązań bardzo szerokiego zakresu problemów — rozwiązań, które mogą być uderzająco nowatorskie i sprzeczne z intuicją, a które często bardziej przypominają naturalne struktury niż cokolwiek, co mogłoby zostać zaprojektowane przez inżyniera. Z zasady można to osiągnąć bez znaczącej interwencji po stronie człowieka, jeśli pominąć początkowe określenie funkcji dopasowania, która jest często bardzo prosta. W praktyce jednak doprowadzenie do tego, by metody ewolucyjne przynosiły oczekiwane rezultaty, wymaga umiejętności i pomysłowości, zwłaszcza gdy chodzi o opracowanie właściwego formatu reprezentacji danych. Bez skutecznej metody zakodowania rozwiązań kandydujących (języka genetycznego, który odpowiada ukrytej strukturze dziedziny docelowej), wyszukiwanie ewolucyjne ma skłonność do meandrowania w nieskończoność w rozległej przestrzeni poszukiwań lub utykania w lokalnym optimum. Nawet gdy zostanie znaleziony dobry format reprezentacji, ewolucja wymaga dużej mocy obliczeniowej i często pada ofiarą eksplozji kombinatorycznej.

Sieci neuronowe i algorytmy genetyczne są przykładami metod, które wywoływały podniecenie w latach 90., gdyż wydawało się, że stanowią alternatywę do trwającego w zastoju paradygmatu GOFAI. Moją intencją w tym miejscu nie jest jednak wyśpiewywanie peanów na cześć tych dwóch metod ani wynoszenie ich ponad wiele innych technik uczenia się maszyn. Tak naprawdę jednym z głównych teoretycznych osiągnięć ostatnich dwudziestu lat było dobitniejsze uzmysłowienie nam, jak pozornie odmienne techniki mogą zostać ujęte jako odmienne przypadki w ramach wspólnego modelu matematycznego. Dla przykładu: wiele typów sztucznych sieci neuronowych można uznać za klasyfikatory, które wykonują pewien szczególny rodzaj obliczeń statystycznych (estymacja metodą największej wiarygodności)[26]. Ta perspektywa pozwala porównać sieci neuronowe z szerszą klasą algorytmów klasyfikatorów uczenia się na przykładach, między innymi z: drzewami decyzyjnymi, modelami regresji logistycznej, metodą wektorów nośnych, naiwnym klasyfikatorem bayesowskim i metodą k-najbliższych‌ sąsiadów[27]. W analogiczny sposób algorytmy genetyczne można uznać za postać sterowania stochastycznego, co znów jest podzbiorem szerszej klasy algorytmów optymalizacyjnych. Każdy z tych algorytmów pozwalających budować klasyfikatory lub przeszukiwać przestrzeń rozwiązań ma własne charakterystyczne słabe i mocne strony, które można badać matematycznie. Algorytmy różnią się, gdy idzie o wymaganą pamięć i moc obliczeniową, przyjmowane z góry ukierunkowanie indukcyjne, łatwość włączenia treści z zewnątrz oraz przejrzystości mechanizmów ich działania dla analizującego je człowieka.

Mętna otoczka uczenia maszynowego i twórczego rozwiązywania problemów kryje zatem zestaw dobrze określonych matematycznie kompromisów. Ideałem jest perfekcyjny sprawca bayesowski — taki, który czyni probabilitycznie optymalny użytek z dostępnych informacji. Ten ideał jest nieosiągalny, ponieważ wymaga zbyt dużej mocy obliczeniowej, by mógł zostać wdrożony na jakimkolwiek fizycznym komputerze (patrz: ramka 1.). W związku z tym sztuczną inteligencję można uznać za pościg za ułatwieniami — metodami sukcesywnego przybliżania się do bayesowskiego ideału poprzez poświęcanie w jakiejś mierze optymalności lub ogólności przy jednoczesnym zachowaniu ich w takim stopniu, by możliwe było uzyskanie wysokiej wydajności w faktycznej dziedzinie zainteresowania.

Odzwierciedlenie tego obrazu można dostrzec w przeprowadzonych przez kilka ostatnich dekad pracach dotyczących modeli prawdopodobieństwa wykorzystujących grafy, takich jak sieci bayesowskie. Sieci bayesowskie stanowią zwięzłą metodę reprezentacji probabilistycznych i warunkowych relacji niezależności obowiązujących w pewnej konkretnej domenie. (Wykorzystanie takich relacji niezależności jest kluczowe dla przezwyciężenia eksplozji kombinatorycznej, która stwarza takie same problemy przy wnioskowaniu probabilistycznym, jak przy dedukcji logicznej). Pozwalają również uzyskać istotny wgląd w koncepcję przyczynowości[28].

Jedną z zalet odnoszenia problemów uczenia się z konkretnej dziedziny do generalnych problemów wnioskowania bayesowskiego jest to, że nowe algorytmy usprawniające wnioskowanie bayesowskie przynoszą również natychmiastową poprawę w wielu innych obszarach. Dla przykładu: postępy w rozwoju metody Monte Carlo znajdują bezpośrednie zastosowanie w obrazowaniu komputerowym, robotyce i genetyce obliczeniowej. Kolejnym plusem jest to, że badacze zajmujący się wieloma różnymi dyscyplinami mogą z większą łatwością dzielić się swoimi odkryciami. Badania nad statystykami bayesowskimi i modelami opartymi na grafach prowadzone są jednocześnie na wielu polach, włączając w to uczenie maszynowe, fizykę statystyczną, bioinformatykę, optymalizację kombinatoryczną i teorię komunikacji[29]. Znaczna część ostatnich postępów w dziedzinie uczenia maszynowego jest wynikiem włączenia formalnych wyników uzyskanych w innych dziedzinach badań naukowych. (Programy uczenia maszynowego skorzystały również ogromnie na pojawieniu się szybszych komputerów i większej dostępności dużych zestawów danych).

Ramka 1. Optymalny sprawca bayesowski

Idealny sprawca bayesowski wychodzi od „rozkładu prawdopodobieństwa a priori” — funkcji,‍ która przypisuje prawdopodobieństwo każdemu z „możliwych światów” (na przykład każdej maksymalnie skonkretyzowanej postaci, którą ów świat może przybrać)[30]. Przyjęte‍ a priori założenie to ukierunkowanie indukcyjne, że na przykład prostszym światom przypisywane jest wyższe prawdopodobieństwo (jedną z możliwych metod formalnego zdefiniowania prostoty możliwego świata jest ujęcie jej w kategoriach „złożoności Kołmogorowa” — miary bazującej na długości najkrótszego programu komputerowego, który pozwala uzyskać pełny opis świata)[31]. W tym uprzednim założeniu mieści się również całość wiedzy ogólnej, którą programiści chcieliby obdarzyć sprawcę.

Kiedy sprawca otrzymuje nowe informacje ze swoich czujników, aktualizuje rozkład prawdopodobieństwa, uwarunkowując ten rozkład nowymi informacjami zgodnie z twierdzeniem Bayesa[32]. Uwarunkowywanie funkcji prawdopodobieństwa jest operacją matematyczną, która przypisuje nowe, zerowe prawdopodobieństwo tym światom, które są sprzeczne z otrzymaną informacją, i renormalizuje rozkład prawdopodobieństwa na pozostałe możliwe światy. Wynikiem jest „rozkład prawdopodobieństwa a posteriori” (który sprawca może wykorzystać w następnym kroku jako nowy rozkład a priori). W miarę jak sprawca dokonuje obserwacji, coraz bardziej prawdopodobne staje się zaistnienie coraz mniejszej liczby możliwych światów nadal zgodnych z zebranymi danymi z obserwacji — a wśród tych możliwych światów światy prostsze są zawsze bardziej prawdopodobne.

Metaforycznie możemy myśleć o prawdopodobieństwie jako o piasku rozsypanym na dużej kartce papieru. Kartka dzielona jest na obszary rozmaitych rozmiarów, przy czym każdy obszar odpowiada jednemu możliwemu światu, a większe obszary to prostsze możliwe światy. Wyobraźmy sobie warstwę piasku równej grubości pokrywającą równo całą kartkę — to jest nasz rozkład prawdopodobieństwa a priori. Za każdym razem, gdy dokonywana jest obserwacja wykluczająca jeden z możliwych światów, usuwamy piasek z odpowiedniego obszaru na kartce i rozdzielamy go równo na obszary, które są nadal brane pod uwagę. W ten sposób całkowita ilość piasku na kartce nigdy nie ulega zmianie, po prostu koncentruje się on na coraz mniejszej liczbie obszarów w miarę gromadzenia kolejnych danych z obserwacji. Oto koncepcja uczenia się w jej najczystszej formie. (Aby obliczyć prawdopodobieństwo hipotezy, mierzymy po prostu ilość piasku we wszystkich obszarach odpowiadających możliwym światom, dla których hipoteza jest prawdziwa).

Dotychczas zdefiniowaliśmy regułę uczenia się. Aby uzyskać sprawcę, potrzebujemy jeszcze reguły decyzyjnej. W tym celu wyposażamy sprawcę w funkcję użyteczności, która przypisuje każdemu z możliwych światów pewną liczbę. Ta liczba reprezentuje pożądalność tego świata zgodnie z zasadniczymi preferencjami sprawcy. Teraz przy każdym kroku sprawca wybiera działanie o najwyższej oczekiwanej użyteczności[33] (aby znaleźć działanie o najwyższej oczekiwanej użyteczności, sprawca może wyliczyć wszystkie możliwe działania, a następnie rozkład prawdopodobieństwa warunkowego, biorąc pod uwagę podjęcie tego działania, a więc rozkład prawdopodobieństwa, który będzie wynikiem uwarunkowania obecnego rozkładu prawdopodobieństwa od obserwacji, że działanie właśnie zostało podjęte; wreszcie może obliczyć oczekiwaną wartość działania jako sumę wartości każdego możliwego świata przemnożoną przez prawdopodobieństwo warunkowe tego świata przy założeniu podjęcia tego działania[34]).

Reguła uczenia się i reguła decyzyjna razem wzięte określają dla sprawcy „pojęcie optymalności” (zasadniczo to samo „pojęcie optymalności” jest szeroko wykorzystywane w dziedzinie sztucznej inteligencji, teorii poznania, filozofii nauki, ekonomii i statystyce[35]). W rzeczywistości niemożliwe jest zbudowanie takiego sprawcy, ponieważ ze względu na wymaganą moc obliczeniową niemożliwe jest dokonanie wymaganych obliczeń. Każda próba skończy się fiaskiem z powodu eksplozji kombinatorycznej takiej samej jak ta, którą opisaliśmy przy okazji naszej dyskusji na temat GOFAI. Aby zrozumieć, dlaczego tak się dzieje, rozważmy jeden niewielki podzbiór wszystkich możliwych światów — te światy, które składają się z pojedynczego monitora komputerowego unoszącego się w bezkresnej próżni. Monitor ma tysiąc na tysiąc pikseli i każdy z nich nieprzerwanie albo się świeci, albo nie. Nawet ten podzbiór możliwych światów jest ogromnie wielki: 2(1000×1000) możliwych‌ stanów monitora przewyższa pod względem liczby wszystkie obliczenia, które kiedykolwiek nastąpią w dającym się zaobserwować świecie. A zatem nie potrafimy nawet wymienić wszystkich możliwych światów tego małego podzbioru wszystkich możliwych światów, nie mówiąc już o wykonaniu bardziej skomplikowanych obliczeń dotyczących każdego z nich oddzielnie.

Pojęcia‌ optymalności mogą stanowić przedmiot rozważań teoretycznych — nawet jeśli nie da się ich zrealizować fizycznie. Oferują nam punkt odniesienia pozwalający ocenić przybliżenia heurystyczne i czasem pomagają wywnioskować, co w niektórych konkretnych przypadkach zrobiłby optymalny sprawca. W rozdziale 12. zetkniemy się z pewnymi alternatywnymi pojęciami optymalności odnoszącymi się do sztucznych sprawców.

Aktualny‍ stan badań

Już teraz sztuczna inteligencja w wielu dziedzinach osiąga wyniki lepsze niż ludzie. W tabeli 1. analizujemy osiągnięcia komputerów grających w gry, dowodząc, że systemy SI pokonują w tej chwili mistrzów bardzo wielu gier[36].

Tabela 1. Systemy sztucznej inteligencji grające w gry

Warcaby

Przewyższa‌ człowieka

Program szachowy Arthura Samuela napisany w 1952 roku, a następnie udoskonalony (w wersji z 1955 roku uwzględniono mechanizmy uczenia maszynowego) stał się pierwszym programem, który nauczył się grać w tę grę lepiej od swojego twórcy[37]. W 1994 roku program CHINOOK pokonał aktualnego mistrza szachowego; wówczas to po raz pierwszy program komputerowy wygrał oficjalne światowe mistrzostwa w grze opartej na umiejętnościach. W 2002 roku Jonathan Schaeffer i jego zespół „rozwiązują” szachy, czyli tworzą program, który zawsze wykonuje najlepszy możliwy ruch (łącząc przeszukiwanie algorytmem alfa-beta z bazą danych 39 bilionów pozycji w końcówce rozgrywki). Perfekcyjna gra po obu stronach doprowadziła do remisu[38].

Backgammon

Przewyższa‌ człowieka

1979 rok: program do gry w backgammona o nazwie BGK autorstwa Hansa Berlinera pokonał mistrza świata; był to pierwszy program komputerowy, który pokonał (w pokazowym meczu) mistrza świata dowolnej gry, chociaż Berliner przypisał później to zwycięstwo szczęściu przy rzucie kośćmi[39].

1992 rok: program do gry w backgammona o nazwie TD-Gammon autorstwa Gerry’ego Tesaura osiągnął umiejętności mistrzowskie, wykorzystując algorytm uczenia się ze wzmocnieniem TD-Learing i rozgrywając szereg partii przeciwko samemu sobie w celu samodoskonalenia się[40].

Od tamtej pory programy grające w backgammona dalece prześcignęły najlepszych ludzkich graczy[41].

Traveller TCS

Przewyższa‌ człowieka we współpracy z człowiekiem[42]

Zarówno w 1981, jak i w 1982 roku program o nazwie Eurisko autorstwa Douglasa Lenata wygrał mistrzostwa Stanów Zjednoczonych w Traveller TCS (futurystycznej morskiej grze wojennej), przyczyniając się do zmiany zasad, której celem było zablokowanie jego niekonwencjonalnych strategii[43]. Eurisko ma wbudowane heurystyki umożliwiające projektowanie jego floty, a także heurystyki umożliwiające modyfikacje jego heurystyk.

Othello

Przewyższa‍ człowieka

1997 rok: program Logistello wygrał wszystkie rozgrywki w składającym się z sześciu partii meczu przeciwko mistrzowi świata Takeshiemu Murakamiemu[44].

Szachy

Przewyższa‍ człowieka

1997 rok: komputer Deep Blue pokonał mistrza świata, Garriego Kasparowa. Kasparow utrzymywał, że w niektórych ruchach komputera dostrzegł przebłyski prawdziwej inteligencji i kreatywności[45]. Od tamtej pory silniki szachowe stają się coraz doskonalsze[46].

Krzyżówki

Poziom ekspercki

1999 rok:‌ program rozwiązujący krzyżówki o nazwie Proverb osiągnął lepsze wyniki niż przeciętny miłośnik krzyżówek[47].

2012 rok:‌ program Dr. Fill stworzony przez Matta Ginsberga osiągnął wyniki w górnym kwartylu, konkurując z uczestnikami turnieju krzyżówkowego American Crossword Puzzle Tournament. (Wyniki Dr. Filla były nierówne. Rozwiązywał perfekcyjnie krzyżówki uznane przez ludzi za najtrudniejsze, lecz nie potrafił wykonać kilku niestandardowych łamigłówek obejmujących między innymi literowanie wstecz lub wpisywanie odpowiedzi po skosie[48]).

Scrabble

Przewyższa‌ człowieka

Już w 2002‍ roku programy grające w Scrabble osiągały lepsze wyniki niż najlepsi gracze spośród ludzi[49].

Brydż

Równy‍ najlepszym

W 2005‍ roku programy grające w brydża kontraktowego zaczęły osiągać równie dobre wyniki jak najlepsi gracze w brydża[50].

Jeopardy!

Przewyższa‍ człowieka

2010 rok:‍ system komputerowy Watson wyprodukowany przez IBM pokonał dwóch mistrzów wszech czasów Jeopardy!: Kenna‌ Jenningsa i Brada Ruttera[51]. Jeopardy! (w Polsce‍ emitowany jako Va banque) to teleturniej‍ wiedzy z pytaniami z rozmaitych dziedzin, między innymi z: historii, literatury, sportu, geografii, kultury popularnej i nauk ścisłych. Pytania prezentowane są w formie zagadek i często zawierają gry słów.

Poker

Różnie

Programy komputerowe‍ grające w pokera nadal nieco ustępują najlepszym graczom w wariancie full-ring Texas Hold’em, ale w niektórych innych wariantach pokera osiągają wyniki lepsze niż ludzie[52].

FreeCell

Przewyższa‍ człowieka

Heurystyki powstałe‌ w wyniku ewolucji z wykorzystaniem algorytmów genetycznych pozwoliły stworzyć program układający pasjansa FreeCell (który w swojej uogólnionej postaci jest NP-zupełny) umiejący pokonać plasujących się wysoko w rankingach graczy[53].

Go

Bardzo wysoki‍ poziom amatorski

W 2012‌ roku programy z serii Zen grające w go osiągnęły poziom 6 dana w szybkich grach (poziom bardzo silnego gracza grającego amatorsko), wykorzystując heurystykę MCTS i techniki uczenia maszynowego[54]. W ostatnich‌ latach programy grające w go są udoskonalane w tempie mniej więcej 1 dana rocznie. Jeśli dalej w tym tempie będą doskonalone, być może w ciągu dekady uda im się pokonać mistrza świata.

Te osiągnięcia‍ dziś mogą nie wydawać się imponujące. Wynika to jednak wyłącznie z tego, że nasze wyobrażenie o tym, co jest imponujące, a co nie, zmienia się wraz z dokonującym się postępem. Dla przykładu: biegłość w grze w szachy uznawano niegdyś za papierek lakmusowy ludzkiej inteligencji. W opinii kilku specjalistów z końca lat 50. „człowiek, który potrafiłby opracować skuteczną maszynę grającą w szachy, uznany zostałby za kogoś, komu udało się dotrzeć do samego rdzenia ludzkiego potencjału intelektualnego[55]”. W tej‌ chwili już się tak nie wydaje. Można się solidaryzować z Johnem McCarthym, który ubolewa: „Kiedy tylko coś zaczyna działać, przestaje się to określać mianem sztucznej inteligencji[56]”.

W pewnym‌ jednak istotnym sensie systemy SI dysponujące umiejętnością gry w szachy okazały się zwycięstwem mniej spektakularnym, niż wielu to sobie wyobrażało. Kiedyś zakładano, być może całkiem rozsądnie, że po to, by komputer mógł grać w szachy na poziomie mistrzowskim, należy wyposażyć go w wysoki poziom inteligencji ogólnej[57]. Można by na‍ przykład pomyśleć, że mistrzowska gra w szachy wymaga umiejętności uczenia się pojęć abstrakcyjnych, inteligentnego planowania strategicznego, opracowywania elastycznych planów, nieustannego wysuwania oryginalnych wniosków logicznych, a może nawet modelowania sposobu myślenia przeciwnika. Tak nie jest. Okazało się, że możliwe jest zbudowanie świetnie sobie radzącego silnika szachowego na bazie specjalizowanego algorytmu[58]. Zaimplementowany na‌ szybkich procesorach, które stały się dostępne pod koniec XX wieku, daje w efekcie grę na bardzo wysokim poziomie. Jednak SI zbudowane w ten sposób są wąskie. Grają w szachy, lecz nie potrafią robić nic innego[59].

W innych‍ dziedzinach rozwiązania okazały się bardziej skomplikowane,‍ niż początkowo zakładano, i postęp‌ dokonywał się wolniej. Zajmującego się naukowo informatyką Donalda Knutha uderzyło to, że „SI udało się dotychczas zrobić zasadniczo wszystko, co wymaga »myślenia«, lecz nie udało im się zrobić większości tego, co ludzie i zwierzęta robią »bezmyślnie« — a co jakimś sposobem okazuje się znacznie trudniejsze!”[60]. Analiza obrazów,‌ rozpoznawanie przedmiotów lub sterowanie zachowaniem robota wchodzącego w interakcje ze środowiskiem naturalnym stwarza znacznie więcej problemów. Mimo wszystko i w tej dziedzinie nastąpił spory postęp i dokonuje się on nadal, czemu sprzyja systematyczne ulepszanie sprzętu komputerowego.

Trudne okazało‌ się również wyposażenie systemów SI w zdrowy rozsądek i zdolność rozumienia języka naturalnego. Sądzi się dzisiaj często, że osiągnięcie ludzkiego poziomu wykonywania tych zadań przez maszyny będzie tożsame z uzyskaniem sztucznej inteligencji, co oznacza, że trudności z rozwiązaniem tych problemów są zasadniczo równe trudnościom ze zbudowaniem maszyn dysponujących ludzką inteligencją ogólną[61]. Innymi słowy,‌ gdyby komuś udało‍ się zbudować system SI‌ zdolny rozumieć język naturalny równie dobrze jak dorosły człowiek, oznaczałoby to najprawdopodobniej, że albo już stworzył sztuczną inteligencję dorównującą ludzkiej, albo od jej stworzenia dzieli go zaledwie niewielki krok[62].

Umiejętność gry w‍ szachy okazała się osiągalna przy wykorzystaniu bardzo prostego algorytmu. Kusi, by nabrać podejrzeń, że inne zdolności — takie jak ogólna zdolność rozumowania albo pewne kluczowe umiejętności, których wymaga programowanie — mogą być również osiągalne poprzez wykorzystanie jakiegoś zaskakująco prostego algorytmu. Fakt, że do najlepszych w danym momencie wyników dochodzi się poprzez wykorzystanie skomplikowanych mechanizmów, nie oznacza, że nie istnieje żaden prosty mechanizm pozwalający wykonać tę pracę równie dobrze lub lepiej. Może być po prostu tak, że nikt jeszcze nie znalazł prostszej alternatywy. Model Ptolemejski (z Ziemią w centrum okrążaną przez Słońce, Księżyc, planety i gwiazdy) odzwierciedlał stan wiedzy astronomicznej przez ponad tysiąc lat, a jego dokładność, gdy szło o przepowiadanie przyszłych zdarzeń, była systematycznie powiększana na przestrzeni wieków dzięki jego systematycznemu komplikowaniu polegającemu na dodawaniu kolejnych epicykli zakładanych ruchów ciał niebieskich. Później cały system został obalony przez teorię heliocentryczną Kopernika, która była prostsza i — choć dopiero po dopracowaniu jej przez Keplera — pozwalała na dokładniejsze przewidywania[63].

Metody sztucznej‌ inteligencji są obecnie wykorzystywane w tak wielu obszarach, że nie miałoby sensu wyliczanie ich tutaj, ale wspomnienie choćby o wybranych da pewne wyobrażenie o mnogości zastosowań. Oprócz systemów SI potrafiących grać w gry, a wymienionych w tabeli 1., istnieją aparaty słuchowe‍ wyposażone w algorytmy, które odsiewają szumy z otoczenia, systemy nawigacji wyświetlające mapy i prowadzące kierowców do wybranego punktu, systemy rekomendacji, które proponują książki i albumy muzyczne na podstawie wcześniejszych zakupów i ocen użytkownika, oraz systemy wspierające podejmowanie decyzji medycznych, które pomagają lekarzom diagnozować raka piersi, proponują plan leczenia i wspierają specjalistów w interpretacji elektrokardiogramów. Istnieją mechaniczne zwierzątka domowe i roboty sprzątające, roboty koszące trawniki, roboty ratownicze, chirurgiczne oraz ponad milion robotów przemysłowych[64]. Liczba pracujących‍ na świecie robotów przekracza 10 milionów[65].

Współczesne systemy rozpoznawania‍ mowy oparte na technikach statystycznych, takich jak ukryte modele Markowa, stały się wystarczająco dokładne dla zastosowań praktycznych (niektóre fragmenty tej książki zostały wstępnie napisane z pomocą programu rozpoznawania mowy). Osobiści asystenci cyfrowi, tacy jak Siri autorstwa firmy Apple, reagują na polecenia głosowe, potrafią odpowiadać na proste pytania i wykonywać polecenia. Systemy rozpoznawania znaków (Optical Character Recognition, OCR) zarówno zapisanych ręcznie, jak i maszynowo, są wykorzystywane rutynowo w zastosowaniach takich jak sortowanie przesyłek pocztowych czy digitalizacji starych dokumentów[66].

Tłumaczenie maszynowe pozostaje‍ niedoskonałe, lecz w wielu zastosowaniach jest wystarczająco dobre. Wcześniejsze systemy wykorzystywały podejście GOFAI opierające się na zaprogramowanych ręcznie zasadach gramatyki, które musiały zostać opracowane od zera dla każdego języka przez dysponujących odpowiednimi umiejętnościami lingwistów. Nowsze systemy wykorzystują techniki statystycznego uczenia maszynowego, które automatycznie budują modele statystyczne na podstawie zaobserwowanych wzorców użycia. System ustala parametry tych modeli, analizując dwujęzyczne korpusy tekstów. To podejście pozwala obyć się bez językoznawców — programiści tworzący te systemy nie muszą nawet mówić w języku, z którym pracują[67].

Systemy rozpoznawania‍ twarzy zostały w ostatnich latach tak udoskonalone, by mogły zacząć być wykorzystywane na zautomatyzowanych przejściach granicznych w Europie i Australii. Amerykański Departament Stanu wykorzystuje w procedurach rozpatrywania wniosków wizowych system rozpoznawania twarzy dysponujący ponad 75 milionami fotografii. Systemy inwigilacji korzystają z coraz większej liczby wyrafinowanych technologii SI i eksploracji danych w analizie tekstów, głosu i nagrań wideo, które w ogromnych ilościach pobierane są ze światowych systemów komunikacji elektronicznej i przechowywane w gigantycznych centrach danych.

Programy umożliwiające‌ dowodzenie twierdzeń i rozwiązywanie równań zostały dopracowane do tego stopnia, że dziś już właściwie nie uznaje się ich za systemy sztucznej inteligencji. Programy do rozwiązywania równań zostały włączone do programów wspierających obliczenia naukowe, takich jak Mathematica. Formalne metody weryfikacji, w tym zautomatyzowane programy dowodzenia twierdzeń, są rutynowo wykorzystywane przez producentów procesorów, by zweryfikować zachowanie projektowanych układów przed rozpoczęciem ich produkcji.

Amerykańskie‌ służby wojskowe i‌ wywiadowcze były prekursorami wykorzystania na szeroką skalę robotów zrzucających bomby, bezzałogowych samolotów szpiegowskich i bojowych oraz innych pojazdów bezzałogowych. W dalszym ciągu te maszyny zależą w dużej mierze od sterujących nimi zdalnie operatorów będących ludźmi, lecz prowadzone są prace zmierzające do powiększenia ich autonomii.

Obszarem,‍ w którym odnotowano znaczące sukcesy, jest inteligentne harmonogramowanie. Narzędzie DART do zautomatyzowanego planowania logistyki i harmonogramowania zostało wykorzystane podczas operacji Pustynna Burza w 1991 roku z takim powodzeniem, że DARPA (amerykańska Defense Advanced Research Projects Agency — Agencja Zawansowanych Projektów Badawczych w Obszarze Obronności) utrzymuje, że ta jedna aplikacja z naddatkiem zwróciła trzydziestoletnie nakłady na rozwój systemów SI[68]. Systemy rezerwacji‌ lotniczej wykorzystują zaawansowane algorytmy harmonogramowania i wyceny. Przedsiębiorstwa na szeroką skalę korzystają z technologii SI w systemach zarządzania stanami magazynowymi; wykorzystują również zautomatyzowane systemy rezerwacji telefonicznej oraz infolinie powiązane z programami rozpoznawania mowy, aby pokierować swoich nieszczęsnych klientów poprzez labirynt zawikłanych opcji menu.

Technologie SI‍ leżą u podstaw wielu usług internetowych. Oprogramowanie kieruje światowym ruchem poczty elektronicznej i mimo tego, że spamerzy nieustannie modyfikują swoje strategie, by obejść stawiane przed nimi przeszkody, bayesowskie filtry antyspamowe w dużej mierze zdołały powstrzymać lawinę spamu. Oprogramowanie wykorzystujące komponenty sztucznej inteligencji odpowiada za automatyczne zatwierdzanie lub odrzucanie transakcji wykonywanych kartami kredytowymi i stale monitoruje operacje wykonywane na koncie, wypatrując oznak oszustwa. Systemy wyszukiwania informacji również w szerokim zakresie korzystają z uczenia maszynowego. Wyszukiwarka Google jest prawdopodobnie największym dotychczas zbudowanym systemem SI.

Należy jednak podkreślić,‌ że linia demarkacyjna dzieląca systemy sztucznej inteligencji i oprogramowanie jako takie nie jest wyraźna. Niektóre z wymienionych powyżej aplikacji można uznać za zwykłe oprogramowanie komputerowe, a nie za szczególne przypadki zastosowania sztucznej inteligencji — chociaż prowadzi nas to na powrót do uwagi McCarthy’ego, że kiedy coś zaczyna działać, przestaje się to określać mianem sztucznej inteligencji. Rozróżnieniem istotniejszym dla naszych celów jest to pomiędzy systemami o wąskim zakresie zdolności poznawczych (niezależnie od tego, czy opatrzymy je etykietką SI, czy nie) a systemami pozwalającymi na rozwiązywanie problemów ze znacznie szerszego spektrum. Zasadniczo wszystkie obecnie wykorzystywane systemy należą do pierwszego, wąskiego typu, jednakże wiele z nich zawiera składowe, które mogą odegrać rolę w przyszłych systemach bardziej ogólnej sztucznej inteligencji lub posłużyć do ich rozwoju — komponenty takie jak: klasyfikatory, algorytmy wyszukiwawcze, systemy planowania i rozwiązywania problemów i struktury reprezentacji danych.

Jednym z‌ niezwykle intratnych, a przy tym ekstremalnie konkurencyjnych środowisk, w których działają dziś systemy SI, jest globalny rynek finansowy. Zautomatyzowane systemy przeprowadzania transakcji na giełdach papierów wartościowych są obecnie szeroko wykorzystywane przez główne domy inwestycyjne. O ile niektóre z nich są prostymi metodami automatyzacji wykonania konkretnych zleceń kupna lub sprzedaży wydanych przez menedżera funduszu inwestycyjnego, o tyle inne realizują skomplikowane strategie handlowe, które dostosowują się do zmieniających się warunków rynkowych. Systemy analityczne mają do dyspozycji obszerny zbiór technik eksploracji danych oraz analizę szeregów czasowych, która pozwala im na wyszukiwanie wzorców i trendów na rynkach papierów wartościowych oraz na korelowanie ruchów cen historycznych z zewnętrznymi zmiennymi takimi jak słowa kluczowe na paskach wiadomości wyświetlanych na kanałach telewizji informacyjnych. Dostawcy informacji finansowej sprzedają strumienie wiadomości specjalnie sformatowane pod kątem wykorzystania przez tego rodzaju systemy SI. Inne systemy specjalizują się w wynajdowaniu okazji dokonania transakcji arbitrażowych w ramach rynków lub pomiędzy nimi albo w transakcjach o wysokiej częstotliwości, w których źródłem zysku są minimalne ruchy cen — dochodzi do nich w czasie milisekund (w tej skali czasowej opóźnienia w komunikacji nawet przy przesyłaniu sygnałów z prędkością światła za pośrednictwem kabli światłowodowych stają się do tego stopnia znaczące, że opłaca się umieszczanie komputerów w pobliżu giełd papierów wartościowych). Handel algorytmiczny stanowi już ponad połowę handlu akcjami na rynku amerykańskim[69]; to‍ właśnie on obarczany był częściowo odpowiedzialnością za tzw. Flash Crash z 2010 roku (patrz: ramka 2.).

Ramka 2.‍ Flash Crash z 2010 roku

Szóstego maja 2010‌ roku po południu amerykańskie rynki papierów wartościowych spadły już o 4% w wyniku niepokojów związanych z europejskim kryzysem kredytowym. O godzinie 14:32 duży sprzedawca (zespół funduszy inwestycyjnych) uruchomił algorytm sprzedaży w celu pozbycia się sporej liczby kontraktów future E-Mini S&P 500, które miały być sprzedawane w tempie określanym wskaźnikiem płynności giełdy aktualizowanym na bieżąco. Kontrakty te zostały zakupione przez algorytmy zaprogramowane do szybkiego eliminowania swoich tymczasowych długich pozycji poprzez sprzedawanie kontraktów innym maklerom. Przy braku popytu ze strony podstawowych kupujących algorytmiczni maklerzy zaczęli sprzedawać E-Minis głównie innym algorytmicznym maklerom, którzy przekazywali je kolejnym algorytmicznym maklerom, tworząc efekt „gorącego kartofla” windujący wolumen sprzedaży, co z kolei przez algorytmy sprzedaży zostało zinterpretowane jako wskaźnik wysokiej płynności, skłaniając je do zwiększenia tempa, w jakim kolejne kontrakty E-Minis wystawiane były na sprzedaż, co jeszcze bardziej przyspieszyło niekontrolowaną wyprzedaż. W pewnym momencie algorytmiczni maklerzy zaczęli się wycofywać z rynku, zmniejszając ogólną płynność przy ciągłym spadku cen. O 14:45 handel E-Minis został zatrzymany przez automatyczny wyłącznik. Kiedy handel został wznowiony (zaledwie pięć sekund później), ceny ustabilizowały się i wkrótce papiery wartościowe zaczęły odrabiać większość strat, ale przez chwilę, na samym dnie kryzysu, bilion dolarów zostało tak po prostu wymazanych z rynku, a efekt domina doprowadził do zawarcia szeregu transakcji dotyczących pojedynczych papierów wartościowych, które to transakcje zostały przeprowadzone po „absurdalnych” cenach, jak jeden cent albo 100 tysięcy dolarów. Po zamknięciu tego dnia rynku przedstawiciele giełd spotkali się z przedstawicielami instytucji nadzoru finansowego i postanowili unieważnić‌ wszystkie transakcje wykonane po cenach o 60% lub więcej odbiegających od poziomu przed kryzysem (uznając takie transakcje za „w oczywisty sposób błędne”, a więc możliwe do odwołania post factum w ramach‍ istniejących zasad regulujących handel na giełdach papierów wartościowych)[70].

Przywołanie tutaj tego‌ właśnie zdarzenia należy uznać za dygresję, ponieważ programy komputerowe uwikłane we Flash Crash nie były szczególnie inteligentne ani wyrafinowane, a ten rodzaj zagrożenia, jakie stworzyły, różni się zasadniczo od obaw, które podniesiemy w dalszej części tej książki w odniesieniu do perspektyw rozwoju superinteligentnych maszyn. Mimo to te wydarzenia są dobrą ilustracją kilku przydatnych prawd. Jedną z nich jest przypomnienie, że interakcje pomiędzy komponentami, które same w sobie są dość proste (jak w przypadku algorytmów sprzedaży czy algorytmicznych programów maklerskich umożliwiających handel wysokich częstotliwości), mogą wywołać złożone i nieoczekiwane skutki. Ryzyko systemowe potrafi narastać w układzie w miarę wprowadzania kolejnych elementów i to ryzyko nie jest oczywiste, dopóki sprawy nie przybiorą niekorzystnego obrotu (a czasem nie jest oczywiste nawet wówczas)[71].

Druga prawda‌ polega na tym, że inteligentni profesjonaliści mogą wydać programowi polecenia, opierając się na pozornie zdroworozsądkowych i, wydawałoby się, naturalnych założeniach (na przykład takich, że wolumen sprzedaży jest dobrą miarą płynności rynku), a mimo to ich decyzje mogą wywołać ostatecznie katastrofalne skutki, kiedy to program działa, opierając się na nieugiętej, żelaznej logice poleceń nawet w sytuacji, w której te założenia nieoczekiwanie okazują się już nieaktualne. Algorytm robi to, co ma do zrobienia, i jeśli nie jest to bardzo wyjątkowy rodzaj algorytmu, nie przejmuje się zupełnie tym, że na widok jego absurdalnie niewłaściwych poczynań łapiemy się za głowę, a przerażenie zapiera nam dech w piersiach. Ten temat będziemy jeszcze w tej książce podejmowali.

Trzecia obserwacja‌ w odniesieniu do Flash Crash polega na tym, że o ile automatyzacja przyczyniła się do tego zdarzenia, o tyle przyczyniła się również do jego rozwiązania. Zaprogramowana wcześniej logika automatycznego przerwania transakcji, która zawiesiła handel, gdy ceny kompletnie zwariowały, została ustawiona tak, by wykonała się automatycznie, ponieważ słusznie założono, że wydarzenia mogące wywołać te zjawiska będą się toczyć zbyt szybko, by jakikolwiek człowiek zdążył zareagować na czas. Potrzeba zainstalowania zawczasu wykonywanej automatycznie funkcji bezpieczeństwa — będącej przeciwieństwem nadzoru człowieka sprawowanego w czasię rzeczywistym — znów zapowiada temat, który okaże się istotny podczas naszej dyskusji na temat superinteligentnych maszyn[72].

Opinie‍ na temat przyszłości sztucznej inteligencji

Postęp na dwóch‍ głównych frontach — umocnienia fundamentu statystyki i teorii informacji w kontekście uczenia maszynowego z jednej strony oraz praktycznego i komercyjnego powodzenia rozmaitych aplikacji specyficznych dla danych dziedzin czy problemów z drugiej — przywrócił badaniom nad sztuczną inteligencją część utraconego prestiżu. Może pojawiać się jednak resztkowy efekt kulturowy mający wpływ na społeczność SI, a wynikający z jej wcześniejszej historii, który sprawia, że wielu naukowców głównego nurtu niechętnie przyłącza się do wysiłków uznawanych za nazbyt ambitne. Z tego powodu Nils Nilsson zaliczający się do starej gwardii narzeka, że jego współczesnym kolegom brakuje śmiałości, która napędzała pionierów z jego pokolenia:

Troska o‍ „poważanie” miała, jak sądzę, ogłupiający wpływ na niektórych badaczy SI. Słyszę, jak wygłaszają wypowiedzi w rodzaju „SI była niegdyś krytykowana za swoją krzykliwość. Teraz, gdy dokonaliśmy solidnych postępów, nie powinniśmy ryzykować utraty dobrego imienia”. Jednym ze skutków tego konserwatyzmu było zwiększenie koncentracji na „słabej SI” — tej odmianie SI, która służy wspieraniu ludzkiej myśli — i unikaniu „silnej SI” — tej odmiany, która próbuje zmechanizować ludzką inteligencję[73].

Podobną do Nilssona‍ opinię wyraziło kilku innych pionierów tej dziedziny, między innymi: Marvin Minsky, John McCarthy i Patrick Winston[74].

W ciągu‌ ostatnich kilku lat możemy dostrzec odrodzenie zainteresowania sztuczną inteligencją, które być może przerodzi się we wzmożone wysiłki w kierunku skonstruowania sztucznej inteligencji ogólnej (właśnie tej określanej‌ przez Nilssona mianem „silnej SI”). Pomijając już szybszy sprzęt, współczesny projekt skorzysta na ogromnych postępach, które dokonały się w wielu poddziedzinach SI, a bardziej ogólnie: w inżynierii oprogramowania, oraz w dziedzinach pokrewnych, takich jak neurobiologia obliczeniowa. Jednym ze wskaźników popytu na wysokiej jakości informację i edukację jest reakcja na udostępnienie przez Uniwersytet Stanforda jesienią 2011 roku darmowego kursu online wprowadzającego do zagadnień sztucznej inteligencji prowadzonego przez Sebastiana Thruna i Petera Norviga. Zapisało się na niego 160 tysięcy studentów z całego świata (a ukończyły go 23 tysiące)[75].

Opinie ekspertów‌ na temat przyszłości SI są bardzo rozbieżne. Nie ma zgody ani co do skali czasowej, ani co do form, jakie może ostatecznie przybrać sztuczna inteligencja. Prognozy na temat przyszłego rozwoju SI, jak odnotowano w jednym z ostatnich badań, „są równie zdecydowane, co różnorodne”[76].

Chociaż‍ współczesny rozkład przekonań nie został‌ dokładnie zmierzony, możemy wyrobić sobie pewien ogólny pogląd na bazie rozmaitych pomniejszych badań i nieformalnych obserwacji. Bardziej konkretnie, w cyklu niedawno przeprowadzonych badań ankietowano członków kilku związanych z tą tematyką społeczności eksperckich, zadając im pytanie, kiedy — ich zdaniem — dojdzie do wynalezienia myślących maszyn dorównujących inteligencją człowiekowi (HLMI — ang. human level‍ machine intelligence), definiowanych jako‍ „systemy, które potrafią wykonywać większość ludzkich zawodów na poziomie przynajmniej równie wysokim jak typowy człowiek”[77]. Wyniki pokazano‍ w tabeli 2. Połączona‌ próbka pozwoliła uzyskać następujące szacunki (mediana):‌ 10% prawdopodobieństwa, że HLMI pojawi się przed rokiem 2022, 50% prawdopodobieństwa, że przed rokiem 2040 i 90% prawdopodobieństwa, że przed rokiem 2075 (respondentów proszono to, by oparli swoje szacunki na założeniu, że „prace naukowo-badawcze nie zostaną przerwane żadnym znaczącym zdarzeniem negatywnym”).

Tabela 2. Kiedy zostaną‍ wynalezione myślące maszyny dorównujące inteligencją człowiekowi[78]?

10%

50%

90%

PT-AI

2023

2048

2080

AGI

2022

2040

2065

EETN

2020

2050

2093

TOP100

2024

2050

2070

Łącznie

2022

2040

2075

Te liczby‌ należy potraktować z pewnym sceptycyzmem: próbki są raczej niewielkie i niekoniecznie reprezentatywne dla ogólnej populacji ekspertów. Podane liczby pozostają jednak w zgodzie z wynikami innych badań[79].

Wyniki tych‌ badań są również zgodne z pewnymi niedawno opublikowanymi wywiadami z dwudziestoma kilkoma naukowcami prowadzącymi prace w dziedzinach pokrewnych SI. Dla przykładu: długa i owocna kariera Nilsa Nilssona koncentrowała się wokół prac nad problemami wyszukiwania, planowania, reprezentacji wiedzy i robotyki; Nilsson jest również autorem podręczników na temat sztucznej inteligencji, a ostatnio ukończył najbardziej do tej pory kompleksowe i wyczerpujące dzieło na temat historii tej dziedziny[80]. Zapytany o‌ datę możliwego pojawienia się HLMI przedstawił następujące prognozy[81]:

10%‍ szans: 2030

50%‌ szans: 2050

90%‍ szans: 2100.

Sądząc z opublikowanych‌ transkryptów wywiadów, rozkład prawdopodobieństwa profesora Nilssona wydaje się całkiem reprezentatywny dla poglądów wielu specjalistów z tej dziedziny, choć znów należy podkreślić, że wyrażane opinie charakteryzuje duża rozmaitość — są tacy praktycy, którzy myślą znacznie śmielej, z dużą pewnością siebie stwierdzając, że systemy HLMI pojawią się zapewne między rokiem 2020 a 2040, i inni, którzy są równie przekonani o tym, że nigdy do tego nie dojdzie albo że ta perspektywa jest nieskończenie odległa[82]. W dodatku‌ niektórzy ankietowani mają poczucie, że pojęcie „ludzkiego poziomu” sztucznej inteligencji jest niewłaściwie zdefiniowane lub mylące bądź też z innych powodów unikają przedstawienia oficjalnych prognoz ilościowych.

W mojej‌ opinii medianom podanym w wynikach badań eksperckich nie przypisano wystarczająco wysokiego prawdopodobieństwa w odniesieniu do późniejszych terminów. Prawdopodobieństwo na poziomie 10%, że systemy HLMI nie zostaną opracowane do 2075 ani nawet do 2100 roku (po poczynieniu zastrzeżenia, że „prace naukowo-badawcze nie zostaną przerwane żadnym znaczącym negatywnym zdarzeniem”), wydaje się zbyt niskie.

Historycznie rzecz‍ biorąc, badacze zajmujący się sztuczną inteligencją nie wykazali się szczególnym talentem w zakresie przewidywania tempa postępów we własnej dziedzinie ani formy, którą postępy te mogłyby przybrać. Z jednej strony niektóre zadania, jak gra w szachy, okazały się zupełnie osiągalne, i to dzięki zastosowaniu zaskakująco prostych programów; malkontenci utrzymujący, że maszyny nigdy nie będą zdolne zrobić tego czy tamtego, raz po raz okazywali się być w błędzie. Z drugiej strony bardziej typowym wśród praktyków błędem było niedoszacowanie trudności związanych ze skłonieniem systemu do sprawnego wykonywania codziennych zadań i przeszacowywanie postępów dokonujących się w ich własnym ukochanym projekcie lub technice.

W badaniu‌ postawiono również dwa inne pytania istotne dla naszych rozważań. W pierwszym z nich pytano respondentów, ile czasu, ich zdaniem, zajmie wynalezienie myślących maszyn o nadludzkiej inteligencji, zakładając, że w pierwszej kolejności uda się uzyskać sztuczną inteligencję dorównującą ludzkiej. Wyniki zaprezentowano w tabeli 3.

Tabela 3. Ile czasu‍ zajmie przejście od myślących maszyn dorównujących inteligencją człowiekowi do systemów SI o nadludzkiej inteligencji?

2 lata‌ od uzyskania HLMI

30 lat‍ od uzyskania HLMI

TOP100

5%

50%

Łącznie

10%

75%

W drugim‍ pytaniu poproszono respondentów o odpowiedź na to, jaki długofalowy wpływ na ludzkość będzie miało ich zdaniem wynalezienie systemów dorównujących inteligencją człowiekowi. Odpowiedzi podsumowano na rysunku 2.

I znów‍ moja opinia różni się nieco od opinii wyrażonych w badaniu. Uważam, że bardziej prawdopodobne jest opracowanie systemów superinteligentnych względnie szybko po pojawieniu się HLMI. Mam również bardziej spolaryzowany pogląd na konsekwencje, będąc przekonanym, że opcja „bardzo korzystny” lub „bardzo niekorzystny” jest nieco bardziej prawdopodobna niż wyniki bardziej zrównoważone. Powody, dla których tak sądzę, staną się jasne w dalszej części tej książki.

Rysunek‍ 2. Całkowity długofalowy wpływ HLMI na‍ ludzkość[83]

Niewielkie próbki,‌ stronniczy wybór i — przede wszystkim — immanentna zawodność uzyskanych subiektywnych opinii oznaczają, że nie należy zbyt wnikliwie wczytywać się w te badania i wywiady eksperckie. Nasuwają one jednak pewien wątły wniosek. Sugerują, że (przynajmniej wobec braku lepszych danych czy analiz) można rozsądnie przypuszczać, że sztuczna inteligencja dorównująca ludzkiej ma całkiem spore szanse zostać opracowana do połowy tego wieku, a przy tym niezerowe są szanse na to, że pojawi się znacznie szybciej albo znacznie później; że dość duże jest prawdopodobieństwo, że jej stosunkowo rychłym następstwem będą systemy superinteligentne; oraz że znaczące są szanse pojawienia się konsekwencji z bardzo szerokiego spektrum, od bardzo korzystnych do tak niekorzystnych, że równających się zagładzie gatunku ludzkiego[84]. Wszystko to‌ razem sugeruje przynajmniej tyle, że temat wart jest bliższej analizy.

Rozdział‍ 2.
Ścieżki wiodące ku superinteligencji

Maszyny‍ znacznie ustępują dziś ludziom pod względem inteligencji ogólnej, lecz mimo to pewnego dnia (jak zasugerowaliśmy) staną się superinteligentne. Jak pokonamy dystans dzielący nas od tego momentu? W tym rozdziale przeanalizujemy kilka wyobrażalnych scenariuszy rozwoju technologicznego. Przyjrzymy się sztucznej inteligencji, emulacjom mózgu, poznaniu biologicznemu i interfejsom mózg – komputer oraz sieciom i organizacjom. Postaramy się ocenić prawdopodobieństwo realizacji tych scenariuszy jako ścieżek wiodących nas ku superinteligencji. Istnienie wielu ścieżek zwiększa prawdopodobieństwo, że cel uda się osiągnąć, gdy się podąża jedną z nich.

Wstępnie‍ możemy zdefiniować superinteligencję jako każdy‌ umysł, który pod względem zdolności poznawczych znacznie przewyższa człowieka w dosłownie w każdej dziedzinie zainteresowań[1]. Będziemy‌ mieli więcej do powiedzenia na temat pojęcia superinteligencji w następnym rozdziale, gdzie poddamy je swego rodzaju analizie spektralnej, by wyróżnić pewne odmienne możliwe formy superinteligencji. Na razie wystarczy jednak ogólna podana właśnie charakterystyka. Zauważmy, że definicja nie określa w żaden sposób metody wdrożenia superinteligencji. Nie są określone również qualia[I] — to,‌ czy superinteligencja będzie miała subiektywną świadomość, może mieć ogromne znaczenie w przypadku niektórych zagadnień (zwłaszcza pewnych zagadnień moralnych), ale koncentrujemy się tutaj głównie na związkach przyczynowo-skutkowych i konsekwencjach powstania superinteligencji, a nie na metafizyce umysłu[2].

Zgodnie‌ z tą definicją program szachowy Deep Fritz nie jest superinteligencją, ponieważ Fritz zachowuje się inteligentnie tylko w wąskiej domenie szachów. Pewne rodzaje superinteligencji specyficznych dla danej dziedziny mogą być jednak istotne. Odnosząc się do superinteligentnego działania ograniczonego do konkretnej dziedziny, wyraźnie dostrzeżemy to ograniczenie. Dla przykładu: „superinteligencja inżynieryjna” będzie umysłem, który znacząco przewyższy najlepszych współczesnych inżynierów w dziedzinie inżynierii. Jeśli nie poczyniono żadnych zastrzeżeń, używamy tego terminu w odniesieniu do systemów mających nadludzki poziom inteligencji ogólnej. W‌ jaki sposób dałoby się jednak stworzyć superinteligencję? Przyjrzyjmy się pewnym możliwym scenariuszom.

Sztuczna‌ inteligencja

Czytelnicy‍ tego rozdziału nie mogą oczekiwać przepisu na zaprogramowanie sztucznej inteligencji ogólnej, gdyż żaden taki przepis jeszcze oczywiście nie istnieje. Gdybym znał takowy, najpewniej nie opublikowałbym go na łamach książki (jeśli powody nie są oczywiste, wyjaśnią je argumenty przedstawione w kolejnych rozdziałach).

Możemy‌ jednak wyróżnić pewne ogólne cechy wymagane od tego rodzaju systemu. Wydaje się w tej chwili jasne, że zdolność do uczenia się będzie integralną cechą bazowego projektu systemu, który ma w zamierzeniu swoich twórców posiąść inteligencję ogólną, a nie czymś, co zostanie dodane później jako rozszerzenie czy dodatek. To samo odnosi się do umiejętności skutecznego radzenia sobie z niepewnością i informacją probabilistyczną. Do kluczowych cech projektów współczesnych SI, które w zamierzeniu mają osiągnąć inteligencję ogólną, należy również prawdopodobnie pewna zdolność wyprowadzania użytecznych koncepcji z danych sensorycznych i stanów wewnętrznych oraz wykorzystywania nabytych pojęć i przekształcania ich w elastyczne reprezentacje kombinatoryczne, które będą mogły zostać wykorzystane w procesach rozumowania logicznego i intuicyjnego.

Wczesne‍ stare dobre systemy sztucznej inteligencji nie skupiały się w dużej mierze na uczeniu się, niepewności czy budowaniu pojęć — być może dlatego, że w tamtym czasie słabo były rozwinięte metody radzenia sobie z tymi zagadnieniami. Nie chcę w ten sposób powiedzieć, że leżące u podstaw tego podejścia teorie są szczególnie nowatorskie. Koncepcję wykorzystania uczenia się jako metody podciągnięcia prostszego systemu do poziomu inteligencji człowieka można wywodzić przynajmniej od pojęcia „maszyny dziecka” opisanego przez Alana Turinga w 1950 roku:

Może‌ zamiast dążyć do wytworzenia programu udającego umysł dorosłego, spróbować raczej wyprodukować program udający umysł dziecka? Poddawszy go stosownej edukacji, uzyskalibyśmy umysł dorosłego[3].

Turing‌ wyobraził sobie iteracyjny proces rozwoju takiej maszyny dziecka:

Nie‌ możemy oczekiwać, że już przy pierwszym podejściu uda nam się opracować dobrą maszynę dziecko. Należy eksperymentować z nauczaniem jednej takiej maszyny i sprawdzać, jakich dokonuje postępów; później można spróbować z inną i sprawdzić, czy ta druga uczy się lepiej, czy gorzej. Istnieje oczywisty związek pomiędzy tym procesem a ewolucją. (...) Można mieć jednak nadzieję, że proces ten będzie szybszy i sprawniejszy niż ewolucja. Przetrwanie najsilniejszych jest raczej powolną metodą pomiaru postępów. Inteligentny eksperymentator powinien być w stanie ją przyspieszyć. Istotny jest również fakt, że eksperymentatora nie ograniczają przypadkowe mutacje — jeśli jest w stanie wyśledzić powód jakiejś słabości, potrafi również prawdopodobnie wymyślić taki rodzaj mutacji, która pozwoli jej przeciwdziałać[4].

Wiemy,‍ że ślepe procesy ewolucyjne mogą doprowadzić do powstania inteligencji ogólnej na poziomie człowieka, gdyż dotychczas zrobiły to już co najmniej raz. Procesy ewolucyjne ze zdolnością przewidywania — czyli programami genetycznymi zaprojektowanymi i sterowanymi przez inteligentnego programistę — powinny pozwolić na znacznie sprawniejsze osiągnięcie analogicznego wyniku. To spostrzeżenie zostało wykorzystane przez część filozofów i naukowców — między innymi przez Davida Chalmersa i Hansa Moraveca — na poparcie tezy, że sztuczna inteligencja dorównująca człowiekowi jest nie tylko teoretycznie możliwa, ale i możliwa do uzyskania przed końcem tego wieku[5]. Ta‍ koncepcja zasadza się na tym, że potrafimy oszacować względną zdolność ewolucji i ludzkiej inżynierii do wyprodukowania inteligencji, by stwierdzić, że ludzka inteligencja już w tej chwili w niektórych obszarach dalece przewyższa ewolucję, a w niedługim czasie zacznie ją prawdopodobnie przewyższać również w pozostałych dziedzinach. Fakt, że ewolucja wyprodukowała istoty rozumne, wskazuje zatem na to, że techniki inżynierskie opracowane przez człowieka wkrótce będą w stanie osiągnąć to samo. Idąc tym tropem, Moravec napisał (już w 1976 roku):

Istnienie‍ kilku przykładów bytów inteligentnych zaprojektowanych w ramach tych ograniczeń powinno bezwzględnie utwierdzić nas w przekonaniu, że wkrótce zdołamy osiągnąć to samo. Obecna sytuacja znajduje swą analogię w historii maszyn latających cięższych od powietrza — ptaki, nietoperze i owady dowiodły, że latanie jest możliwe, zanim ludziom udało się wzbić w powietrze[6].

Wyciągając‍ jednak wnioski z tego toku rozumowania, należy zachować ostrożność. To prawda, że ewolucja wyprodukowała istoty latające cięższe od powietrza i że inżynierom udało się powielić jej osiągnięcia (dzięki wykorzystaniu jednakże całkowicie odmiennego mechanizmu). Można też przywołać inne przykłady, takie jak: sonary, nawigacja magnetyczna, broń chemiczna, fotoreceptory i wszelkiego rodzaju cechy działań mechanicznych i kinetycznych. Możemy jednak równie dobrze wskazać obszary, w których inżynierom nie udało się na razie dorównać ewolucji — w przypadku morfogenezy, autoregeneracji czy obrony immunologicznej ludzkie wysiłki pozostają daleko w tyle za osiągnięciami natury. Zatem argument Moraveca nie może nas „bezwzględnie utwierdzić w przekonaniu” o tym, że „wkrótce” zdołamy zbudować sztuczną inteligencję dorównującą ludzkiej. W najlepszym przypadku ewolucja inteligentnych istot żywych wyznacza górną granicę trudności nieodłącznie związanych z projektowaniem inteligencji — lecz ta górna granica może znajdować się znacznie powyżej obecnych możliwości techniki inżynieryjnej człowieka.

Innym‌ sposobem przedstawienia argumentu ewolucyjnego na rzecz prawdopodobieństwa zaistnienia sztucznej inteligencji jest koncepcja, zgodnie z którą możemy poprzez uruchomienie algorytmów genetycznych na wystarczająco szybkich komputerach osiągnąć rezultaty porównywalne z efektami ewolucji biologicznej. Ta wersja argumentu ewolucyjnego podsuwa zatem konkretną metodę, za pomocą której moglibyśmy wyprodukować systemy inteligentne.

Czy‌ jednak prawdą jest, że wkrótce będziemy dysponować mocą obliczeniową wystarczającą do rekapitulacji istotnych procesów ewolucyjnych, które doprowadziły do powstania ludzkiej inteligencji? Odpowiedź zależy zarówno od tego, jakich postępów w dziedzinie technik obliczeniowych uda się dokonać w ciągu kolejnych dekad, jak i od tego, jakiego rzędu moc obliczeniowa będzie potrzebna, by uruchomić algorytmy genetyczne z mocą optymalizacyjną równą doborowi naturalnemu procesu ewolucyjnego, który ukształtował naszą przeszłość. Choć ostatecznie wniosek, jaki możemy wyciągnąć z tego toku rozumowania, jest rozczarowująco nieokreślony, kształcąca jest sama próba dokonania choćby przybliżonych szacunków (patrz: ramka 3.). Jeśli‌ nawet nie uda się osiągnąć nic więcej, to ćwiczenie skupi naszą uwagę na pewnych interesujących niewiadomych.

Ramka‌ 3. Czego będzie wymagać rekapitulacja ewolucji?

Nie‍ każda ewolucyjna zdobycz uzyskana w drodze rozwoju ludzkiej inteligencji jest istotna dla inżyniera próbującego wyewoluować ją sztucznie. Zaledwie niewielka część doboru naturalnego, do którego doszło na Ziemi, dokonywana była pod kątem inteligencji. Ujmując to precyzyjniej: zagadnienia, których inżynierowie nie potrafią bez trudu rozwiązać, mogły być celem bardzo niewielkiej części całkowitego doboru naturalnego. Dla przykładu: ponieważ potrafimy zasilać nasze komputery energią elektryczną, nie musimy w celu stworzenia inteligentnych maszyn ponownie wymyślać cząsteczek umożliwiających gospodarowanie energią komórki — a przecież ewolucja molekularna szlaków metabolicznych mogła pochłonąć znaczną część całkowitego potencjału selekcyjnego, który był dostępny ewolucji w czasie trwania historii naszej planety[7].

Można‍ się upierać, że wiedza kluczowa dla rozwoju systemów SI ucieleśniona jest w strukturze systemu nerwowego, który wykształcił się niecały miliard lat temu[8]. Jeśli‌ przyjmiemy ten pogląd, wówczas liczba istotnych „eksperymentów” dostępnych ewolucji zostanie radykalnie ograniczona. Na świecie istnieje obecnie około 4 – 6×10^30 organizmów‌ prokariotycznych, lecz zaledwie 10^19 owadów‌ i mniej niż 10^10 ludzi‌ (podczas gdy społeczności żyjące w okresie preneolitycznym były o rząd wielkości mniejsze)[9]. Te‍ liczby są już zaledwie umiarkowanie onieśmielające.

Algorytmy‌ ewolucyjne wymagają jednakże nie tylko odmiennych wersji, spośród których będzie można dokonać wyboru, ale i funkcji dopasowania darwinowskiego pozwalającej ocenić rozmaite wersje — i ten komponent pochłania zazwyczaj najwięcej mocy obliczeniowej. Funkcja dopasowania pod kątem ewolucji sztucznej inteligencji wymaga przypuszczalnie symulacji rozwoju neuronów, sprawności uczenia się i możliwości poznawczych, co pozwoli ocenić ostateczne dopasowanie. Postąpimy więc prawdopodobnie słuszniej, nie analizując liczby wszystkich organizmów mających złożony system nerwowy, lecz raczej skupiając się na liczbie neuronów występujących w organizmach biologicznych, które będziemy musieli zasymulować, by odzwierciedlić ewolucyjną funkcję dopasowania darwinowskiego. Możemy z grubsza oszacować tę drugą wartość, biorąc pod uwagę owady stanowiące dominującą część zwierzęcej biomasy obecnej na lądach (same mrówki to mniej więcej 15 – 20%)[10]. Wielkości‍ mózgów owadów różnią się od siebie znacząco, przy czym większe i bardziej społeczne owady mają większe mózgi — mózg pszczoły miodnej ma niecałe 10^6 neuronów,‌ mózg muszki owocówki 10^5 neuronów,‍ mrówki zaś plasują się pomiędzy tymi gatunkami z 250 tysiącami neuronów[11]. Większość‌ mniejszych owadów może mieć mózgi składające się zaledwie z kilku tysięcy neuronów. Przyjmując zachowawczo wysokie szacunki, jeśli przypiszemy wszystkim 10^19 owadom‌ liczbę neuronów właściwą dla muszki owocówki, otrzymamy 10^24 owadzich‍ neuronów na całym świecie. Tę liczbę można podnieść o rząd wielkości, by uwzględnić wodne skorupiaki z rzędu widłonogów, ptaki, gady, ssaki i tak dalej, otrzymując 10^25 (dla‍ porównania: w czasach preneolitycznych Ziemię zaludniało mniej niż 10^7 ludzi,‌ z których każdy miał niecałe 10^11 neuronów:‌ co daje łącznie mniej niż 10^18 ludzkich‌ neuronów — choć ludzie mają wyższą liczbę synaps przypadających na jeden neuron).

Moc‍ obliczeniowa konieczna do zasymulowania jednego neuronu zależy od poziomu szczegółowości takiej symulacji. Skrajnie proste modele neuronów wykorzystują około 1000 operacji zmiennoprzecinkowych na sekundę (Floating point Operations Per Second, FLOPS), by zasymulować jeden neuron (w czasie rzeczywistym). Elektrofizjologicznie realistyczny model Hodgkina-Huxleya wymaga mocy obliczeniowej 1,2 miliona FLOPS. Bardziej szczegółowy model wieloprzedziałowy podniósłby tę liczbę o trzy lub cztery rzędy wielkości, podczas gdy modele wyższego poziomu sprowadzające systemy neuronów do abstrakcji mogłyby obniżyć ją o dwa do trzech rzędów wielkości w stosunku do prostych modeli[12]. Gdybyśmy‌ postawili sobie za cel zasymulowanie 10^25 neuronów‌ w ciągu miliarda lat ewolucji (co jest okresem dłuższym od istnienia systemów nerwowych w znanej nam postaci) i pozwolili naszym komputerom działać przez rok, to bazując na tych szacunkach, otrzymalibyśmy zapotrzebowanie mieszczące się w zakresie 10^31 – 10^44 FLOPS.‍ Chiński Tianhe-2, najpotężniejszy superkomputer świata (stan na wrzesień 2013 roku), udostępnia moc obliczeniową na poziomie zaledwie 3,39×10^16 FLOPS.‍ W ostatnich dekadach zwykłym, masowo sprzedawanym komputerom zwiększenie mocy obliczeniowej o rząd wielkości zajmowało mniej więcej 6,7 roku. Nie wystarczyłby nawet wiek dalszego obowiązywania prawa Moore’a, by pokonać tę przepaść. Wykorzystanie bardziej wyspecjalizowanego sprzętu lub uruchomienie go na dłuższy czas pozwoliłoby przeskoczyć zaledwie kilka rzędów wielkości.

Uzyskana‍ przez nas liczba jest bardzo ostrożna również z innego względu. Ewolucji udało się uzyskać ludzką inteligencję bez stawiania jej sobie za cel. Innymi słowy: funkcja dopasowania darwinowskiego dla organizmów naturalnych nie faworyzuje organizmów wyłącznie ze względu na ich inteligencję lub to, co ją poprzedzało[13]. Nawet‌ środowiska, w których organizmy o wyróżniających się zdolnościach przetwarzania informacji czerpią z tego tytułu znaczące korzyści, mogą nie premiować samej inteligencji, ponieważ jej wyższy poziom może (i często tak właśnie jest) pociągać za sobą znaczące koszty w rodzaju wyższego zużycia energii lub powolniejszego dojrzewania i te koszty mogą przewyższać wszelkie korzyści uzyskane dzięki inteligentniejszemu zachowaniu. Środowiska skrajnie niebezpieczne dla organizmów żywych również ograniczają wartość inteligencji — im krótsza oczekiwana długość życia, tym mniej czasu pozostaje na to, by uzyskać zwrot ze zwiększonej zdolności uczenia się. Ograniczona presja doboru naturalnego pod kątem inteligencji spowalnia rozprzestrzenianie się innowacji potęgujących inteligencję, a przez to daje ewolucji mniej okazji do premiowania kolejnych innowacji, które mogłyby być ich wynikiem. Co więcej, ewolucja może ostatecznie utknąć na poziomie lokalnego optimum, które ludzie by dostrzegli i ominęli, inaczej bilansując eksploatację z eksploracją lub poddając myślące byty kolejnym, stopniowo coraz trudniejszym testom na inteligencję[14]. A‌ jak wspomniano wcześniej, ewolucja poświęca znaczną część swojego potencjału selekcyjnego na cechy niezwiązane z inteligencją (czego przykładem są koewolucyjne „wyścigi zbrojeń” żywicieli i pasożytów zgodne z hipotezą Czerwonej Królowej). Ewolucja nieustannie trwoni zasoby, produkując mutacje, które zwykle okazują się zabójcze, i nie wykorzystuje statystycznych podobieństw efektów rozmaitych mutacji. Wszystko to stanowi o nieefektywności procesu doboru naturalnego (kiedy patrzymy na niego jako na metodę wyewoluowania inteligencji), której inżynierom stosunkowo łatwo byłoby uniknąć przy zastosowaniu algorytmów ewolucyjnych do opracowania inteligentnych programów komputerowych.

Można‍ przypuszczać, że wyeliminowanie nieefektywności przypominających wyżej opisane pozwoliłoby zmniejszyć o wiele rzędów wielkości obliczony wcześniej zakres 10^31 – 10^44 FLOPS.‌ Niestety trudno powiedzieć, o ile rzędów wielkości. Trudno dokonać nawet przybliżonych oszacowań; z tego, co nam wiadomo, oszczędności wynikające z usprawnienia procesu mogą sięgać pięciu, dziesięciu lub dwudziestu pięciu rzędów wielkości[15].

Ostateczny‌ wniosek jest taki, że zasoby obliczeniowe potrzebne do zwykłej replikacji istotnych procesów ewolucyjnych, które zaowocowały pojawieniem się na Ziemi inteligentnych istot ludzkich, znajdują się w zasadzie poza naszym zasięgiem — i tam pozostaną, nawet jeśli prawo Moore’a będzie nadal obowiązywało przez kolejny wiek (patrz: rysunek 3.). Można‍ jednak przypuszczać, że da się osiągnąć znacznie wyższą sprawność procesów ewolucyjnych, nie replikując na ślepo procesów naturalnych, lecz projektując — przy wykorzystaniu rozmaitych narzucających się metod doskonalenia doboru naturalnego — proces wyszukiwawczy, którego celem jest‍ wyprodukowanie inteligencji. Bardzo trudno jest jednak ocenić potencjał owych metod doskonalenia. Nie potrafimy nawet powiedzieć, czy mówimy o pięciu czy dwudziestu pięciu rzędach wielkości. Porzucamy zatem dalsze rozważania biegnące tym torem, uznając, że argumenty ewolucyjne nie są w stanie sensownie ograniczyć naszych oczekiwań dotyczących czy to trudności związanych ze zbudowaniem sztucznej inteligencji dorównującej ludzkiej, czy to skali czasowej opisującej rozwój wydarzeń.

Rysunek‍ 3. Moc obliczeniowa superkomputera. W wąskim znaczeniu prawo Moore’a odnosi się do spostrzeżenia, że liczba tranzystorów w obwodach scalonych przez kilka ostatnich dekad podwajała się mniej więcej co dwa lata. Termin ten jest jednak często używany w odniesieniu do bardziej ogólnego spostrzeżenia, że wiele wskaźników wydajności w obszarze technologii informatycznych rosło w postępie wykładniczym. W tym miejscu przedstawiamy wykres najwyższych osiągalnych prędkości najszybszych superkomputerów świata w funkcji czasu (w pionowej skali logarytmicznej). W ostatnich latach wzrost mocy obliczeniowej pojedynczego procesora uległ znacznemu zahamowaniu, ale zwiększone wykorzystanie przetwarzania równoległego umożliwiło otrzymanie trendu wzrostowego całkowitej liczby wykonywanych operacji[16]

Tego‌ rodzaju ewolucyjne rozważania wywołują dalszą komplikację, która utrudniają wyprowadzenie z nich choćby przybliżonego szacunku górnej granicy trudności uzyskania inteligencji na drodze ewolucji. Musimy uniknąć błędu polegającego na wywnioskowaniu z faktu rozwoju inteligencji na naszej planecie, że rozważane przez nas procesy ewolucyjne charakteryzowało rozsądnie wysokie aprioryczne prawdopodobieństwo wytworzenia inteligencji. Taki wniosek jest nierozsądny, gdyż nie bierze się w nim pod uwagę efektu selekcji obserwacji, gwarantującego, że wszyscy obserwatorzy będą pochodzić z planety, na której pojawiło się inteligentne życie, niezależnie od tego, jak bardzo prawdopodobne lub nieprawdopodobne było pojawienie się istot inteligentnych na danej planecie. Załóżmy, dla przykładu, że wytworzenie inteligentnego życia wymagało nie tylko systematycznych efektów działania doboru naturalnego, ale i ogromnej dawki szczęśliwych‌ zbiegów okoliczności — tak dużej, by inteligentna postać życia wyewoluowała zaledwie na jednej planecie na każde 1030 planet, na których pojawiły się proste organizmy zdolne do namnażania się. W tym przypadku gdy uruchomimy nasze algorytmy genetyczne, by spróbować powielić to, co udało się osiągnąć naturalnej ewolucji, możemy stwierdzić, że będziemy musieli przeprowadzić jakieś 1030 symulacji, zanim natrafimy na taką, w której wszystkie elementy zagrają równocześnie w odpowiedni sposób. Wydaje się to całkowicie spójne z naszym spostrzeżeniem, że życie w istocie ewoluowało tutaj, na Ziemi. Tylko poprzez ostrożne i dość skomplikowane rozumowanie — poprzez analizę przypadków konwergentnej ewolucji cech związanych z inteligencją i uwzględnienie subtelności teorii selekcji obserwacji — możemy częściowo obejść tę barierę epistemologiczną. Jeśli nie zadamy sobie tego trudu, nie będziemy w stanie wykluczyć możliwości, że wyprowadzone w ramce 3. rzekome‌ ograniczenie górne wymogów obliczeniowych, których spełnienie jest konieczne do rekapitulacji ewolucji inteligencji, może być zaniżone o 30 rzędów wielkości (albo inną równie dużą liczbę)[17].

Innym‍ sposobem dowiedzenia osiągalności sztucznej inteligencji jest skupienie uwagi na ludzkim mózgu i zaproponowanie, byśmy wykorzystali go jako wzorzec myślącej maszyny. Można wyróżnić rozmaite odmiany tego podejścia, kierując się tym, jak ściśle mają zostać imitowane biologiczne funkcje mózgu. Na jednym krańcu spektrum — tym odpowiadającym bardzo ścisłej imitacji — mamy koncepcję emulacji‍ całego mózgu, którą omówimy w następnym podrozdziale. Na drugim krańcu spektrum znajdują się podejścia, które zakładają inspirację funkcjonowaniem mózgu, lecz nie podejmują próby niskopoziomowej imitacji. Postępy w zakresie neurobiologii i psychologii poznawczej — którym będą sprzyjać dalsze usprawnienia i powiększanie arsenału dostępnych narzędzi — powinny w końcu odsłonić przed nami ogólne zasady działania mózgu. Ta wiedza pozwoli nam odpowiednio pokierować pracami zmierzającymi do opracowania sztucznej inteligencji. Natknęliśmy się już na sieci neuronowe jako przykład techniki SI inspirowanej mózgiem. Hierarchiczna organizacja zmysłów jest kolejną koncepcją, która została przeniesiona z nauk o mózgu do uczenia maszynowego. Badania uczenia ze wzmocnieniem zostały podjęte (przynajmniej częściowo) ze względu na jego rolę w psychologicznych teoriach zwierzęcego poznania, a techniki uczenia się ze wzmocnieniem (na przykład metoda TD) inspirowane tymi teoriami są obecnie szeroko wykorzystywane w systemach SI[18]. W‌ przyszłości nagromadzi się z pewnością więcej tego rodzaju przypadków. Ponieważ istnieje ograniczona — być może bardzo mała — liczba odmiennych mechanizmów podstawowych, którymi posługuje się mózg, ciągły stopniowy postęp nauk o mózgu powinien w końcu doprowadzić do odkrycia ich wszystkich. Zanim jednak do tego dojdzie, możliwe, że podejście hybrydowe łączące pewne techniki inspirowane mózgiem z metodami czysto sztucznymi pozwoli nam osiągnąć zakładany cel. W tym przypadku opracowane systemy niekoniecznie będą przypominać mózg, choć do ich stworzenia wykorzystano pewne spostrzeżenia na temat jego funkcjonowania.

Dostępność‍ mózgu jako wzorca stanowi silny argument na rzecz twierdzenia, że sztuczna inteligencja jest ostatecznie osiągalna. Nie umożliwia nam to jednak przewidzenia, kiedy zostanie ona uzyskana, bo w obszarze nauk o mózgu trudno jest przewidzieć przyszłe tempo odkryć. Możemy tylko stwierdzić, że im głębiej w przyszłość zaglądamy, tym większe jest prawdopodobieństwo, że tajemnice funkcjonowania mózgu zostaną poznane w takim stopniu, by umożliwić nam stworzenie za jego przykładem sztucznej inteligencji.

Różni‍ ludzie pracujący nad opracowaniem sztucznej inteligencji mają różne poglądy na temat tego, jak obiecujące są podejścia neuromorficzne w porównaniu z podejściami, których celem jest opracowanie projektów całkowicie sztucznych. Istnienie ptaków dowiodło, że obiekty cięższe od powietrza mogą latać, a to z kolei skłoniło ludzi do podjęcia wysiłków zmierzających do stworzenia maszyn latających. Mimo to pierwsze samoloty, które zdołały się wzbić w powietrze, nie machały przecież skrzydłami. Nie zostało jeszcze rozstrzygnięte, czy sztuczna inteligencja będzie podobna do lotu, który stał się osiągalny dla ludzi dzięki sztucznemu mechanizmowi, czy też raczej do spalania, które udało nam się opanować dzięki naśladowaniu naturalnie wybuchających pożarów.

Turingowska‍ koncepcja zaprojektowania programu, który rozbudowuje się w głównej mierze dzięki uczeniu się, a nie wstępnemu zaprogramowaniu całości, może stosować się w równej mierze do syntetycznego, jak i neuromorficznego podejścia do sztucznej inteligencji.

Pewną‍ odmianą koncepcji maszyny dziecka Turinga jest teoria „zalążkowej SI”[19]. O‍ ile maszyna dziecko w takiej postaci, w jakiej, jak się wydaje, wyobrażał ją sobie Turing, miałaby stosunkowo ustaloną architekturę, która po prostu rozwijałaby swoje wrodzone zdolności poprzez gromadzenie treści, o‍ tyle zalążkowa SI byłaby bardziej wyrafinowaną sztuczną inteligencją zdolną do doskonalenia własnej architektury. Na‍ wczesnych etapach zalążkowej SI takie udoskonalenia byłyby efektem głównie prób i błędów, zdobywania informacji oraz pomocy ze strony programistów. W późniejszych fazach jednakże zalążkowa SI byłaby w stanie zrozumieć swoje‌ własne działanie w takim stopniu, by opracować nowe algorytmy i struktury obliczeniowe, dzięki którym mogłaby samodzielnie podnieść swoje zdolności poznawcze na wyższy poziom. To wymagane zrozumienie mogłoby być efektem osiągnięcia przez zalążkową SI wystarczającego poziomu inteligencji ogólnej w szeregu dziedzin albo przekroczenia pewnego progu w szczególnie istotnej dziedzinie takiej jak informatyka lub matematyka.

Prowadzi‌ nas to do kolejnej ważnej koncepcji: „rekursywnego samodoskonalenia się”. Udana zalążkowa SI będzie w stanie iteracyjnie się doskonalić: wczesna wersja SI będzie mogła opracować udoskonaloną wersję samej siebie, a wersja udoskonalona — jako inteligentniejsza niż pierwotna — może zaprojektować jeszcze inteligentniejszą wersję samej siebie i tak dalej[20]. W‍ pewnych warunkach taki proces rekursywnego samodoskonalenia się może być kontynuowany tak długo, by zaowocować eksplozją inteligencji — zdarzeniem, podczas którego w krótkim czasie poziom inteligencji systemu zwiększy się od stosunkowo skromnego zasobu zdolności poznawczych (być może w większości aspektów ustępujących ludzkim, lecz wyróżniających się specyficznym, dziedzinowym talentem do kodowania i badań nad sztuczną inteligencją) do radykalnej superinteligencji. Powrócimy do tej istotnej możliwości w rozdziale‍ 4., w którym to dynamika takiego zdarzenia będzie analizowana bardziej szczegółowo. Zauważmy, że ten model sugeruje możliwe zaskoczenia — próba zbudowania sztucznej inteligencji ogólnej może się zakończyć w zasadzie kompletnym fiaskiem, dopóki nie znajdziemy się w posiadaniu wszystkich brakujących elementów o krytycznym znaczeniu; dopiero wówczas zalążkowa SI może się stać zdolna do nieprzerwanego, rekursywnego samodoskonalenia.

Zanim‍ skończymy ten podrozdział, powinniśmy podkreślić jeszcze jedną rzecz, a mianowicie to, że sztuczna inteligencja nie musi znacząco przypominać ludzkiego umysłu. Systemy SI mogą być — i prawdopodobnie w większości będą — skrajnie obce. Powinniśmy się spodziewać, że pod względem architektury poznawczej będą całkiem odmienne niż biologiczne istoty rozumne, a na wczesnych etapach rozwoju będą miały bardzo różne profile słabych i mocnych poznawczo stron (choć jak postaramy się dowieść później, mogą być zdolne do przezwyciężenia początkowych słabości). Co więcej, docelowe systemy SI mogą radykalnie odbiegać od inteligentnych istot ludzkich. Nie ma powodu, by oczekiwać, że ogólnie rozumianą SI będą kierować miłość, nienawiść, duma lub inne powszechnie występujące ludzkie uczucia; odtworzenie tych złożonych przystosowań w przypadku SI będzie wymagać celowego i wzmożonego wysiłku, co jest jednocześnie wielkim problemem i wielką szansą. Wrócimy do kwestii pobudek kierujących SI w kolejnych rozdziałach, ale jest to kwestia tak kluczowa dla przedstawianego w tej książce wywodu, że cały czas warto mieć ją na uwadze.

Emulacja‌ mózgu

Emulacja‌ mózgu (znana również pod nazwą „transferu umysłu”) to wyprodukowanie inteligentnego programu poprzez zeskanowanie i ścisłe odwzorowanie struktur obliczeniowych ludzkiego mózgu (czyli stworzenie kompletnej mapy sieci połączeń neuronalnych zwanej konektomem). To podejście reprezentuje zatem ograniczający przypadek czerpania natchnienia z natury — bezwstydne plagiatowanie. Uzyskanie emulacji całego mózgu wymaga ukończenia z powodzeniem nakreślonych niżej etapów.

Po‌ pierwsze, konieczne jest utworzenie wystarczająco szczegółowego skanu konkretnego ludzkiego mózgu. Może to wymagać stabilizacji mózgu post‌ mortem poprzez witryfikację (inaczej zeszklenie — proces, który przekształca tkanki w rodzaj szkła). Maszyna może następnie rozkroić tkankę na cieniutkie plastry, które mogą zostać przekazane innej maszynie do zeskanowania, być może za pomocą arsenału mikroskopów elektronowych. Na tym etapie można zastosować rozmaite barwniki, które pozwolą wydobyć rozmaite własności chemiczne i strukturalne. Wiele maszyn skanujących może pracować równolegle, opracowując jednocześnie rozmaite plastry mózgu.

Po‍ drugie, surowe dane ze skanerów przekazywane będą do komputera w celu dokonania zautomatyzowanego przetworzenia obrazu, co z kolei umożliwi rekonstrukcję trójwymiarowej sieci neuronowej, w której przebiegały procesy poznawcze naturalnego mózgu służącego za pierwowzór. W praktyce ten etap może zostać przeprowadzony równolegle z etapem pierwszym, by ograniczyć ilość danych opisujących obrazy wysokiej rozdzielczości przechowywane w buforach. Mapa wynikowa zostanie następnie połączona z biblioteką modeli neuroobliczeniowych rozmaitych rodzajów neuronów lub różnych elementów neuronalnych (takich jak konkretnego rodzaju połączenia synaptyczne). Rysunek 4. pokazuje‍ różne wyniki skanowania i przetwarzania obrazów uzyskane dzięki współcześnie dostępnym technologiom.

W‌ trzecim etapie struktury neuroobliczeniowe uzyskane na etapie wcześniejszym są implementowane na odpowiednio szybkim komputerze. Jeśli się to całkowicie powiedzie, otrzymamy w wyniku cyfrową kopię oryginalnego umysłu — o nietkniętej pamięci i osobowości. Zaemulowany ludzki umysł zaistnieje teraz jako oprogramowanie na komputerze. Umysł może zamieszkać w pamięci wirtualnej lub wchodzić w interakcje ze światem zewnętrznym za pomocą przystawek robotycznych.

Rysunek‍ 4. Trójwymiarowa rekonstrukcja neuroanatomii na bazie zdjęć wykonanych mikroskopem elektronowym. Na‍ górze z lewej:‍ typowy obraz uzyskany dzięki mikroskopii elektronowej, ukazujący przekroje tkanki nerwowej — dendrytów i aksonów. Na‌ górze z prawej:‍ trójwymiarowa rekonstrukcja neuronów siatkówki królika uzyskana dzięki skaningowemu mikroskopowi elektronowemu wyposażonemu w mikrotom[21] Poszczególne‌ zdjęcia 2D zostały złożone w kostkę (o boku długości mniej więcej 11 μm). Na‌ dole: rekonstrukcja neuropilu (pilśni nerwowej) wygenerowana przez zautomatyzowany algorytm segmentujący[22]

Transfer‌ umysłu nie wymaga od nas zrozumienia, jak funkcjonuje ludzkie poznanie ani jak zaprogramować sztuczną inteligencję. Wymaga tylko tego, byśmy zrozumieli niskopoziomowe cechy funkcjonalne podstawowych elementów obliczeniowych mózgu. Nie potrzeba żadnego fundamentalnego przełomu konceptualnego lub teoretycznego, by udało się uzyskać emulację całego mózgu.

Transfer‍ umysłu wymaga jednak pewnych dość zaawansowanych technologii. Istnieją trzy kluczowe warunki wstępne: (1) skanowanie:‌ mikroskop o wysokiej przepustowości z odpowiednią rozdzielczością i zdolnością wykrywania istotnych własności; (2) tłumaczenie:‍ zautomatyzowana analiza obrazu, która pozwoli przekształcić surowe dane uzyskane dzięki skanowaniu w objaśniony, trójwymiarowy model istotnych elementów neuroobliczeniowych; (3) symulacja:‍ sprzęt wystarczająco mocny, by pozwolił zaimplementować wynikowe struktury obliczeniowe (patrz: tabela 4.). (W‌ porównaniu z tymi stwarzającymi większe trudności etapami konstrukcja podstawowej rzeczywistości wirtualnej albo robotycznego korpusu dysponującego kanałem wrażeń wzrokowych i jakimś prostym kanałem nadawczym jest względnie prosta. Proste, choć w minimalnym zaledwie stopniu adekwatne kanały wejścia/wyjścia wydają się osiągalne już przy zastosowaniu współczesnej technologii)[23].

Tabela‍ 4. Potencjał techniczny konieczny do wykonania emulacji całego mózgu

Skanowanie

Wstępne‌ przetwarzanie/utrwalanie

Odpowiednie‍ przygotowywanie mózgów, zachowywanie istotnych mikrostruktur i stanów.

Manipulacje‍ fizyczne

Metody‍ manipulowania utrwalonym mózgiem i fragmentami tkanki przed skanowaniem, w jego trakcie i po jego zakończeniu.

Obrazowanie

Wielkość

Zdolność‌ skanowania objętości całego mózgu w rozsądnym czasie i za rozsądną cenę.

Rozdzielczość

Skanowanie‍ w rozdzielczości wystarczającej do umożliwienia rekonstrukcji.

Informacje‌ funkcjonalne

Możliwość‍ skanowania pozwalającego wykryć funkcjonalnie istotne właściwości tkanki.

Tłumaczenie

Przetwarzanie‍ obrazów

Dostosowanie‌ geometryczne

Korekcja‌ zniekształceń wynikających z niedoskonałości skanowania.

Interpolacja‌ danych

Uzupełnianie‍ brakującej informacji.

Usuwanie‌ szumów

Poprawianie‍ jakości skanów.

Śledzenie

Wykrywanie‌ struktury i przekształcanie jej w formę spójnego modelu tkanki w 3D.

Interpretacja‌ skanów

Identyfikacja‌ rodzaju komórki

Identyfikowanie‌ rodzajów komórek.

Identyfikacja‍ synaps

Identyfikowanie‍ synaps i połączeń między nimi.

Estymacja‍ parametrów

Szacowanie‍ funkcjonalnie istotnych parametrów komórek, synaps i innych jednostek.

Baza‌ danych

Efektywne‍ przechowywanie uzyskanych wyników.

Komputerowy‌ model systemu neuronów

Model‌ matematyczny

Model‌ jednostek i ich zachowania.

Sprawna‌ implementacja

Implementacja‍ modelu.

Symulacja

Przechowywanie

Przechowywanie‍ pierwotnego modelu i obecnego stanu.

Przepustowość

Sprawna‌ komunikacja międzyprocesorowa.

Procesor

Moc‌ procesora pozwalająca na przeprowadzenie symulacji.

Symulacja‌ ciała

Symulacja‍ ciała umożliwiająca interakcję ze środowiskiem wirtualnym lub realnym za pomocą postaci robotycznej.

Symulacja‌ środowiska

Wirtualne‍ środowisko dla wirtualnego ciała.

Istnieją‍ solidne podstawy ku temu, by sądzić, że wymagane technologie umożliwiające osiągnięcie stawianych celów uda się opracować, choć nie w najbliższej przyszłości. Istnieją już rozsądne modele obliczeniowe wielu typów neuronów i sieci neuronalnych. Opracowano programy rozpoznawania obrazów, które potrafią wyśledzić aksony i dendryty w zbiorze dwuwymiarowych obrazów (choć należy jeszcze poprawić niezawodność tych programów). Są również narzędzia obrazowania, które oferują odpowiednią rozdzielczość — za pomocą skaningowego mikroskopu tunelowego możliwe jest „zobaczenie” poszczególnych atomów, co jest rozdzielczością znacznie wykraczającą poza nasze potrzeby. Chociaż jednak obecny stan wiedzy i możliwości sugeruje, że nie istnieje żadna zasadnicza bariera stojąca na drodze rozwoju wymaganych technologii, jest oczywiste, że musi dojść do ogromnego inkrementalnego postępu technicznego, by transfer umysłu znalazł się w zasięgu naszych możliwości[24]. Przykładowo‌ technologia mikroskopowa będzie wymagać nie tylko wystarczającej rozdzielczości, ale również wystarczającej przepustowości. Wykorzystanie skaningowego mikroskopu tunelowego o rozdzielczości atomowej w celu obrazowego przedstawienia potrzebnej powierzchni byłoby zdecydowanie zbyt wolne, by mogło się okazać przydatne w praktyce. Bardziej prawdopodobne wydaje się wykorzystanie mikroskopu elektronowego o niższej rozdzielczości, ale to z kolei wymagałoby nowych metod przygotowywania i barwienia kory mózgowej, by uwidocznić istotne szczegóły, takie jak drobne struktury synaptyczne. Konieczne będzie również ogromne rozszerzenie bibliotek neuroobliczeniowych i znaczące usprawnienia w zakresie zautomatyzowanego przetwarzania obrazów i interpretacji skanów.

Zasadniczo‌ w porównaniu ze scenariuszem sztucznej inteligencji transfer umysłu w mniejszym stopniu polega na teoretycznym zrozumieniu zagadnienia, a w większym na uzyskaniu odpowiedniego potencjału technicznego. To, jak zaawansowane technologie wymagane będą do stworzenia emulacji całego mózgu, zależy od poziomu abstrakcji, na którym mózg będzie emulowany. Pod tym względem mamy do czynienia z relacją wymienną między zrozumieniem a technologią. Ogólnie rzecz biorąc: im gorszym wyposażeniem do skanowania dysponujemy i im słabsze są nasze komputery, w tym mniejszym stopniu będziemy mogli polegać na symulacji zachodzących w mózgu niskopoziomowych procesów chemicznych i elektrofizjologicznych i tym większego zrozumienia na poziomie teoretycznym architektury obliczeniowej, którą staramy się zaemulować, będzie wymagać stworzenie bardziej abstrakcyjnych reprezentacji istotnych funkcjonalności[25]. I‌ odwrotnie, przy wystarczająco zaawansowanej technologii skanowania i dostępnej w obfitości mocy obliczeniowej może się okazać niewykluczone uzyskanie emulacji mózgu nawet przy stosunkowo ograniczonym jego zrozumieniu. W nierealistycznie ograniczającym przypadku możemy sobie wyobrazić emulację mózgu na poziomie jego cząstek elementarnych z wykorzystaniem równania kwantowego Schrödingera. Można by wówczas polegać całkowicie na istniejącej wiedzy fizycznej, obywając się bez jakiegokolwiek modelu biologicznego. Ten skrajny przypadek jednakże postawiłby całkowicie niespełnialne wymogi, jeśli chodzi o moc obliczeniową i pozyskiwanie danych. Znacznie bardziej prawdopodobnym poziomem emulacji byłby ten, który uwzględnia pojedyncze neurony i macierz ich połączeń wraz z pewnymi strukturami ich drzew dendrycznych i może pewnymi zmiennymi stanu pojedynczych synaps. Molekuły neurotransmitujące nie zostałyby zasymulowane pojedynczo, natomiast bardzo schematycznie zostałyby zasymulowane ich zmienne skupiska.

Aby‍ ocenić wykonalność emulacji całego mózgu, trzeba zrozumieć kryteria sukcesu. Celem nie jest stworzenie symulacji mózgu tak szczegółowej i dokładnej, by można było z jej wykorzystaniem precyzyjnie przewidzieć, co by się działo w stanowiącym pierwowzór mózgu, gdyby został poddany konkretnej sekwencji bodźców, lecz tak szczegółowe uchwycenie pełniących funkcje obliczeniowe własności mózgu, by umożliwić wynikowej emulacji wykonywanie zadań intelektualnych. Dla osiągnięcia tego celu większa część nieuporządkowanych szczegółów biologicznych prawdziwego mózgu jest nieistotna.

Bardziej‌ dogłębna analiza pozwoliłaby wyróżnić różne poziomy sukcesu emulacji na bazie stopnia, w jakim udało się zachować przetwarzającą informacje funkcjonalność emulowanego mózgu. Przykładowo można wyróżnić: (1) bardzo‌ wierną emulację, która ma pełen zestaw wiedzy, umiejętności, zdolności i wartości emulowanego mózgu; (2) zniekształconą‍ emulację, której skłonności pod niektórymi względami są zdecydowanie nieludzkie, ale która w dużej mierze zdolna jest do wykonywania tych samych zadań intelektualnych, co emulowany mózg; (3) emulację‍ generyczną (która również może być zniekształcona), przypominającą nieco dziecko, gdyż brakuje jej umiejętności lub wspomnień pozyskanych przez dorosły emulowany mózg, lecz ma zdolność uczenia się większości rzeczy, których potrafi się nauczyć normalny człowiek[26].

Choć‌ wyprodukowanie bardzo wiernej emulacji wydaje się ostatecznie wykonalne, można prawdopodobnie przypuszczać, że pierwsza emulacja‍ całego mózgu, którą uda nam się uzyskać, jeśli pójdziemy tą drogą, będzie należeć raczej do którejś z niższych kategorii. Zanim uda nam się uzyskać rezultaty perfekcyjne, musimy doprowadzić do uzyskania rezultatów nieperfekcyjnych. Możliwe również, że dążenie do rozwoju technologii emulacji doprowadzi do stworzenia pewnego rodzaju neuromorficznej SI, która zaadaptuje wybrane zasady neuroobliczeniowe odkryte podczas prac nad emulacją i połączy je z metodami syntetycznymi, i że zdarzy się to przed uzyskaniem w pełni funkcjonalnej emulacji całego mózgu. Prawdopodobieństwo takiego wpływu na neuromorficzną SI, jak zobaczymy w kolejnym rozdziale, komplikuje strategiczną ocenę pożądalności dążenia do przyspieszenia rozwoju technologii emulacji.

Jak‌ wiele dzieli nas obecnie od uzyskania emulacji całego ludzkiego mózgu? W jednej z ostatnio przedstawionych ocen zaprezentowano harmonogram przewidywanego postępu technicznego. Według jej autorów konieczny potencjał techniczny może zostać uzyskany mniej więcej w połowie wieku, choć poziom ufności tej prognozy jest stosunkowo niski[27]. Rysunek 5. przedstawia‍ główne kamienie milowe tego harmonogramu. Pozorna prostota tego schematu może być zwodnicza i powinniśmy uważać na to, by nie popełnić błędu niedoszacowania ilości pozostałej do wykonania pracy. Żadna emulacja mózgu jeszcze nie powstała. Rozważmy skromny organizm modelowy Caenorhabditis‍ elegans, przezroczystego nicienia długości mniej więcej 1 mm dysponującego 302 neuronami. Kompletna macierz połączeń pomiędzy tymi neuronami znana jest już od połowy lat 80., kiedy to została pracowicie zmapowana dzięki krojeniu na plasterki, mikroskopii elektronowej i ręcznemu oznaczaniu osobników[28]. Lecz‌ sama świadomość, które neurony łączą się z którymi, nie wystarcza. Do stworzenia emulacji mózgu potrzebna jest również wiedza, gdzie występują pobudzające, a gdzie hamujące potencjały postsynaptyczne, jaka jest siła połączeń, jakie są rozmaite dynamiczne własności aksonów, synaps i dendrytów. Ta informacja nie jest jeszcze dostępna nawet w odniesieniu do niewielkiego systemu nerwowego C.‍ elegans (choć obecnie jest być może w zasięgu któregoś z toczących się ukierunkowanych projektów badawczych umiarkowanej wielkości)[29]. Gdyby‌ udało nam się skopiować maleńki mózg, choćby taki, jak ten należący do C.‌ elegans, dałoby nam to lepsze wyobrażenie o tym, czego może wymagać emulacja większych mózgów.

Rysunek‌ 5. Harmonogram emulacji całego mózgu. Schemat danych wejściowych, działań i kamieni milowych[30]

Na‍ pewnym etapie rozwoju technicznego, kiedy już będą dostępne techniki zautomatyzowanej emulacji niewielkich ilości tkanki mózgowej, problem sprowadzi się do kwestii skali. Zwróćmy uwagę na drabinę po prawej stronie rysunku 5. Kolejne‌ szczeble ilustrują sekwencję postępów, które dokonają się po usunięciu z drogi początkowych przeszkód, obrazując emulacje mózgu stopniowo coraz bardziej neurologicznie skomplikowanych organizmów modelowych, na przykład: C.‌ elegans→pszczoła‍ miodna→mysz→rezus→małpa→człowiek. Ponieważ‍ odległości pomiędzy szczeblami — przynajmniej po pokonaniu kilku pierwszych — są z natury głównie ilościowe i wynikają w dużej mierze (choć nie całkowicie) z różnic w wielkości mózgów, które mają być imitowane, powinno być możliwe ich przeskoczenie dzięki stosunkowo prostemu powiększaniu potencjału technicznego w zakresie skanowania i symulacji[31].

Kiedy‌ już zaczniemy się piąć po tej końcowej drabinie, możliwość finalnego‍ uzyskania emulacji całego mózgu stanie się łatwiej dostrzegalna[32]. Możemy‌ się zatem spodziewać, że zostaniemy ostrzeżeni z wyprzedzeniem, zanim uda nam się rzeczywiście otrzymać sztuczną inteligencję dorównującą ludzkiej metodą emulacji całego mózgu — a w każdym razie wówczas, gdy ostatnią brakującą jeszcze technologią umożliwiającą osiągnięcie wystarczającej dojrzałości technicznej będzie albo wysoko wydajne skanowanie, albo moc obliczeniowa wymagana do przeprowadzenia symulacji w czasie rzeczywistym. Jeśli jednak ostatnią brakującą technologią będzie modelowanie neuroobliczeniowe, wówczas przejście od mało imponujących prototypów do działających emulacji ludzkiego mózgu może być bardziej gwałtowne. Można sobie wyobrazić scenariusz, w którym pomimo obfitości danych pochodzących ze skanowania i szybkich komputerów okazuje się trudne uzyskanie naszych prawidłowo działających modeli neuronalnych. Gdy w końcu ostatnia usterka zostanie usunięta, wówczas to, co wcześniej było systemem całkowicie dysfunkcyjnym — porównywalnym być może do nieprzytomnego umysłu człowieka przechodzącego udar — może przejść w stan pełnej i zbornej świadomości. W tym przypadku milowego kroku nie zapowie seria funkcjonujących emulacji zwierzęcych o coraz większej skali (prowokujących pojawianie się w gazetach nagłówków wytłuszczonych coraz większymi literami). Nawet osobom zwracającym uwagę na te zjawiska może być trudno przewidzieć zbliżający się sukces i określić, ile jeszcze w danym momencie pozostało błędów w modelach neuroobliczeniowych i ile czasu zajmie ich poprawienie — nawet w przededniu kluczowego przełomu. (Kiedy już uda nam się uzyskać emulację całego ludzkiego mózgu, dojdzie do kolejnych wydarzeń radykalnie zmieniających naszą sytuację; ich omówienie odłożymy jednak aż do rozdziału‍ 4.).

Nawet‌ więc jeśli wszystkie istotne prace badawcze będą prowadzone jawnie, można sobie wyobrazić scenariusz, w którym uzyskanie emulacji całego mózgu będzie zaskoczeniem. Niemniej jednak w porównaniu ze „sztuczną” ścieżką wiodącą do sztucznej inteligencji emulację całego mózgu będą prawdopodobnie poprzedzać czytelne sygnały, gdyż polega ona w większym stopniu na konkretnych, obserwowalnych technikach i nie opiera się całkowicie na analizie teoretycznej. Możemy również powiedzieć z większą pewnością niż w przypadku sztucznej ścieżki, że scenariusz emulacji nie zakończy się sukcesem w najbliższej przyszłości (w ciągu, powiedzmy, najbliższych piętnastu lat), ponieważ wiemy, że nie opracowano jeszcze kilku sprawiających znaczne problemy, a wymaganych w tym scenariuszu technologii. Wydaje się natomiast prawdopodobne, że zasadniczo ktoś‌ może usiąść i zakodować zalążkową sztuczną inteligencję na zwykłym współczesnym komputerze osobistym. Można sobie również wyobrazić — choć jest to mało prawdopodobne — że ktoś gdzieś znajdzie właściwe podejście do tego zagadnienia już w niedalekiej przyszłości.

Poznanie‌ biologiczne

Trzecią‌ ścieżką wiodącą ku inteligencji przewyższającej ludzką jest usprawnienie funkcjonowania mózgów biologicznych. Zasadniczo można to osiągnąć bez pomocy techniki poprzez krzyżowanie selektywne, ale wszelkie próby zainicjowania na szeroką skalę klasycznych programów eugenicznych napotkałyby duże przeszkody natury politycznej i moralnej. Co więcej, jeśli selekcja nie byłaby bardzo ścisła, uzyskanie znaczących rezultatów zajęłoby wiele pokoleń. Na długo przed tym, zanim tego rodzaju inicjatywa mogłaby przynieść jakiekolwiek owoce, postęp biotechnologii pozwoli na znacznie bardziej bezpośrednie sterowanie ludzką genetyką i neurobiologią, w wyniku czego programy hodowli ludzi staną się bezużyteczne. Skoncentrujemy się zatem na metodach pozwalających osiągnąć rezultaty potencjalnie szybsze, bo osiągalne w perspektywie kilku pokoleń.

Poziom‌ naszych indywidualnych zdolności poznawczych można podnieść na kilka sposobów, włączając w to tak tradycyjne metody, jak szkolenie i kształcenie. Rozwój neurologiczny można stymulować dzięki tak technicznie niewymagającym działaniom, jak: poprawa żywienia matki i dziecka, usunięcie z otoczenia ołowiu i innych zanieczyszczeń neurotoksycznych, wytępienie pasożytów, zapewnienie wystarczającej ilości snu i ćwiczeń fizycznych oraz zapobieganie chorobom uszkadzającym mózg[33]. Poprawę‍ zdolności poznawczych można z pewnością uzyskać za pomocą każdej z tych metod, chociaż skala korzyści będzie raczej umiarkowana, zwłaszcza w populacjach, które są już stosunkowo dobrze odżywiane i kształcone. Z pewnością żadna z tych metod nie pozwoli nam wspiąć się na poziom superinteligencji, ale mogą one odegrać rolę pomocniczą, zwłaszcza poprzez stwarzanie większych szans dzieciom ze środowisk upośledzonych społecznie oraz jednostkom szczególnie utalentowanym. (Utrzymujące się przez całe życie obniżenie inteligencji wynikające z niedoborów jodu pozostaje powszechnym problemem w wielu ubogich rejonach świata leżących w głębi lądu, co jest skandalem, biorąc pod uwagę, że można temu zapobiegać poprzez wzbogacanie soli kuchennej kosztem zaledwie kilku centów na osobę rocznie[34]).

Poprawki‍ biomedyczne mogą dać bardziej spektakularne wyniki. Istnieją już leki, które podobno poprawiają pamięć, koncentrację i dodają energii intelektualnej przynajmniej w kilku obszarach[35] (prace‍ nad tą książką postępowały szybciej dzięki kawie i nikotynowej gumie do żucia). Chociaż skuteczność współczesnych leków podwyższających inteligencję jest zróżnicowana, nieznaczna i generalnie wątpliwa, przyszłe nootropy mogą oferować wyraźniejsze korzyści i mniej efektów ubocznych[36]. Niemniej‍ jednak wydaje się możliwe, zarówno ze względów biologicznych, jak i ewolucyjnych, wywołanie radykalnego wzrostu inteligencji poprzez wprowadzenie do mózgu zdrowej osoby pewnych substancji chemicznych[37]. Funkcjonowanie‍ poznawcze ludzkiego mózgu zależy od precyzyjnego zestrojenia wielu czynników, zwłaszcza podczas decydujących faz rozwoju płodowego, i jest znacznie bardziej prawdopodobne, że udoskonalenie tej samoorganizującej się struktury wymaga jej starannego zrównoważenia, wyregulowania i pielęgnowania, a nie po prostu zalania jakąś obcą substancją.

Znacznie‌ potężniejszych narzędzi niż psychofarmakologia dostarczą nam manipulacje genetyczne. Rozważmy ponownie koncepcję selekcji genetycznej — zamiast podejmować próby wdrożenia programów eugenicznych poprzez kontrolowane krzyżowanie wybranych osobników, można dokonywać wyboru na poziomie embrionów lub gamet[38]. Poprzedzająca‌ implantację diagnoza genetyczna jest już wykorzystywana w procedurze zapłodnienia in‍ vitro w celu przesiewowej oceny wyprodukowanych embrionów pod kątem takich chorób wywołanych mutacją jednego genu jak pląsawica Huntingtona oraz predyspozycji do takich późno ujawniających się schorzeń jak rak piersi. Była również wykorzystywana w celu dokonania wyboru potomstwa ze względu na płeć oraz uzyskania antygenów zgodności tkankowej HLA pasujących do wzorca chorego dziecka, które po narodzinach brata lub siostry może skorzystać z komórek macierzystych pobranych z krwi pępowinowej[39]. W‍ ciągu następnych dziesięciu czy dwudziestu lat liczba cech, pod kątem których będzie można dokonać selekcji, znacząco się powiększy. Silnym bodźcem stymulującym postęp w obszarze genetyki behawioralnej jest szybko spadający koszt analizy próbek genotypowych i sekwencjonowania genów. Obejmująca cały genom analiza złożonych cech prowadzona z wykorzystaniem badań na dużej liczbie osobników dopiero niedawno znalazła się w zasięgu naszych możliwości, a w przyszłości ogromnie powiększy naszą znajomość architektury genetycznej ludzkich cech poznawczych i behawioralnych[40]. Każda‍ cecha w istotnym stopniu dziedziczna — włącznie z możliwościami poznawczymi — może się stać przedmiotem selekcji[41]. Wybór‍ embrionów nie wymaga dogłębnego zrozumienia związków przyczynowych rządzących złożonymi oddziaływaniami pomiędzy genotypem a środowiskiem, które w efekcie dają fenotyp — wymaga jedynie danych (w dużej ilości) na temat korelatów genetycznych interesujących nas cech.

Możliwe‍ jest oszacowanie z grubsza skali korzyści, które można uzyskać w różnych scenariuszach selekcji[42]. Tabela 5. pokazuje‌ oczekiwany przyrost inteligencji będący wynikiem rozmaitej skali selekcji przy założeniu dostępności pełnej informacji na temat powszechnie występujących wariancji genotypowych addytywnych leżących u podstaw wąsko rozumianej odziedziczalności inteligencji. (Przy informacji częściowej efektywność selekcji będzie ograniczona, choć nie całkiem do tego stopnia, którego można by się naiwnie spodziewać[43]). Nie‌ budzi zaskoczenia, że wybór spośród większej liczby embrionów daje w efekcie większe zyski, ale korzyści krańcowe szybko maleją — wybór spośród puli stu embrionów zdecydowanie nie pozwala osiągnąć korzyści pięćdziesięciokrotnie większych niż te otrzymywane przy wyborze dokonywanym spośród dwóch embrionów[44].

Tabela‌ 5. Maksymalny wzrost IQ będący wynikiem wyboru spośród puli embrionów[45]

Wybór

Uzyskane‌ punkty IQ

1‍ z 2

4,2

1‌ z 10

11,5

1‍ z 100

18,8

1‌ z 1000

24,3

Wybór‌ 1 z 10 w 5 pokoleniach

<‍ 65 (z powodu malejących przychodów)

Wybór‌ 1 z 10 w 10 pokoleniach

<‍ 130 (z powodu malejących przychodów)

Ograniczenia‌ skumulowanych zmian genetycznych (przy optymalizacji pod kątem funkcji poznawczych)

100‍ + (< 300 [z powodu malejących przychodów])

Co‌ ciekawe, spadek korzyści udaje się w znacznym stopniu ograniczyć, gdy selekcja rozciągnięta zostaje na kolejne pokolenia. A zatem powtarzanie wyboru najlepszego osobnika w kolejnych dziesięciu pokoleniach (gdzie każde nowe pokolenie składa się z potomków osobników wybranych z poprzedniego pokolenia) da w efekcie znacznie większy wzrost wartości danej cechy niż jednokrotny wybór jednego osobnika spośród setki. Problem z selekcją sekwencyjną polega oczywiście na tym, że trwa ona dłużej. Jeśli każde pokolenie obejmuje dwadzieścia do trzydziestu lat, to zanim minie choćby pięć kolejnych pokoleń, my wejdziemy już na dobre w XXII wiek. Na długo przed tym będą najprawdopodobniej dostępne bardziej bezpośrednie i potężniejsze narzędzia inżynierii genetycznej (nie wspominając o sztucznej inteligencji).

Istnieje‌ jednakże technika komplementarna, która — kiedy już zostanie opracowana w postaci nadającej się do zastosowania na ludziach — znacznie zwiększy możliwości wprowadzania udoskonaleń metodą preimplantacyjnej selekcji genetycznej: chodzi mianowicie o pozyskiwanie zdolnych do rozmnażania się plemników i jajeczek z embrionalnych komórek macierzystych[46]. Techniki‌ tego rodzaju były już wykorzystywane do uzyskiwania płodnego potomstwa myszy oraz gametopodobnych komórek ludzkich. Nauka nadal jednak nie radzi sobie z przeniesieniem na ludzi wyników uzyskiwanych na zwierzętach oraz z unikaniem nieprawidłowości epigenetycznych w pozyskanych liniach komórek macierzystych. Według jednego z ekspertów te przeszkody mogą odsunąć zastosowanie tych technik w przypadku człowieka „od dziesięciu do nawet pięćdziesięciu lat w przyszłość”[47].

Jeśli‍ chodzi o gamety pozyskiwane z komórek macierzystych, dostępny danej parze potencjał udoskonaleń wynikających z wyboru tego a nie innego embrionu może wzrosnąć. Współczesne procedury zapłodnienia in‌ vitro wiążą się zazwyczaj ze stworzeniem mniej niż dziesięciu embrionów. W przypadku gamet uzyskiwanych z komórek macierzystych kilka przekazanych komórek można przekształcić w dosłownie nieograniczoną liczbę gamet — te mogą zostać połączone w celu uzyskania embrionów, które następnie mogą zostać poddane analizie genetycznej lub sekwencjonowane, by najbardziej obiecujący spośród nich został wybrany do implantacji. Zależnie od kosztu przygotowania i analizy każdego z embrionów ta technika może przynieść wielokrotny wzrost możliwości doskonalenia embionu dostępnych parom korzystającym z zapłodnienia in‍ vitro.

Co‌ jeszcze istotniejsze, gamety uzyskiwane z komórek macierzystych umożliwią skompresowanie kilkupokoleniowej selekcji do okresu nie dłuższego niż okres dojrzewania człowieka, umożliwiając iteracyjną‌ selekcję embrionów. Jest to procedura składająca się z następujących etapów[48]:

1. analiza‌ genomu i wybór pewnej liczby embrionów wykazujących największe natężenie pożądanych cech genetycznych;

2. pobranie‍ komórek macierzystych z tych embrionów i przekształcenie ich w plemniki i jajeczka, które dojrzeją w ciągu sześciu miesięcy lub szybciej[49];

3. zapłodnienie‌ nowych jajeczek nowymi plemnikami w celu uzyskania embrionów;

4. powtarzanie‍ procedury aż do uzyskania dużych skumulowanych zmian genetycznych.

W‍ ten sposób możliwe będzie uzyskanie w ciągu zaledwie kilku lat zmian, które w innym przypadku dałoby się uzyskać w czasie istnienia dziesięciu lub więcej pokoleń. (Procedura byłaby kosztowna i czasochłonna, jednakże z zasady wystarczyłoby jej jednokrotne przeprowadzenie, bez konieczności powtarzania przy każdych planowanych narodzinach. Linie komórkowe uzyskane po zakończeniu procedury mogłyby zostać wykorzystane do wygenerowania bardzo dużej liczby udoskonalonych embrionów).

Jak‍ pokazano w tabeli 5., średni poziom‌ inteligencji poczętych w ten sposób osobników mógłby być bardzo wysoki — być może równy poziomowi charakteryzującemu najinteligentniejszego człowieka w historii ludzkości lub nieco wyższy niż on. Świat zamieszkany przez dużą populację takich osobników (o ile wykształciłaby adekwatną kulturę, system kształcenia, infrastrukturę komunikacyjną i tak dalej) stanowiłby zbiorową superinteligencję.

Wpływ‌ tej techniki ulegnie stłumieniu i opóźnieniu w wyniku działania kilku czynników. Po pierwsze, nie da się uniknąć opóźnienia związanego z dojrzewaniem wybranych ostatecznie embrionów, które jest koniecznym etapem na drodze do dorosłości — minie co najmniej dwadzieścia lat, zanim udoskonalone dziecko osiągnie pełną produktywność, a jeszcze więcej czasu potrzeba, by takie dzieci stały się znaczącą częścią siły roboczej. Po drugie, nawet po dopracowaniu tej techniki skala jej upowszechnienia będzie początkowo raczej niska. Niektóre kraje mogą całkowicie zakazać jej stosowania ze względów moralnych lub religijnych[50]. Nawet‍ gdy selekcja będzie legalna, wiele par nadal preferować będzie naturalne poczęcie. Chęć stosowania zapłodnienia in‍ vitro zwiększyłaby się, gdyby wyraźniejsze były korzyści związane ze stosowaniem tej procedury — takie jak rzeczywista gwarancja, że dziecko będzie bardzo utalentowane i wolne od genetycznej skłonności do danych chorób. Za selekcją genetyczną przemawiałyby również niższe koszty opieki zdrowotnej i wyższa przewidywana długość życia. Kiedy zastosowanie tej procedury zacznie się upowszechniać, zwłaszcza wśród elit społecznych, może dojść do zmiany postaw i standardów rodzicielstwa, w wyniku czego selekcja genetyczna zacznie być prezentowana jako opcja wybierana przez oświeconych, odpowiedzialnych rodziców. Wiele osób nastawionych początkowo niechętnie może zmienić zapatrywania, aby mieć dziecko, które nie odstaje od udoskonalonych dzieci ich przyjaciół czy współpracowników. Niektóre kraje mogą zaoferować dodatkowe bodźce, by zachęcić swoich obywateli do korzystania z selekcji genetycznej z myślą o zwiększeniu krajowych zasobów kapitału ludzkiego albo zwiększeniu długookresowej stabilności społecznej poprzez wybór takich cech, jak: potulność, posłuszeństwo, uległość, konformizm, brak skłonności do ryzyka lub tchórzostwo, pod warunkiem, że nie będzie chodzić o osobniki należące do rodu panującego.

Wpływ‌ na możliwości intelektualne będzie również zależał od skali dokonywania selekcji pod kątem poprawy zdolności poznawczych (tabela 6.). Ci,‌ którzy zdecydują się na zastosowanie pewnej formy wyboru embrionów, będą musieli się opowiedzieć za konkretną alokacją potencjału selekcyjnego będącego do ich dyspozycji, a inteligencja do pewnego stopnia będzie konkurować z innymi pożądanymi cechami, takimi jak: zdrowie, uroda, osobowość czy zamiłowanie do sportu. Iteracyjna selekcja embrionów, oferując człowiekowi tak ogromne możliwości selekcji, złagodzi niektóre z tych wyborów typu „albo albo”, umożliwiając jednoczesną ścisłą selekcję pod kątem wielu cech. Ta procedura będzie jednak zakłócać normalne relacje genetyczne pomiędzy rodzicami a dziećmi, co w wielu kulturach może zmniejszać na nią popyt[51].

Przy‌ dalszych postępach techniki genetycznej może się stać możliwe syntetyzowanie genomów na zamówienie, co wyeliminuje konieczność uzyskiwania dużej puli embrionów. Synteza DNA jest już techniką rutynową i w dużym stopniu zautomatyzowaną, choć nie udaje się jeszcze synteza całego ludzkiego genomu, który mógłby zostać wykorzystany w kontekście reprodukcyjnym (przynajmniej z powodu nadal nierozwiązanych problemów z uzyskaniem właściwej epigenetyki)[52]. Kiedy‌ jednak ta technologia dojrzeje, można będzie zaprojektować embrion mający ściśle zamówioną kombinację genetyczną od każdego z rodziców. Geny obecne u któregokolwiek z rodziców będzie można ze sobą połączyć, włącznie z allelami rzadko występującymi w populacji, lecz mogącymi mieć znaczący pozytywny wpływ na zdolności poznawcze[53].

Jedną‌ z interwencji, która znajdzie się w zasięgu naszych możliwości, gdy ludzkie genomy zaczną być syntetyzowane, jest genetyczne „sprawdzanie pisowni” embrionu. (Iteracyjna selekcja embrionów również może pozwalać na jego przybliżenie). Każdy z nas nosi obecnie w sobie ładunek mutacji zawierający prawdopodobnie setki mutacji ograniczających efektywność rozmaitych procesów komórkowych[54]. Każda‌ pojedyncza mutacja ma niemal pomijalny wpływ na funkcjonowanie całego organizmu (i w związku z tym jest bardzo powoli usuwana z puli genów), lecz łączny wpływ tego rodzaju mutacji może się odbijać na naszym funkcjonowaniu bardzo niekorzystnie[55].

Tabela‌ 6. Możliwy wpływ selekcji genetycznej w rozmaitych scenariuszach[56]

Technika‌ i jej upowszechnienie

„IVF+”Wybór‍ 1 z 2 embrionów

[4‌ punkty]

„Agresywne‌ IVF”Wybór 1 z 10 embrionów

[12‌ punktów]

„Jajo‌ in vitro”Wybór 1 ze 100 embrionów

[19‌ punktów]

„Iteracyjna‍ selekcja embrionów”

[100+‌ punktów]

„Marginalna‍ metoda zapłodnienia”

Upowszechnienie‍ ~0,25%.

Społecznie‍ nieistotny w ciągu jednego pokolenia. Skutki społecznych kontrowersji istotniejsze niż wpływ bezpośredni.

Społecznie‍ nieistotny na przestrzeni jednego pokolenia. Skutki społecznych kontrowersji istotniejsze niż wpływ bezpośredni.

Udoskonalona‌ populacja tworzy dostrzegalną mniejszość na stanowiskach, które wymagają znaczących zdolności poznawczych.

Wybrańcy‍ zyskują dominację liczebną w szeregach najwybitniejszych naukowców, prawników, lekarzy i inżynierów. Renesans intelektu?

„Przewaga‌ elity”

Upowszechnienie‍ 10% .

Lekki‌ wpływ poznawczy w pierwszym pokoleniu połączony z selekcją pod kątem cech niepoznawczych, co daje mniejszości zauważalną przewagę.

Udoskonalona‍ duża część studentów Harvardu. Drugie pokolenie zyskuje dominację liczebną w zawodach wymagających wysokiego potencjału intelektualnego.

Wybrańcy‍ zyskują dominację w szeregach naukowców, prawników i inżynierów w pierwszym pokoleniu.

„Postludzkość”[57].

„Nowa‌ norma”

Upowszechnienie‍ >90%.

Trudności z uczeniem się zaczynają występować znacznie rzadziej. W drugim pokoleniu następuje co najmniej podwojenie populacji przekraczającej próg wysokiego IQ.

Znaczący wzrost osiągnięć edukacyjnych i przychodu. W drugim pokoleniu następuje wielokrotny wzrost liczby tych, którzy znajdują się po prawej stronie krzywej rozkładu normalnego.

IQ typowe dla najwybitniejszych naukowców odnotowywane 10 razy częściej niż w pierwszym pokoleniu. W drugim pokoleniu pojawia się tysiące razy częściej.

„Postludzkość”.

Jednostkowe różnice pod względem inteligencji mogą w znaczącym stopniu zostać przypisane zmienności liczby i charakteru takich lekko szkodliwych alleli, które nosi w sobie każdy z nas. Przy syntezie genu możemy wziąć genom embrionu i skonstruować taką jego wersję, która jest wolna od genetycznego szumu zakumulowanych mutacji. Gdybyśmy chcieli użyć nieco prowokacyjnego języka, moglibyśmy powiedzieć, że osobniki stworzone z takich skorygowanych genomów byłyby „bardziej ludzkie” niż jacykolwiek współcześnie żyjący ludzie, ponieważ byłyby one mniej zniekształconymi wcieleniami gatunku ludzkiego. Tacy ludzie nie byliby identyczni, ponieważ ludzie różnią się genetycznie na wiele sposobów — nie tylko ze względu na posiadanie odmiennych szkodliwych mutacji. Ale fenotypowa manifestacja skorygowanego genomu mogłaby zaowocować wyjątkową konstytucją fizyczną i umysłową oraz poprawą funkcjonowania w wielu wymiarach, takich jak: inteligencja, zdrowie, krzepkość fizyczna i wygląd[58]. (Można byłoby zbudować luźną analogię do zdjęć kombinowanych, w których wady nakładanych obrazów twarzy są uśredniane — patrz: rysunek 6.).

Rysunek 6. Zdjęcia kombinowane jako metafora skorygowanego genomu. Oba środkowe wizerunki zostały stworzone przez nakładanie na siebie zdjęć szesnastu różnych osób (mieszkańców Tel Awiwu). Złożone w ten sposób twarze są często oceniane jako ładniejsze od twarzy którejkolwiek z osób, z których zostały złożone, ponieważ specyficzne dla nich niedoskonałości zostały uśrednione. Na analogicznej zasadzie skorygowane genomy dzięki usunięciu indywidualnych mutacji mogą dać w efekcie ludzi bliższych „platonicznym ideałom”. Tacy ludzie nie byliby genetycznie identyczni, ponieważ wiele genów występuje w wielu allelach o takiej samej funkcjonalności; korekta wyeliminowałaby jedynie rozbieżności wynikające ze szkodliwych mutacji[59]

Istotne mogą się również okazać inne możliwe techniki z zakresu biotechnologii. Kiedy już uda nam się doprowadzić do reprodukcyjnego klonowania ludzi, będziemy mogli je wykorzystać do zwielokrotnienia genomu jednostek wyjątkowo utalentowanych. Możliwe do uzyskania korzyści byłyby ograniczone preferencjami większości przyszłych rodziców dążących do biologicznego pokrewieństwa z własnymi dziećmi, lecz mimo to praktyka ta mogłaby wywrzeć niepomijalny wpływ na rzeczywistość, gdyż: (1) nawet stosunkowo nieduże zwiększenie liczby wyjątkowo utalentowanych ludzi mogłoby spowodować znaczącą zmianę; (2) możliwe, że niektóre państwa zdecydowałyby się na zainicjowanie programów eugenicznych na szeroką skalę, być może płacąc za rodzenie dzieci surogatkom. Inne rodzaje inżynierii genetycznej — takie jak projektowanie innowacyjnych syntetycznych genów lub wprowadzenie do genomu regionów promotorowych i innych elementów sterujących ekspresją genów — mogą również zyskać z czasem na znaczeniu. Mogą nawet istnieć bardziej egzotyczne możliwości, takie jak kadzie hodowanej tkanki korowej o skomplikowanej strukturze albo też „poprawione” zwierzęta transgeniczne (może jakieś ssaki o wielkich mózgach, takie jak wieloryby albo słonie, wzbogacone ludzkimi genami). Te dwie ostatnie możliwości są czysto hipotetyczne, ale w dłuższej perspektywie czasowej nie można ich prawdopodobnie całkowicie odrzucić.

Dotychczas omawialiśmy interwencje dokonywane na poziomie embrionu lub gamety. Somatyczne doskonalenie genów, pomijające cykle pokoleniowe, może z zasady pozwolić na osiągnięcie szybszych wyników. Technologicznie jest ono jednak znacznie bardziej skomplikowane. Wymaga, by zmodyfikowane geny zostały wprowadzone do dużej liczby komórek żyjącego organizmu — w przypadku doskonalenia zdolności poznawczych: włącznie z mózgiem. Natomiast wybór spośród istniejących jajeczek lub embrionów nie wymaga wprowadzania genów. Nawet takie terapie genowe, które się wiążą z modyfikacją genomu (takie jak korekta genomu czy sklejanie rzadkich alleli), są znacznie łatwiejsze do wdrożenia na poziomie gamety lub embrionu, gdy ma się do czynienia z niewielką liczbą komórek. Ponadto interwencje dokonywane na embrionach mogą doprowadzić do osiągnięcia prawdopodobnie bardziej znaczących rezultatów niż interwencje somatyczne dokonywane na dorosłych ludziach, ponieważ w tym pierwszym przypadku możliwe byłoby ukształtowanie mózgu na wczesnym etapie rozwoju, podczas gdy w drugim można już tylko nieco podregulować istniejącą strukturę (niektóre efekty somatycznej terapii genowej można również uzyskać za pomocą farmaceutyków).

Koncentrując się zatem na interwencjach na poziomie embrionu, musimy wziąć pod uwagę generalne opóźnienie odwlekające w czasie wszelki większy wpływ na świat[60]. Nawet gdyby wspomniane techniki zostały doprowadzone do perfekcji już dziś i natychmiast weszły do użytku, minęłoby co najmniej dwadzieścia lat, zanim genetycznie udoskonalone potomstwo osiągnęłoby dojrzałość. Co więcej, w przypadku zastosowań na ludziach istnieje zazwyczaj opóźnienie przynajmniej dziesięcioletnie pomiędzy dowiedzeniem skuteczności danej procedury w warunkach laboratoryjnych a jej wdrożeniem w praktyce klinicznej ze względu na konieczność przeprowadzenia szeroko zakrojonych badań gwarantujących bezpieczeństwo proponowanego rozwiązania. Jednakże najprostsze formy selekcji genetycznej mogą w dużej mierze uniknąć konieczności przeprowadzania takich testów, gdyż wykorzystują standardowe techniki leczenia niepłodności oraz informację genetyczną pozwalającą dokonać wyboru pomiędzy embrionami, który w innym przypadku zostałby dokonany losowo.

Opóźnienia mogą być również efektem przeszkód wynikających nie tyle ze strachu przed porażką (żądanie przeprowadzenia testów bezpieczeństwa), ile z obawy przed odniesieniem sukcesu (żądanie wprowadzenia regulacji, u którego źródeł leżą obawy o moralną dopuszczalność selekcji genetycznej oraz jej szersze implikacje społeczne). Tego rodzaju obawy w niektórych krajach będą miały prawdopodobnie większe znaczenie niż w innych ze względu na różnice kulturowe i historyczne oraz kontekst religijny. Powojenne Niemcy, dla przykładu, postanowiły trzymać się z dala od jakichkolwiek praktyk reprodukcyjnych, które mogłyby zostać uznane za najlżejszą choćby próbę udoskonalenia człowieka, co ostatecznie jest zrozumiałe, biorąc pod uwagę szczególnie mroczną historię potworności związanych z ruchem eugenicznym w tym kraju. Inne kraje zachodnie przyjmą prawdopodobnie podejście bardziej liberalne, a niektóre kraje — być może Chiny lub Singapur, które już dawno temu wprowadziły politykę regulacji przyrostu naturalnego — mogą nie tylko zezwolić na selekcję genetyczną i inżynierię genetyczną mającą na celu podniesienie poziomu inteligencji całej populacji, ale i aktywnie ją promować, kiedy już stanie się dostępna odpowiednia technologia.

Kiedy już ktoś zdecyduje się zrobić pierwszy krok i osiągnie widoczne rezultaty, sceptycy otrzymają silny bodziec, by pójść za jego przykładem. Kraje staną wobec perspektywy wylądowania w poznawczym zaścianku i przegrania walki o gospodarczy, naukowy, militarny i prestiżowy prymat z konkurentami, którzy zdecydują się wykorzystać nowe techniki doskonalenia człowieka. Obywatele dostrzegą, jak na ich oczach miejsca na elitarnych uczelniach zajmowane są przez dzieci genetycznie wyselekcjonowane (które mogą być również przeciętnie ładniejsze, zdrowsze i sumienniejsze) i zapragną tych samych korzyści dla własnego potomstwa. Istnieje pewne prawdopodobieństwo, że w stosunkowo krótkim czasie, być może w ciągu zaledwie dekady, dojdzie do znaczącej zmiany postaw po tym, jak już twórcom tej techniki uda się dowieść, że ona nie tylko działa, ale też przynosi wyraźne korzyści. Badania opinii publicznej w Stanach Zjednoczonych ujawniły radykalną zmianę, jeśli chodzi o społeczne poparcie dla zapłodnienia in vitro, po narodzinach w 1978 roku pierwszego „dziecka z próbówki”, Louise Brown. Kilka lat wcześniej zaledwie 18% Amerykanów twierdziło, że osobiście zdecydowałoby się na skorzystanie z możliwości zapłodnienia pozaustrojowego w leczeniu niepłodności. Tymczasem w badaniu przeprowadzonym wkrótce po narodzinach Louise Brown już 53% ankietowanych zadeklarowało, że zdecydowałoby się na zapłodnienie in vitro i ta liczba cały czas rośnie[61]. (Dla porównania: w badaniu przeprowadzonym w 2004 roku 28% Amerykanów opowiadało się za selekcją embrionów pod kątem „siły lub inteligencji”, 58% popierało selekcję pod kątem chorób nowotworowych ujawniających się u osób dorosłych, a 68% aprobowało selekcję mającą na celu uniknięcie śmiertelnych chorób dziecięcych[62]).

Jeśli dodamy do siebie rozmaite opóźnienia — powiedzmy pięć do dziesięciu lat, by zgromadzić informacje potrzebne do wyraźnie efektywnej selekcji spośród puli embrionów pochodzących z zapłodnienia in vitro (prawdopodobnie o wiele dłużej, zanim gamety pochodzące z komórek macierzystych będą mogły zostać wykorzystane w reprodukcji gatunku ludzkiego), dziesięć lat, które pozwolą na kumulację znaczących korzyści, oraz dwadzieścia do dwudziestu pięciu lat, by udoskonalone pokolenie osiągnęło wiek produktywny — to stwierdzimy, że w pierwszej połowie obecnego stulecia udoskonalenia wprowadzane na etapie embrionalnym prawdopodobnie nie będą miały odczuwalnego wpływu na społeczeństwo. Jednak od połowy wieku inteligencja dużych segmentów populacji ludzi dorosłych może zacząć szybko rosnąć w wyniku poprawek genetycznych. Tempo wzrostu następnie wyraźnie przyspieszy, w miarę jak grupy poczęte z wykorzystaniem potężniejszych technik genetycznych następnej generacji (zwłaszcza gamet uzyskiwanych z komórek macierzystych oraz iteracyjnej selekcji embrionów) będą wchodzić na rynek pracy.

Przy pełnym rozwoju technik genetycznych opisanych powyżej (odkładając na razie na bok bardziej egzotyczne możliwości takie jak inteligencja powstająca w hodowlach tkanek nerwowych) może się pojawić możliwość podniesienia średniej inteligencji nowych osobników do poziomu przekraczającego inteligencję wszystkich żyjących do tej pory ludzi, a w wybranych przypadkach poziom inteligencji może być jeszcze wyższy. Możliwości poprawek biologicznych są zatem w ostatecznym rozrachunku bardzo wysokie i wystarczą prawdopodobnie do osiągnięcia przynajmniej słabszych form superinteligencji. To nie powinno budzić zaskoczenia. W końcu głupie procesy ewolucyjne radykalnie zwiększyły inteligencję ludzkości nawet w porównaniu z naszymi bliskimi krewniakami, małpami człekokształtnymi, i przodkami rodzaju ludzkiego. Nie ma żadnego powodu, by sądzić, że Homo sapiens zdobył już szczyt możliwości poznawczych osiągalnych w systemie biologicznym. Zdecydowanie nie jesteśmy najinteligentniejszym możliwym gatunkiem biologicznym i prawdopodobnie lepiej jest uznać nas za najgłupszy możliwy gatunek biologiczny zdolny do wytworzenia cywilizacji technicznej. Jest to nisza, która wypełniliśmy dlatego, że pojawiliśmy się w niej jako pierwsi, a nie dlatego, że pod jakimkolwiek względem jesteśmy do tego najlepiej przystosowani.

Postęp na drodze biologicznej jest zdecydowanie możliwy. Opóźnienie pokoleniowe w przypadku interwencji dokonywanych na etapie embrionalnym oznacza, że postęp nie może być choćby w części tak nagły i raptowny jak w scenariuszach obejmujących sztuczną inteligencję (somatyczne terapie genowe i interwencje farmaceutyczne mogłyby teoretycznie pozwolić na przeskoczenie opóźnienia pokoleniowego, ale wydaje się, że doprowadzenie ich do perfekcji jest trudniejsze i niższe jest prawdopodobieństwo osiągnięcia z ich pomocą spektakularnych rezultatów). Ostateczny potencjał sztucznej inteligencji jest oczywiście znacznie większy niż potencjał inteligencji organicznej (można zyskać pewne wyobrażenie skali tej przepaści, rozważając różnicę prędkości przewodzenia komponentów elektronicznych i komórek nerwowych — nawet współczesne tranzystory przesyłają sygnały dziesiątki milionów razy szybciej niż biologiczne neurony). Jednakże nawet stosunkowo umiarkowana poprawa biologicznych zdolności poznawczych może mieć istotne konsekwencje, w szczególności jeśli chodzi o przyspieszenie rozwoju nauki i techniki, włącznie z postępem zmierzającym ku potężniejszym formom spotęgowania inteligencji biologicznej i maszynowej. Zastanówmy się, jak zmieniłoby się światowe tempo postępów dokonywanych w dziedzinie sztucznej inteligencji, gdyby przeciętny Kowalski dysponował potencjałem intelektualnym Alana Turinga albo Johna von Neumanna i gdyby miliony ludzi górowały nad wszystkimi gigantami umysłu z przeszłości[63].

Dyskusja nad strategicznymi implikacjami doskonalenia zdolności poznawczych będzie musiała poczekać do kolejnego rozdziału. Możemy jednak podsumować tę część, zapisując trzy wnioski: (1) przynajmniej słabe formy superinteligencji są osiągalne metodami udoskonaleń biotechnologicznych; (2) prawdopodobieństwo powstania poznawczo udoskonalonych ludzi zwiększa prawdopodobieństwo powstania zaawansowanych form sztucznej inteligencji — ponieważ nawet jeśli my zasadniczo nie będziemy w stanie stworzyć sztucznej inteligencji (a nie ma powodów, by tak przypuszczać), sztuczna inteligencja może być w zasięgu możliwości ludzi o zwiększonych zdolnościach poznawczych; (3) kiedy rozważymy scenariusze wybiegające znacząco w drugą połowę obecnego wieku i jeszcze dalej, musimy wziąć pod uwagę prawdopodobne pojawienie się pokolenia genetycznie zmodyfikowanych populacji — wyborców, wynalazców, naukowców — w przypadku których skala zmian będzie raptownie wzrastać w kolejnych dekadach.

Interfejsy mózg – komputer

Sugeruje się czasami, że bezpośrednie interfejsy mózg – komputer, zwłaszcza implanty, mogłyby umożliwić ludziom wykorzystanie silnych stron cyfrowych systemów obliczeniowych — perfekcyjnej pamięci, szybkiego i precyzyjnego wykonywania obliczeń arytmetycznych oraz szerokopasmowej transmisji danych — sprawiając, że powstałe systemy hybrydowe zdecydowanie prześcigną nierozszerzony mózg[64]. Lecz chociaż dowiedziono już możliwości bezpośredniego połączenia ludzkiego mózgu z komputerem, wydaje się mało prawdopodobne, by w najbliższej perspektywie czasowej tego rodzaju interfejsy się upowszechniły[65].

Zacznijmy od tego, że implantacji elektrod w mózgu towarzyszy znaczące ryzyko komplikacji medycznych, obejmujące infekcje, przesuwanie się elektrod, krwotoki i obniżenie zdolności poznawczych. Być może najbardziej dotychczas wyrazistą ilustracją korzyści, które można uzyskać dzięki stymulacji mózgu, jest leczenie pacjentów z chorobą Parkinsona. Implant Parkinsona jest stosunkowo prosty: nie komunikuje się tak naprawdę z mózgiem, lecz po prostu drażni stymulującym prądem elektrycznym jądro niskowzgórzowe. Poglądowe nagranie wideo prezentuje pacjenta siedzącego bezwładnie na krześle, kompletnie unieruchomionego chorobą, który nagle, po włączeniu prądu, podrywa się żwawo: porusza ramionami, wstaje, chodzi po pokoju, obraca się i wykonuje piruet. A jednak nawet ta szczególnie prosta i niemal cudownie skuteczna procedura pociąga za sobą negatywne efekty uboczne. Jedno z badań przeprowadzonych na pacjentach z chorobą Parkinsona, którym wszczepiono implanty głęboko do mózgu, wykazało u nich ograniczenie płynności językowej, kłopoty z koncentracją i nazywaniem kolorów oraz ograniczenie pamięci werbalnej w porównaniu z grupą kontrolną. Leczeni w ten sposób pacjenci skarżyli się również częściej na trudności poznawcze[66]. Tego rodzaju ryzyko i efekty uboczne mogą być akceptowalne, jeśli procedura wykorzystywana jest do złagodzenia objawów poważnych chorób. Gdyby jednak zdrowi pacjenci mieli się poddać z własnej woli zabiegom neurochirurgicznym, musieliby mieć pewność, że mogą zyskać w ten sposób jakąś niezwykle znaczącą poprawę w stosunku do normalnego funkcjonowania.

Doszliśmy w ten sposób do drugiej przyczyny, dla której należy wątpić, czy superinteligencję uda się osiągnąć za pomocą cyborgizacji. Chodzi mianowicie o to, że doskonalenie okaże się prawdopodobnie znacznie trudniejsze niż leczenie. Pacjenci dotknięci paraliżem mogą skorzystać na wszczepieniu implantów zastępujących uszkodzone nerwy lub aktywujących generatory wzorców ruchu rdzenia kręgowego[67]. Pacjenci głusi lub ślepi mogą skorzystać na sztucznych ślimakach i siatkówkach[68]. Pacjenci z chorobą Parkinsona lub cierpiący na przewlekły ból mogą skorzystać na stymulacji głębokich struktur mózgu, która podrażnia lub hamuje aktywność w konkretnym jego obszarze[69]. Znacznie trudniejsze wydaje się uzyskanie szerokopasmowej, bezpośredniej interakcji pomiędzy mózgiem a komputerem, która mogłaby doprowadzić do znaczącego podniesienia poziomu inteligencji w takiej postaci, której nie udałoby się uzyskać szybciej innymi metodami. Większość potencjalnych korzyści płynących z wszczepienia implantów mózgowych zdrowym pacjentom da się uzyskać w sposób znacznie mniej ryzykowny, tańszy i wygodniejszy, wykorzystując nasze normalne narządy ruchu i zmysłów do współpracy z komputerem znajdującym się poza granicami naszego ciała. Nie musimy sobie podłączać światłowodu do mózgu, by uzyskać dostęp do internetu. Ludzka siatkówka nie tylko potrafi przesyłać dane z imponującą prędkością prawie 10 milionów bitów na sekundę, ale otrzymujemy ją już wyposażoną na starcie w ogromną ilość przeznaczonego specjalnie dla niej „mokrego oprogramowania” — korę wzrokową, która jest w wysokim stopniu przystosowana do wydobywania znaczeń z potoku informacji i współpracy z innymi obszarami mózgu w celu dalszego przetwarzania danych[70]. Nawet gdyby istniał łatwy sposób przepompowania większej ilości informacji do naszych mózgów, dodatkowy napływ danych w niewielkim stopniu przyczyniłby się do zwiększenia tempa naszego myślenia i uczenia się, o ile analogicznie nie zostałaby udoskonalona cała neuronowa maszyneria konieczna do zrozumienia danych. A ponieważ obejmuje to prawie cały mózg, konieczna byłaby tak naprawdę „proteza całego mózgu” — co jest tylko inną nazwą sztucznej inteligencji ogólnej. Jednak gdyby jakiś byt cechował się inteligencją dorównującą ludzkiej, mógłby się obyć bez zabiegów neurochirurgicznych: komputer mógłby mieć równie dobrze obudowę metalową, jak kostną. A zatem ta ograniczająca obudowa prowadzi nas na powrót na drogę sztucznej inteligencji, którą już wcześniej przeanalizowaliśmy.

Interfejs mózg-komputer proponowany był również jako metoda pozyskania informacji z mózgu w celu komunikacji z innymi mózgami lub maszynami[71]. Takie „połączenia wysyłające dane” pomagały pacjentom z syndromem zamknięcia komunikować się ze światem zewnętrznym, umożliwiając im przesuwanie myślą kursora widocznego na ekranie komputera[72]. Przepustowość uzyskiwana w takich eksperymentach jest niska: pacjent powoli i pracowicie pisze jedną literę po drugiej, osiągając tempo kilku słów na minutę. Można sobie z łatwością wyobrazić udoskonaloną wersję tej techniki — być może implant następnej generacji można byłoby wszczepić w ośrodek Broca (obszar płata czołowego odpowiedzialny za generowanie mowy) i odczytać monolog wewnętrzny[73]. O ile jednak taka technologia może pomóc niektórym ludziom, których choroby wywołane zostały udarem lub zanikiem mięśni, o tyle zdrowym pacjentom nie wydawałaby się szczególnie atrakcyjna. Oferowana przez nią funkcjonalność sprowadza się zasadniczo do funkcjonalności mikrofonu połączonego z programem rozpoznawania mowy, które to rozwiązanie jest już dostępne komercyjnie — jeśli odjąć ból, niewygodę, wysoki koszt i ryzyko związane z zabiegiem neurochirurgicznym (oraz przynajmniej cześć orwellowskich podtekstów wewnątrzczaszkowego urządzenia podsłuchowego). Powstrzymanie się od instalowania maszyn w naszych ciałach znacznie również ułatwia ich rozbudowę i upgrade do wyższych wersji.

Co w takim razie z marzeniem o całkowitym pominięciu słów i ustanowieniu między dwoma mózgami połączenia, które umożliwia „pobieranie” idei, myśli i całych obszarów wiedzy z jednego umysłu do drugiego? Możemy pobierać na nasze komputery duże pliki, włącznie z bibliotekami zawierającymi miliony książek i artykułów, co zajmuje dosłownie kilka sekund — czy coś podobnego możemy zrobić z naszymi mózgami? Oczywista, zdawałoby się, możliwość realizacji tej koncepcji bierze się prawdopodobnie z nieprawidłowego wyobrażenia o tym, jak informacja jest przechowywana i reprezentowana w mózgu. Jak zauważono, ograniczeniem ludzkiej inteligencji nie jest tempo przyswajania surowych danych, lecz raczej tempo, w jakim mózg jest w stanie przypisać im znaczenie i zrozumieć je. Być może pojawi się propozycja, byśmy przekazywali znaczenia bezpośrednio, zamiast pakować je w postaci danych zmysłowych, które muszą zostać zdekodowane przez odbiorcę. Powstają tutaj dwa problemy. Po pierwsze, mózg — w przeciwieństwie do programów, które uruchamiamy zwykle na naszych komputerach — nie posługuje się standardami przechowywania danych ani formatami ich reprezentacji. Każdy mózg opracowuje własne, specyficzne formaty reprezentacji wysokopoziomowych treści. To, które konkretnie grupy neuronów zostaną wykorzystane do odzwierciedlenia konkretnej idei, zależy od niepowtarzalnych doświadczeń danego mózgu (oraz rozmaitych czynników genetycznych i stochastycznych procesów fizjologicznych). Tak jak w przypadku sztucznych sieci neuronowych znaczenie w biologicznych sieciach neuronowych jest prawdopodobnie reprezentowane holistycznie w strukturze i wzorcach aktywności w dużym stopniu pokrywających się regionów, a nie w odrębnych komórkach pamięci ułożonych w zgrabne rządki[74]. Nie byłoby zatem możliwe ustalenie prostego schematu mapowania pomiędzy neuronami jednego mózgu a neuronami drugiego w taki sposób, by myśl mogła po prostu automatycznie przepłynąć z jednego umysłu do drugiego. Aby myśli jednego mózgu mogły zostać odczytane i zrozumiane przez inny, muszą zostać rozłożone i upakowane w postaci symboli zgodnych z pewną współdzieloną konwencją, która pozwala je prawidłowo zinterpretować po stronie umysłu pobierającego. Na tym właśnie polega zadanie języka.

W zasadzie można sobie wyobrazić zrzucenie pracy poznawczej związanej z artykulacją i interpretacją na interfejs, który w jakiś sposób odczyta stany neuronalne mózgu nadawcy i w jakiś sposób przekaże je zgodnie z ustalonym wzorcem aktywacji mózgowi odbiorcy. Ale to prowadzi nas do drugiego problemu rodzącego się w scenariuszu cyborgizacji. Nawet odkładając na bok (pokaźne) wyzwanie techniczne polegające na opracowaniu niezawodnej metody jednoczesnego odczytu i zapisu informacji z prawdopodobnie miliardów oddzielnie adresowalnych neuronów, stworzenie wymaganego interfejsu jest najpewniej zagadnieniem tożsamym ze stworzeniem sztucznej inteligencji. Interfejs wymagałby uwzględnienia komponentu, który byłby w stanie (w czasie rzeczywistym) przekształcać wzorce wzbudzania neuronów w jednym mózgu w semantycznie równoważne wzorce wzbudzania neuronów w innym mózgu. Szczegółowe, wielopoziomowe zrozumienie obliczeń neuronalnych wymaganych do wykonania takiego zadania umożliwiałoby, jak się wydaje, stworzenie neuromorficznej sztucznej inteligencji.

Pomimo tych zastrzeżeń nie należy całkowicie spisywać na straty scenariusza cyborgizacji prowadzącej do poznawczego udoskonalenia człowieka. Imponujące prace przeprowadzone na hipokampie szczurów dowiodły wykonalności protez neuronowych, które mogą poprawić osiągi mózgu w prostych zadaniach wymagających zaangażowania pamięci roboczej[75]. W swojej obecnej wersji implant zbiera dane z kilkunastu czy kilkudziesięciu elektrod umieszczonych w jednym obszarze („CA3”) hipokampu i przekazuje je do analogicznej liczby neuronów w innym obszarze („CA1”). Mikroprocesor zaprogramowany jest tak, by odróżniać dwa odmienne wzorce wzbudzania neuronów w pierwszym obszarze (odpowiadające dwóm różnym wspomnieniom: „prawej dźwigni” lub „lewej dźwigni”) i uczyć się, w jaki sposób te wzorce przekazywane są do drugiego obszaru. Proteza potrafi nie tylko przywrócić funkcje mózgu, gdy normalne połączenia neuronalne pomiędzy dwoma obszarami neuronalnymi zostały zablokowane, ale poprzez wysłanie szczególnie jasnego sygnału konkretnego wzorca pamięciowego do drugiego obszaru może podnieść potencjał pamięciowy szczura, pozwalając mu osiągnąć w zadaniach pamięciowych wyniki normalnie dla niego nieosiągalne. Choć z perspektywy współczesnych standardów jest to niebywała zdobycz techniczna, wiele trudnych pytań pozostaje bez odpowiedzi. Czy to rozwiązanie jest skalowalne na większą liczbę wspomnień? Do jakiego stopnia potrafimy kontrolować eksplozję kombinatoryczną, która grozi niewykonalnością procesu translacji wzorców wejściowych w wyjściowe w miarę zwiększania się liczby wejściowych i wyjściowych neuronów? Czy zwiększona wydajność w zadaniach testowych osiągana jest jakimś ukrytym kosztem, na przykład ograniczoną zdolnością do wyciągania wniosków ogólnych na bazie konkretnych bodźców stosowanych podczas eksperymentu albo ograniczoną zdolnością do oduczania się skojarzeń, gdy zmieniają się warunki środowiskowe? Czy testowani pacjenci odnieśliby jakieś korzyści nawet wówczas, gdyby — w przeciwieństwie do szczurów — mogli się posłużyć jakimś rodzajem zewnętrznych pomocy wspierających pracę pamięci, jak choćby papier i ołówek? Jak trudno byłoby zastosować podobną metodę w odniesieniu do innych części mózgu? O ile współczesne protezy wykorzystują względnie prostą strukturę sprzężenia w przód części hipokampu (służącą zasadniczo jako jednokierunkowy most łączący obszary CA3 i CA1), o tyle inne struktury korowe obejmują poskręcane pętle zwrotne, które znacząco zwiększają złożoność schematu połączeń i zapewne trudność odkodowania funkcjonalności dowolnej grupy neuronów.

Jedyną nadzieją scenariusza cyborgizacji jest to, że mózg — gdy zostanie do niego trwale wszczepione urządzenie łączące go z jakimś zasobem zewnętrznym — z czasem nauczy się skutecznego odwzorowywania własnych wewnętrznych stanów poznawczych w postaci danych pobieranych przez urządzenie lub przez nie wysyłanych. Wówczas sam implant nie będzie musiał być inteligentny — to raczej mózg inteligentnie przystosuje się do interfejsu w podobny sposób, jak mózg niemowlęcia stopniowo uczy się interpretować sygnały pochodzące z receptorów w oczach i uszach[76]. Ale w tym miejscu znów musimy zastanowić się nad tym, ile rzeczywiście możemy zyskać. Załóżmy, że plastyczność mózgu byłaby taka, że byłby on w stanie nauczyć się wykrywać wzorce w jakimś nowym strumieniu danych wejściowych dowolnie przekazanych do jakiejś części kory za pomocą interfejsu mózg-komputer. Dlaczego ta sama informacja nie mogłaby zostać przekazana na siatkówkę jako wzorzec wizualny lub do ślimaka jako dźwięk? Ta niezbyt techniczna alternatywa pozwala uniknąć tysięcy komplikacji, a mózg tak czy inaczej jest w stanie uruchomić swoje mechanizmy rozpoznawania wzorców i plastyczność pozwalającą mu się uczyć rozumienia informacji.

Sieci i organizacje

Inną możliwą ścieżką wiodącą do superinteligencji jest stopniowe doskonalenie sieci i organizacji łączących umysły pojedynczych osób ze sobą wzajemnie oraz z rozmaitymi artefaktami i robotami. Koncepcja polega nie na podniesieniu potencjału intelektualnego jednostek w takim stopniu, by każda z nich zyskała superinteligencję, lecz raczej na stworzeniu pewnego systemu złożonego z jednostek w taki sposób połączonych i zorganizowanych, by mogły osiągnąć pewną formę superinteligencji. W następnym rozdziale omówimy ten temat szerzej pod hasłem „zbiorowej superinteligencji”[77].

Na przestrzeni dziejów zbiorowa inteligencja ludzkości niepomiernie wzrosła, co wynika z wielu przyczyn, włącznie z innowacjami w zakresie technik komunikowania się takich jak pisanie i druk, lecz przede wszystkim z pojawienia się samego języka, wzrostu liczby ludności i gęstości zaludnienia świata, rozmaitych udoskonaleń w zakresie technik komunikacyjnych i norm epistemicznych oraz stopniowej akumulacji kapitału instytucjonalnego. W kategoriach ogólnych zbiorowa inteligencja systemu ograniczona jest potencjałem umysłów jego członków, kosztami przekazywania pomiędzy nimi istotnych informacji oraz rozmaitymi zakłóceniami i nieefektywnością trapiącą organizacje tworzone przez ludzi. Jeśli koszt przekazywania informacji zostanie ograniczony (co obejmuje nie tylko koszt sprzętu, ale również zwłokę w uzyskaniu odpowiedzi, obciążenia czasowe, konieczność poświęcenia uwagi i inne czynniki), wówczas możliwe będzie powstanie organizacji większych i gęściejszych. To samo może się wydarzyć, jeśli uda się znaleźć remedium na przynajmniej część biurokratycznych patologii, które wypaczają życie organizacji — niszczące przepychanki o miejsce w hierarchii, rozmywanie się misji, ukrywanie lub fałszowanie informacji i inne biurowe problemy. Nawet częściowe ich rozwiązanie mogłoby znacząco podnieść poziom inteligencji zbiorowej.

Istnieje wiele różnorodnych innowacji technicznych i instytucjonalnych, które mogłyby przyczynić się do wzrostu naszej inteligencji zbiorowej. Dla przykładu: dotowane rynki przepowiedni mogłyby propagować postawę dążenia do prawdy i poprawić jakość prognoz dotyczących kwestii budzących naukowe i społeczne kontrowersje[78]. Wykrywacze kłamstw (gdyby wyprodukowanie egzemplarzy niezawodnych i łatwych w użyciu okazało się możliwe) mogłyby ograniczyć pole do oszustw w obszarze stosunków międzyludzkich[79]. Jeszcze potężniejsze mogłyby się okazać wykrywacze samookłamywania się[80]. Nawet bez tak nowatorskich technik mózgowych niektóre formy oszustw mogłyby okazać się trudniejsze do zastosowania dzięki większej dostępności wielu rodzajów danych, włącznie z reputacją i dotychczasowymi osiągnięciami, lub dzięki promowaniu silnych norm epistemicznych i kultury racjonalnej. Systemy dobrowolnego i przymusowego monitoringu pozwolą zgromadzić ogromne ilości informacji na temat ludzkiego zachowania. Portale społecznościowe już teraz wykorzystywane są przez miliardy ludzi dzielących się informacjami ze swego życia. Wkrótce użytkownicy tych portali mogą zacząć zamieszczać w nich zapisy swego życia na bieżąco, wykorzystując nagrania z mikrofonów i kamer wideo wbudowanych w ich smartfony lub oprawki okularów. Zautomatyzowana analiza strumieni tego rodzaju danych otworzy perspektywę wielu nowych zastosowań (zarówno zbrodniczych, jak i zbawiennych, oczywiście)[81].

Wzrost inteligencji zbiorowej może być również wynikiem bardziej ogólnych udoskonaleń organizacyjnych i gospodarczych oraz zwiększenia odsetka ludności świata, która jest wykształcona, połączona cyfrowo i włączona w globalną kulturę intelektualną[82].

Internet wyróżnia się jako szczególnie dynamicznie zmieniający się obszar innowacji i eksperymentów. Większa część jego potencjału pozostaje wciąż nieodkryta. Ciągły rozwój inteligentnej sieci coraz bardziej sprzyjającej konsultacjom, dążeniu do obiektywizmu oraz gromadzeniu ocen może w znacznym stopniu przyczynić się do podniesienia poziomu inteligencji zbiorowej ludzkości lub jej wybranych grup.

Lecz co ze znacznie bardziej, jak by się wydawało, fantastyczną koncepcją, zgodnie z którą internet może się pewnego dnia „obudzić”? Czy sieć może stać się czymś więcej niż tylko kręgosłupem luźno połączonej zbiorowej superinteligencji — czymś bardziej przypominającym wirtualną czaszkę skrywającą powstający jednorodny superumysł? (Był to jeden ze sposobów powstania superinteligencji opisany w szeroko cytowanym, opublikowanym w 1993 roku eseju VernoraVinge’a, który ukuł termin „technologicznej osobliwości”)[83]. Można by podnieść zarzut, że sztuczną inteligencję wystarczająco trudno jest uzyskać za pomocą żmudnej inżynierii i przypuszczenie, że mogłaby ona powstać spontanicznie, po prostu nie mieści się w głowie. Jednakże jakaś przyszła wersja internetu niekoniecznie musiałaby zyskać nagle superinteligencję czystym zbiegiem okoliczności. Znacznie bardziej prawdopodobny jest scenariusz, w którym internet akumuluje kolejne usprawnienia dzięki pracy wielu ludzi dokonywanej przez wiele lat — pracy, w wyniku której powstają lepsze mechanizmy wyszukiwania i algorytmy filtrowania informacji, potężniejsze formaty reprezentacji danych, mające większe możliwości autonomiczne agenty programowe oraz wydajniejsze protokoły rządzące współpracą tego rodzaju sieci maszyn — i te niezliczone drobne usprawnienia w końcu tworzą fundament jakiejś bardziej ujednoliconej wersji inteligencji sieciowej. Wydaje się przynajmniej możliwe, że tego rodzaju system poznawczy oparty na sieci, przesycony mocą obliczeniową i wszelkimi innymi zasobami potrzebnymi do gwałtownego wzrostu, któremu brakować będzie już tylko jednego kluczowego składnika, może — gdy ów ostatni brakujący składnik zostanie wrzucony do kociołka — wybuchnąć superinteligencją. Ten rodzaj scenariusza zbieżny jest jednak z inną możliwą ścieżką wiodącą ku superinteligencji, którą już wcześniej omówiliśmy.

Podsumowanie

Fakt, że istnieje wiele ścieżek prowadzących ku superinteligencji, powinien utwierdzić nas w przekonaniu, że w końcu do niej dotrzemy. Możemy kroczyć drogą postępu, nawet jeśli któraś ze ścieżek okaże się zablokowana.

Fakt, że istnieje wiele ścieżek, nie oznacza jednak, że istnieje wiele punktów docelowych. Nawet jeśli uda nam się osiągnąć znaczące spotęgowanie inteligencji, podążając jedną ze ścieżek niemaszynowych, nie unieważni to koncepcji myślących maszyn jako takich. Przeciwnie, udoskonalona inteligencja biologiczna lub organizacyjna przyspieszy tempo rozwoju naukowego i technicznego, potencjalnie przyspieszając nadejście bardziej radykalnych form potęgowania inteligencji, takich jak emulacja całego mózgu i sztuczna inteligencja.

Nie chcę w ten sposób powiedzieć, że nie ma żadnego znaczenia, w jaki sposób uda nam się dojść do superinteligentnych maszyn. Ścieżka, którą tam dojdziemy, może mieć ogromne znaczenie dla ostatecznego wyniku. Nawet jeśli finalnie uzyskane zdolności nie będą zależeć od charakteru prowadzącej ku nim drogi, to sposób ich wykorzystania — i poziom kontroli, jaki my, ludzie, będziemy mieli nad ich skłonnościami — może być w dużej mierze uzależniony od szczegółów przyjętego podejścia. Dla przykładu: podniesienie poziomu inteligencji biologicznej lub organizacyjnej może zwiększyć naszą zdolność do przewidywania ryzyka i zaowocować zaprojektowaniem superinteligentnych maszyn, które będą bezpieczne i korzystne dla ludzkości (pełna ocena strategiczna obejmuje wiele złożonych kwestii i będziemy musieli poczekać z nią aż do rozdziału 14.).

Prawdziwą superinteligencję (w przeciwieństwie do nieznacznego podniesienia obecnego poziomu inteligencji) uda się prawdopodobnie uzyskać zgodnie ze scenariuszem sztucznej inteligencji. Ten scenariusz zawiera jednak wiele ważnych znaków zapytania, przez co trudno jest rygorystycznie ocenić, ile czasu zabierze jego realizacja i ile przeszkód ludzkość napotka po drodze. Istnieje również pewne prawdopodobieństwo, że najszybszą ścieżką wiodącą ku superinteligencji jest ścieżka emulacji całego mózgu. Ponieważ postępy dokonywane zgodnie z tym scenariuszem wymagają głównie przyrostowego postępu technicznego, a nie koncepcyjnego przełomu, można z przekonaniem bronić tezy, że w końcu uda się osiągnąć sukces. Wydaje się jednak dość prawdopodobne, że nawet jeśli postęp w obszarze emulacji całego mózgu dokonywać się będzie bardzo szybko, sztuczna inteligencja mimo wszystko jako pierwsza pokona linię mety. Wynika to z prawdopodobieństwa powstania neuromorficznej sztucznej inteligencji opartej na emulacjach częściowych.

Podniesienie biologicznych zdolności poznawczych jest oczywiście wykonalne, zwłaszcza w przypadku tych zdolności, które poddają się selekcji genetycznej. Szczególnie obiecującą techniką wydaje się obecnie iteracyjna selekcja embrionów. Jednakże w porównaniu z możliwymi przełomami, które mogą się dokonać w scenariuszu rozwoju myślących maszyn, udoskonalenia biologiczne będą stosunkowo powolne i stopniowe. W najlepszym razie zaowocują one stosunkowo słabymi formami superinteligencji (wkrótce rozwinę ten wątek).

Oczywista osiągalność udoskonaleń biologicznych powinna utwierdzić nas w przekonaniu, że sztuczna inteligencja znajduje się ostatecznie w zasięgu naszych możliwości, gdyż udoskonaleni naukowcy i inżynierowie będą w stanie dokonywać postępów szybszych i bardziej znaczących niż ich odpowiednicy au naturel. Zwłaszcza w scenariuszach, w których sztuczna inteligencja pojawia się dopiero w drugiej połowie wieku, coraz bardziej udoskonalone poznawczo grupy wchodzące na arenę dziejów będą odgrywać coraz większą rolę w kolejnych dokonaniach.

Interfejsy mózg-komputer wydają się mało prawdopodobnym źródłem superinteligencji. W długim okresie usprawnienia sieci i organizacji mogą zaowocować w niewielkim stopniu superinteligentnymi formami inteligencji zbiorowej. Bardziej prawdopodobne jest to, że umożliwią — analogicznie do poprawy biologicznych zdolności poznawczych — stopniowe podniesienie ludzkich umiejętności rozwiązywania problemów intelektualnych. W porównaniu z usprawnieniami biologicznymi postępy w dziedzinie sieci i organizacji szybciej odegrają znaczącą rolę — tak naprawdę tego rodzaju postępy dokonują się stale i już dziś mają ważną rolę. Jednakże usprawnienia w obszarze sieci i organizacji mogą zaowocować mniej istotnym podniesieniem naszej zdolności rozwiązywania problemów niż wzrost biologicznych zdolności poznawczych, zwiększając „inteligencję zbiorową”, a nie „inteligencję jakościową” — aby uprzedzić rozróżnienie, którego dokonamy w kolejnym rozdziale.

[I]  Liczba mnoga łacińskiego słowa quale oznaczającego subiektywną jakość doświadczenia zmysłowego — przyp. tłum.

Rozdział 3.
Formy superinteligencji

Co zatem właściwie mamy na myśli, mówiąc o „superinteligencji”? Chociaż nie chcielibyśmy ugrzęznąć w terminologicznym bagnie, należałoby jakoś wyjaśnić podstawy konceptualne. W tym rozdziale określimy trzy różne formy superinteligencji i udowodnimy, że są one zasadniczo pod każdym istotnym względem równoważne. Pokażemy również, że potencjał inteligencji rozwijającej się na podłożu maszynowym jest znacząco większy niż rozwijającej się na podłożu biologicznym. Maszyny mają znaczącą liczbę fundamentalnych zalet dających im miażdżącą przewagę. Ukształtowani przez naturę ludzie, nawet udoskonaleni, zostaną zdeklasowani.

Wiele maszyn i zwierząt potrafi już w pewnych wąskich dziedzinach przewyższyć normalnego człowieka. Nietoperze interpretują sygnały dźwiękowe lepiej niż ludzie, kalkulatory prześcigają nas w arytmetyce, a programy szachowe pokonują nas w szachach. Zakres konkretnych zadań, które oprogramowanie potrafi wykonać lepiej niż człowiek, będzie się systematycznie powiększał. Lecz chociaż specjalizowane systemy przetwarzania informacji będą miały wiele zastosowań, wystąpią pewne dodatkowe znaczące problemy, które się ujawnią dopiero w perspektywie myślących maszyn mających wystarczająco dużo inteligencji ogólnej, by zastąpić ludzi we wszystkich dziedzinach.

Jak zauważono wcześniej, wykorzystujemy termin „superinteligencja” do opisu umysłów znacząco przewyższających najtęższe umysły ludzkie w wielu dziedzinach poznania o charakterze bardzo ogólnym. Nadal jest to dość niejasne. Taka definicja superinteligencji może obejmować bardzo różne systemy o zupełnie nieporównywanych cechach działania. By posunąć tą analizę naprzód, pomocne będzie rozłożenie prostego pojęcia superinteligencji na czynniki jeszcze bardziej elementarne poprzez wyróżnienie rozmaitych grup intelektualnych supermożliwości. Istnieje wiele metod przeprowadzenia takiej dekompozycji. Tutaj dokonamy rozróżnienia pomiędzy trzema formami: superinteligencją szybką, superinteligencją zbiorową i superinteligencją jakościową.

Superinteligencja szybka

Superinteligencja szybka to umysł przypominający umysł człowieka, lecz szybszy. Konceptualnie jest to najprostsza do analizy postać superinteligencji[1]. Superinteligencję szybką możemy zdefiniować następująco:

Superinteligencja szybka — system, który potrafi dokonać wszystkiego tego, co ludzki umysł, lecz znacznie szybciej.

Pisząc „znacznie”, mamy na myśli coś w rodzaju „o kilka rzędów wielkości szybciej”. Nie będziemy podejmować prób usunięcia z tej definicji wszystkich resztek niejasności, wierząc, że czytelnik zinterpretuje ją w sensowny sposób[2].

Najprostszym przykładem superinteligencji szybkiej będzie emulacja całego mózgu uruchomiona na szybkim sprzęcie komputerowym[3]. Emulacja działająca dziesięć tysięcy razy szybciej niż mózg biologiczny będzie potrafiła przeczytać książkę w ciągu kilku sekund i napisać pracę doktorską w ciągu jednego popołudnia. Jeśli mnożnik zostanie zwiększony do miliona, emulacja będzie w stanie wykonać całe tysiąclecie pracy intelektualnej w ciągu jednego dnia roboczego[4].

Umysłowi tak szybkiemu zdarzenia w świecie zewnętrznym będą się wydawać spowolnione. Wyobraź sobie, że Twój umysł potrafi pracować dziesięć tysięcy razy szybciej. Gdyby Twój niezmodyfikowany przyjaciel upuścił filiżankę, przez kilka godzin obserwowałbyś, jak porcelana powoli opada na dywan niczym kometa bezgłośnie przesuwająca się w przestrzeni kosmicznej w kierunku swego punktu docelowego na odległej planecie. I podczas gdy sygnały informujące o zbliżającym się upadku powoli rozchodziłyby się w zwojach mózgowych istoty szarej twojego przyjaciela, a stamtąd płynęłyby do obwodowego układu nerwowego, ty mógłbyś obserwować, jak jego twarz przybiera stopniowo wyraz zamrożonego zaskoczenia — wystarczyłoby ci czasu nie tylko na to, by zamówić nową filiżankę, ale i przeczytać kilka artykułów naukowych i uciąć sobie drzemkę.

Z powodu tego pozornego wydłużania się czasu świata materialnego superinteligencja szybka wolałaby współpracować z obiektami cyfrowymi. Mogłaby żyć w rzeczywistości wirtualnej i działać w gospodarce informacyjnej, względnie mogłaby współpracować z otoczeniem fizycznym za pomocą manipulatorów nanoskalowych, gdyż zbudowane w tak niewielkiej skali kończyny mogłyby poruszać się szybciej niż przystawki makroskopowe (częstotliwość charakterystyczna systemu jest zwykle odwrotnie proporcjonalna do jego skali długości)[5]. Szybki umysł dążyłby do wspólnoty głównie z innymi szybkimi umysłami, a nie z opóźnionymi w rozwoju, rozlazłymi ludźmi.

W miarę przyspieszania umysłów prędkość światła staje się coraz istotniejszym ograniczeniem, gdyż szybsze umysły stają wobec wyższych kosztów alternatywnych wykorzystania swojego czasu na podróże lub porozumiewanie się na duże odległości[6]. Światło jest mniej więcej milion razy szybsze niż samolot odrzutowy, więc programowi dysponującemu „umysłem” milion razy szybszym od umysłu ludzkiego oblecenie całego globu zabrałoby mniej więcej tyle samo subiektywnego czasu, co zabiera współcześnie podróżującemu człowiekowi. Nawiązanie międzynarodowego połączenia telefonicznego zabrałoby tyle samo czasu, co dotarcie do rozmówcy „osobiście”, choć byłoby tańsze, bo rozmowa wymagałaby mniejszej przepustowości. Cyfrowi sprawcy, zdolni dokonywać bardzo szybkich operacji intelektualnych, a mający ochotę omówić coś szerzej, mogliby uznać za korzystne przeprowadzenie się blisko siebie. Skrajnie szybkie umysły, które musiałyby często kontaktować się ze sobą (na przykład członkowie zespołów roboczych), mogłyby zamieszkać — w celu uniknięcia frustrujących opóźnień — w komputerach umieszczonych w tym samym budynku.

Superinteligencja zbiorowa

Inną formą superinteligencji jest system osiągający ponadprzeciętne wyniki poprzez agregację dużej liczby mniejszych form rozumnych.

Superinteligencja zbiorowa — system złożony z dużej liczby mniejszych form rozumnych, który znacznie przewyższa jakikolwiek współczesny system poznawczy w wielu bardzo ogólnych dziedzinach.

Superinteligencja zbiorowa jest mniej wyraźnie wyodrębniona konceptualnie niż superinteligencja szybka[7], ale jest nam bardziej znana z doświadczenia. O ile bowiem nie mamy żadnych doświadczeń z umysłami na poziomie człowieka, które wyróżniają się znacząco wyższą szybkością działania, o tyle mamy masę doświadczeń z inteligencją zbiorową — z systemami złożonymi z rozmaitej liczby składowych na poziomie człowieka, współpracującymi z rozmaitą efektywnością. Firmy, zespoły robocze, sieci znajomych, w których rozchodzą się plotki, grupy poparcia, społeczności akademickie, państwa, nawet ludzkość ogółem można — jeśli przyjmie się dość abstrakcyjną perspektywę — uznać za luźno zdefiniowane „systemy” zdolne do rozwiązywania pewnych klas problemów intelektualnych. Opierając się na doświadczeniu, możemy wyczuć, jak łatwo rozmaite problemy poddają się wysiłkom organizacji o różnej wielkości i składzie.

Inteligencja zbiorowa osiąga znakomite wyniki w rozwiązywaniu problemów, które dają się łatwo rozbić na mniejsze części w taki sposób, by rozwiązań podproblemów można było poszukiwać równolegle i weryfikować je niezależnie. Zadania w rodzaju budowy promu kosmicznego czy prowadzenia franczyzy serwującej hamburgery stwarzają mnóstwo możliwości podziału pracy — różni inżynierowie pracują nad różnymi składowymi statku kosmicznego, różni ajenci prowadzą różne bary szybkiej obsługi. W świecie akademickim ścisły podział naukowców, studentów, czasopism, grantów i nagród na oddzielne, zamknięte dyscypliny naukowe — chociaż nie sprzyja temu rodzajowi pracy, którego odbiciem jest ta książka — może zostać uznany (choć jedynie przez osobę z natury pojednawczą i łagodną) za konieczne ustępstwo na rzecz praktycznej realizacji postulatu umożliwienia dużej liczbie kierujących się rozmaitą motywacją jednostek i zespołów przyczynienia się do wzrostu ludzkiej wiedzy w warunkach stosunkowo niezależnej pracy pozwalającej każdemu orać jego własne poletko.

Zbiorową inteligencję systemu można zwiększyć, podnosząc liczbę lub jakość tworzących go umysłów lub też doskonaląc sposób ich zorganizowania[8]. Uzyskanie superinteligencji zbiorowej z jakiejkolwiek współczesnej postaci inteligencji zbiorowej wymagałoby ogromnej liczby udoskonaleń. Otrzymany system musiałby być zdolny znacząco przewyższyć każdą współczesną inteligencję zbiorową lub inne systemy poznawcze w wielu bardzo ogólnych dziedzinach. Nowy format konferencji, który pozwoliłby akademikom skuteczniej wymieniać informacje, lub nowy algorytm zbiorowego filtrowania informacji pozwalający lepiej przewidywać oceny wystawiane przez użytkowników książkom i filmom z pewnością nie byłby równoznaczny z czymkolwiek, co mogłoby pretendować do miana superinteligencji zbiorowej. Nie zwiastowałoby tego również zwiększenie o 50% liczby ludności świata ani udoskonalenie metod pedagogicznych umożliwiające uczniom zmieszczenie sześciu godzin zajęć lekcyjnych w czterech.

Spełnienie kryteriów superinteligencji zbiorowej wymagałoby jakiegoś znacznie bardziej radykalnego zwiększenia zbiorowych zdolności poznawczych ludzkości.

Zauważmy, że próg superinteligencji zbiorowej odnosi się do współczesnego poziomu osiągnięć ludzkości, a zatem do początku XXI wieku. Na przestrzeni dziejów, w czasach prehistorycznych, a następnie historycznych inteligencja zbiorowa ludzkości wzrosła już niepomiernie. Od plejstocenu liczba ludności świata zwiększyła się przynajmniej tysiąckrotnie[9]. Opierając się wyłącznie na tej informacji, można uznać współczesny poziom inteligencji zbiorowej ludzkości za zbliżający się do superinteligencji w porównaniu z plejstoceńską linią bazową. Można również bronić tezy, że niektóre usprawnienia w zakresie technik komunikacyjnych — zwłaszcza mowa, ale prawdopodobnie również powstanie miast oraz wynalezienie pisma i druku — łącznie lub niezależnie dały potężny impuls rozwojowy w tym sensie, że gdyby miała się pojawić jakaś inna innowacja o porównywalnym wpływie na naszą zbiorową zdolność rozwiązywania problemów intelektualnych, wynikiem tego byłaby zbiorowa superinteligencja[10].

Część czytelników poczuje w tym momencie pokusę wtrącenia, że współczesne społeczeństwo nie wydaje się szczególnie inteligentne. Być może w ojczyźnie czytelnika podjęto właśnie jakieś niepożądane decyzje polityczne, a oczywista głupota tych decyzji jawi mu się teraz jako dowód na upośledzenie umysłowe współczesnych. Czyż nie jest prawdą, że współczesna ludzkość stawia na piedestale konsumpcję materialną, rabując zasoby surowców naturalnych, trując środowisko, niwecząc różnorodność gatunkową, nie szukając usilnie remedium na krzyczące globalne niesprawiedliwości i lekceważąc najważniejsze wartości humanistyczne i duchowe? Odsuwając jednakże na bok kwestię tego, jak niedostatki współczesności wypadają w porównaniu z całkiem w końcu pokaźnymi słabościami poprzednich epok, żaden element naszej definicji superinteligencji zbiorowej nie sugeruje, że społeczeństwo dysponujące większą inteligencją zbiorową nieuchronnie wyjdzie na tym lepiej. Nasza definicja nie implikuje nawet tego, że społeczeństwo charakteryzujące się wyższą inteligencją zbiorową jest mądrzejsze. Możemy uznać mądrość za zdolność do mniej więcej prawidłowego rozumienia istotnych kwestii. Można sobie zatem wyobrazić organizację, na którą składają się skutecznie skoordynowani pracownicy umysłowi potrafiący rozwiązywać wspólnie problemy intelektualne z bardzo wielu bardzo ogólnych dziedzin. Załóżmy, że organizacja ta potrafi prowadzić większość przedsiębiorstw, wymyślać większość technologii i optymalizować większość procesów. Nawet gdyby tak było, mogłaby mieć całkowicie błędne wyobrażenie o kilku kluczowych kwestiach mających szersze, całościowe znaczenie — dla przykładu mogłaby nie przedsięwziąć stosownych środków zaradczych ograniczających groźbę zagłady całej ludzkości — a w efekcie doświadczyć krótkiego, eksplozywnego wzrostu zakończonego całkowitą, niechlubną zapaścią. Taka organizacja mogłaby mieć bardzo wysoki poziom inteligencji zbiorowej. Gdyby był on odpowiednio wysoki, organizacja ta stałaby się superinteligencją zbiorową. Powinniśmy się oprzeć pokusie połączenia wszystkich normatywnie pożądanych atrybutów w jedną gigantyczną, amorficzną koncepcję mentalnego funkcjonowania — zupełnie jakby nie dało się znaleźć żadnej godnej uznania cechy, gdy nie są obecne wszystkie pozostałe. Przeciwnie, powinniśmy uznać możliwość istnienia dysponujących potężnym instrumentarium systemów przetwarzania informacji — systemów inteligentnych — które nie są z natury ani dobre, ani niezawodnie mądre. Powrócimy jeszcze do tej kwestii w rozdziale 7.

Superinteligencja zbiorowa może być zintegrowana luźno lub ściśle. Aby zrozumieć przypadek luźno zintegrowanej superinteligencji zbiorowej, wyobraźmy sobie planetę, Megaziemię, dysponującą tym samym poziomem rozwoju technik komunikacji i koordynacji współpracy, który mamy współcześnie na prawdziwej Ziemi, lecz zamieszkaną przez milion razy więcej ludzi. Przy tak dużej populacji całkowita intelektualna siła robocza Megaziemi byłaby odpowiednio większa niż na naszej planecie. Załóżmy, że jakiś geniusz kalibru Newtona lub Einsteina pojawia się co najmniej raz na 10 miliardów urodzeń. Zatem na Megaziemi żyłoby współcześnie 700 tysięcy takich geniuszy, wraz z proporcjonalnie dużą liczbą jednostek nieco mniej utalentowanych. Nowe koncepcje i techniki opracowywano by w niesamowitym tempie, a globalna cywilizacja Megaziemi stworzyłaby luźno zintegrowaną superinteligencję zbiorową[11].

Jeśli stopniowo zwiększymy poziom integracji inteligencji zbiorowej, w końcu może ona przybrać formę wielkiego ujednoliconego umysłu — „superumysłu” będącego przeciwieństwem zwykłego zbioru luźno zintegrowanych mniejszych umysłów ludzkich[12]. Mieszkańcy Megaziemi mogliby podjąć kroki w tym kierunku, usprawniając techniki komunikacji i koordynacji oraz opracowując lepsze metody współpracy wielu osób nad dowolnym trudnym problemem intelektualnym. Superinteligencja zbiorowa może zatem, uzyskawszy wystarczająco duży poziom integracji, stać się „superintenteligencją jakościową”.

Superinteligencja jakościowa

Możemy wyróżnić trzecią formę superinteligencji.

Superinteligencja jakościowa — system, który jest przynajmniej równie szybki jak ludzki umysł, a przy tym znacznie inteligentniejszy.

Podobnie jak inteligencja zbiorowa, inteligencja jakościowa jest koncepcją nieco mętną. W tym przypadku trudności potęguje nasz brak doświadczenia z jakimikolwiek odmianami inteligencji przewyższającej pod względem jakości najinteligentniejszych osobników współczesnego rodzaju ludzkiego. Możemy jednak zyskać pewne wyobrażenie o tej koncepcji, rozważając niektóre z przypadków pokrewnych.

Przede wszystkim możemy rozszerzyć zakres naszych punktów odniesienia, analizując przypadek zwierząt dysponujących inteligencją niższej jakości (ta uwaga w zamierzeniu nie ma być wyrazem dyskryminacji gatunkowej — poziom inteligencji ryby z gatunku Brachydaniorerio czyni ją znakomicie przystosowaną do jej potrzeb ekologicznych, lecz dla nas w tym miejscu większe znaczenie ma perspektywa antropocentryczna; zajmujemy się w końcu efektywnością w zakresie istotnych dla człowieka złożonych zadań poznawczych). Zwierzętom brakuje złożonych struktur językowych; nie opanowały wykorzystywania i konstruowania narzędzi lub opanowały to jedynie w stopniu elementarnym; poważnie ograniczona jest ich zdolność do planowania długofalowego, a przy tym mają bardzo ograniczoną zdolność rozumowania abstrakcyjnego. Tych ograniczeń nie tłumaczy w pełni brak inteligencji szybkiej lub zbiorowej charakteryzujący zwierzęce umysły. W kategoriach surowej mocy obliczeniowej ludzkie mózgi prawdopodobnie ustępują mózgom niektórych dużych zwierząt, jak choćby słoni czy wielorybów. I chociaż złożona technicznie cywilizacja ludzka nie byłaby możliwa bez potężnej przewagi, którą zyskujemy dzięki inteligencji zbiorowej, nie wszystkie niewątpliwie ludzkie zdolności poznawcze zależą od naszej inteligencji zbiorowej — wiele z nich jest wysoko rozwiniętych nawet w małych, izolowanych społecznościach zbieracko-łowieckich[13]. I jednocześnie wiele zdolności poznawczych właściwych ludziom nie jest choćby w części równie wysoko rozwiniętych u mających rozwiniętą organizację zwierząt takich jak szympansy czy delfiny intensywnie szkolone przez ludzi zajmujących się ich treningiem lub też mrówki żyjące we własnych, dużych i świetnie zorganizowanych koloniach. Najwyraźniej znaczące osiągnięcia intelektualne gatunku Homo sapiens należy w dużej mierze przypisać konkretnym cechom architektury naszego mózgu — cechom, które należą do unikalnej genetycznej spuścizny niebędącej udziałem innych zwierząt. To spostrzeżenie może nam pomóc zilustrować koncepcję superinteligencji jakościowej: jest to inteligencja co najmniej w takim stopniu przewyższająca inteligencję ludzką, w jakim inteligencja ludzka przewyższa inteligencję słoni, delfinów czy szympansów.

Drugim sposobem zilustrowania koncepcji superinteligencji jakościowej jest przyjrzenie się odnoszącym się do konkretnej dziedziny deficytom poznawczym, które mogą dotknąć konkretne osoby — w szczególności deficytom niewywołanym ogólną demencją lub innymi uwarunkowaniami związanymi z całościowym rozpadem zasobów neuroobliczeniowych mózgu. Rozważmy na przykład osoby dotknięte zaburzeniami ze spektrum autyzmu, które mogą mieć bardzo poważne deficyty w zakresie zdolności poznania społecznego, funkcjonując jednocześnie bardzo dobrze w innych sferach poznawczych, albo też osoby z wrodzoną amuzją, które nie potrafią nucić ani rozpoznać prostych dźwięków, ale osiągają normalne wyniki w większości innych obszarów. Wiele innych przykładów można zaczerpnąć z literatury neuropsychiatrycznej, w której roi się od studiów przypadku opisujących pacjentów cierpiących na wąsko określone deficyty wywołane zaburzeniami genetycznymi lub urazem mózgu. Takie przykłady pokazują, że normalny człowiek dorosły ma szereg znaczących talentów poznawczych, które nie są po prostu wynikiem posiadania wystarczającej ilości ogólnej neuronalnej mocy obliczeniowej ani nawet wystarczającego poziomu inteligencji ogólnej — wymagane są również wyspecjalizowane „obwody” neuronalne. To spostrzeżenie sugeruje koncepcję możliwych, lecz niezrealizowanych talentów poznawczych — talentów nieposiadanych przez żadnego człowieka, mimo faktu że inne systemy inteligentne (niedysponujące większą mocą obliczeniową niż ludzki mózg), które rzeczywiście posiadłyby te talenty, zyskałyby niepomiernie, jeśli chodzi o zdolność wykonywania szerokiego zakresu strategicznie istotnych zadań.

Tak więc analizując przypadek zwierząt nienależących do gatunku ludzkiego oraz ludzi mających deficyty poznawcze w wybranych dziedzinach, możemy wyrobić sobie wyobrażenie o różnych wymiarach inteligencji i ich praktycznym znaczeniu. Gdyby gatunkowi Homo sapiens brakowało, przykładowo, modułów poznawczych umożliwiających tworzenie złożonych reprezentacji językowych, mógłby być po prostu kolejnym gatunkiem małpy żyjącej w harmonii z naturą. I odwrotnie, gdybyśmy mieli zyskać jakiś nowy zestaw modułów poznawczych dający nam przewagę porównywalną do tej wynikającej ze zdolności tworzenia złożonych reprezentacji językowych, stalibyśmy się superinteligentni.

Osiągalność pośrednia i bezpośrednia

Superinteligencja w którejkolwiek z wyżej opisanych form mogłaby z czasem opracować techniki konieczne do stworzenia dowolnej z pozostałych form. Osiągalność pośrednia tych trzech form superinteligencji jest zatem jednakowa. W tym sensie osiągalność pośrednia współczesnej ludzkiej inteligencji jest w tej samej klasie równoważności — przy założeniu, że jesteśmy w stanie finalnie stworzyć jakąś formę superinteligencji. Mimo to w pewnym aspekcie wszystkie te trzy formy superinteligencji są sobie znacznie bliższe — każda z nich mogłaby stworzyć inne formy superinteligencji znacznie szybciej, niż my dziś moglibyśmy stworzyć jakąkolwiek formę superinteligencji, przyjmując za punkt wyjścia nasz obecny poziom rozwoju.

Osiągalność bezpośrednia tych trzech różnych form superinteligencji jest trudniejsza do określenia. Być może po prostu nie można określić, w jakiej kolejności się pojawią. Ich możliwości zależą od tego, w jakim stopniu uda im się urzeczywistnić ich silne strony — jak szybka będzie superinteligencja szybka, jaką przewagę jakościową będzie miała superinteligencja jakościowa i tak dalej. W najlepszym razie możemy powiedzieć, że — ceteris paribus — superinteligencja szybka radzi sobie doskonale z zadaniami wymagającymi szybkiego wykonania długiej serii kroków, które muszą zostać wykonane jeden po drugim, natomiast superinteligencja zbiorowa osiąga najlepsze wyniki w zadaniach wymagających ich dekompozycji analitycznej do postaci równoległych podzadań oraz w zadaniach wymagających połączenia wielu różnych perspektyw i zbiorów umiejętności. W pewnym ogólnym sensie superintenteligencja jakościowa posiadałaby największy potencjał spośród wszystkich form superinteligencji — z tego względu, że potrafiłaby analizować i rozwiązywać problemy będące praktycznie poza zasięgiem bezpośrednim superinteligencji szybkiej i superinteligencji zbiorowej[14].

W niektórych dziedzinach ilość jest kiepskim substytutem jakości. Jeden samotny geniusz pracujący w wyłożonej korkiem sypialni może napisać W poszukiwaniu straconego czasu. Czy podobne arcydzieło mogłoby powstać, gdyby zatrudniono cały biurowiec pismaków[15]? Nawet obserwując współczesne różnice ludzkiego potencjału, widzimy, że niektóre dziedziny ludzkiego poznania posuwają się znacząco naprzód dzięki pracy jednego genialnego umysłu, będącej przeciwieństwem połączonych wysiłków niezliczonych przeciętniaków. Jeśli obejmiemy spojrzeniem również umysły superinteligentne, musimy pogodzić się z prawdopodobnym istnieniem problemów intelektualnych, którym tylko superinteligencja może sprostać, a z którymi najliczniejsza choćby zbiorowość ludzi niedysponujących umysłami rozszerzonymi nie może się nawet mierzyć.

Mogą zatem istnieć pewne problemy, które mogą zostać rozwiązane tylko przez superinteligencję jakościową i być może przez superinteligencję szybką, lecz których nie potrafi rozwiązać luźno zintegrowana superinteligencja zbiorowa (o ile nie podniesie wcześniej poziomu własnej inteligencji jednostkowej[16]). Nie potrafimy jednoznacznie stwierdzić, jaki może być charakter tych problemów, ale możemy je scharakteryzować w kategoriach ogólnych[17]. Będą to prawdopodobnie problemy obejmujące szereg złożonych współzależności niepozwalających ich rozbić na szereg podproblemów, które można byłoby rozwiązywać i weryfikować niezależnie — problemy, których z tego względu nie można rozwiązywać krok po kroku i które mogą wymagać jakiegoś zupełnie odmiennego jakościowo zrozumienia lub też nowych modeli reprezentacji, które są zbyt głębokie lub zbyt skomplikowane, by współcześni śmiertelnicy mogli je odkryć lub skutecznie wykorzystać. W tej kategorii mogą się mieścić niektóre rodzaje wytworów artystycznych lub efektów poznania strategicznego, podobnie jak niektóre rodzaje naukowych przełomów. Można się zastanawiać, czy powolny i niepewny postęp ludzkości w dziedzinie wielu „odwiecznych problemów” filozofii nie wynika z immanentnej niezdatności ludzkiej kory mózgowej do pracy filozoficznej. Z tej perspektywy nawet najbardziej uznani filozofowie są niczym psy chodzące na tylnych nogach — z trudem osiągają minimalny poziom umiejętności koniecznych, by w ogóle podjąć taką próbę[18].

Źródła przewagi inteligencji cyfrowej

Niewielkie zmiany objętości mózgu lub schematu połączeń neuronalnych mogą mieć znaczące konsekwencje, co możemy dostrzec na przykładzie różnic w osiągnięciach intelektualnych i technicznych ludzi oraz innych małp człekokształtnych. Znacznie większe zmiany potencjału obliczeniowego oraz architektury, które umożliwią rozwój myślących maszyn, będą miały zapewne znacznie dalej idące konsekwencje. Trudno jest nam (a być może jest to całkiem niemożliwe) wyrobić sobie intuicyjny pogląd na uzdolnienia superinteligencji. Możemy jednak zyskać przynajmniej niejasne pojęcie o spektrum jej możliwości, przyglądając się silnym stronom umysłów cyfrowych. Najłatwiej jest uświadomić sobie przewagi sprzętowe:

- Szybkość elementów obliczeniowych. Biologiczne neurony działają z maksymalną prędkością około 200 Hz — całe siedem rzędów wielkości wolniej niż współczesny mikroprocesor (~2 GHz)[19]. W rezultacie ludzki mózg zmuszony jest polegać w ogromnym stopniu na zrównolegleniu procesów obliczeniowych i nie jest w stanie wykonać szybko żadnych obliczeń, które wymagałyby dużej liczby operacji sekwencyjnych[20] (nic, co mózg robi w czasie poniżej jednej sekundy, nie może wymagać więcej niż stu operacji sekwencyjnych — a może zaledwie kilkudziesięciu). Mimo to wiele zasadniczo najważniejszych algorytmów informatycznych nie poddaje się łatwo zrównolegleniu. Wiele zadań poznawczych mogłoby być wykonywanych znacznie efektywniej, gdyby przyrodzona mózgowi zdolność wykorzystywania poddających się zrównolegleniu algorytmów rozpoznawania wzorców została uzupełniona zdolnością wykonywania szybkich obliczeń sekwencyjnych i w pełni z nią zintegrowana.

- Prędkość wewnętrznego przesyłu danych. Aksony przenoszą potencjały czynnościowe z prędkością mniejszą lub równą 120 m/s, podczas gdy rdzenie procesorów elektronicznych mogą przesyłać dane po łączach optycznych z prędkością światła (300 000 000 m/s)[21]. Powolność przekazywania sygnałów neuronalnych ogranicza wielkość biologicznego mózgu, o ile ma zostać zachowane jego działanie jako pojedynczej jednostki obliczeniowej. Dla przykładu: aby opóźnienie w komunikacji zwrotnej pomiędzy dwoma dowolnymi elementami systemu nie przekraczało 10 ms, biologiczny mózg nie może być większy niż 0,11 m^3. Natomiast system elektroniczny może mieć wielkość 6,1×10^17 m^3, co odpowiada wielkości planety karła i różnicy osiemnastu rzędów wielkości[22].

- Liczba elementów obliczeniowych. Ludzki mózg ma nieco poniżej 100 miliardów neuronów[23]. Jest mniej więcej trzy i pół razy większy niż mózg szympansa (choć jednocześnie pięć razy mniejszy niż mózg kaszalota)[24]. Liczbę neuronów posiadanych przez żywe stworzenia ograniczają oczywiście pojemność czaszki i ograniczenia metaboliczne, lecz w przypadku większych mózgów istotną rolę mogą odgrywać również inne czynniki (takie jak chłodzenie, czas rozwoju oraz opóźnienie przewodzenia sygnałów — patrz: poprzednie punkty). Sprzęt komputerowy poddaje się z kolei skalowaniu właściwie w nieskończoność, a ograniczenia fizyczne pojawiają się bardzo późno[25]. Superkomputery mogą zajmować przestrzeń odpowiadającą wielkim halom magazynowym lub jeszcze większą, przy czym ich potencjał może zostać rozbudowany o zasoby dostępne zdalnie za pośrednictwem łączy światłowodowych[26].

- Pojemność pamięci. Ludzka pamięć robocza umożliwia przechowywanie w danym momencie nie więcej niż czterech czy pięciu kawałków informacji[27]. Chociaż mylące byłoby porównywanie wielkości ludzkiej pamięci roboczej bezpośrednio z ilością RAM-u komputera cyfrowego, jest oczywiste, że sprzętowa przewaga inteligencji cyfrowej umożliwi jej posiadanie pojemniejszej pamięci roboczej. Takie umysły mogą dzięki temu zyskać intuicyjne zrozumienie złożonych relacji, z którymi ludzie radzą sobie bardzo nieudolnie za pomocą mozolnych obliczeń[28]. Ludzka pamięć długotrwała również jest ograniczona, choć nie jest jasne, czy jesteśmy w stanie wyczerpać jej pojemność na przestrzeni przeciętnego ludzkiego życia — tak powolne jest tempo akumulowania przez nas informacji (według jednego z szacunków umysł dorosłego człowieka przechowuje około jednego miliarda bitów — kilka rzędów wielkości mniej niż smartfon z niższej półki)[29]. Zarówno ilość przechowywanej informacji, jak i prędkość, z jaką można uzyskać do niej dostęp, mogłyby być znacznie większe w mózgu maszynowym niż biologicznym.

- Niezawodność, długość życia, czujniki i tak dalej. Myślące maszyny mogą mieć wiele innych zalet sprzętowych. Dla przykładu: neurony biologiczne są mniej niezawodne niż tranzystory[30]. Ponieważ zaszumione przetwarzanie danych w mózgach biologicznych wymusza konieczność stosowania redundantnych mechanizmów kodowania wykorzystujących do zakodowania jednego bitu informacji wiele elementów, mózg cyfrowy może osiągnąć wyższą efektywność dzięki zastosowaniu niezawodnych, precyzyjnych elementów obliczeniowych. Biologiczne mózgi męczą się po kilku godzinach pracy, a po kilku dekadach osobniczego życia zaczynają się trwale degenerować. Mikroprocesory nie mają takich ograniczeń. Dopływ danych do myślącej maszyny można zwiększyć, dodając do niej miliony czujników. Zależnie od wykorzystanej technologii maszyna może się składać z rekonfigurowalnych komponentów, które można optymalizować pod kątem zmieniających się wymogów kolejnych zadań, podczas gdy architektura mózgu biologicznego w znacznej mierze ustalona jest już w dniu narodzin człowieka i w niewielkim jedynie stopniu modyfikowalna (choć w szczegółach połączenia synaptyczne mogą się zmieniać nawet w tak krótkich przedziałach czasowych jak dni)[31].

Obecnie moc obliczeniowa biologicznego mózgu nadal wypada korzystnie w porównaniu z komputerami cyfrowymi, chociaż najnowocześniejsze superkomputery osiągają już taki poziom wydajności, który plasuje je w zakresie wiarygodnych szacunków mocy obliczeniowej ludzkiego mózgu[32]. Sprzęt jest jednak szybko doskonalony i ostateczne granice jego wydajności leżą znacznie dalej niż granice wydajności biologicznych struktur obliczeniowych.

Umysły cyfrowe będą również czerpać korzyści ze znacznych przewag w aspekcie oprogramowania:

- Redagowalność. Łatwiej jest eksperymentować z rozmaitymi parametrami oprogramowania niż manipulować strukturami neuronalnymi. Dla przykładu: przy emulacji całego mózgu można z łatwością sprawdzić, co się stanie, gdy się doda więcej neuronów w określonym obszarze kory mózgowej lub też zwiększy się lub zmniejszy ich pobudliwość. Przeprowadzanie takich eksperymentów na mózgach istot żywych byłoby znacznie trudniejsze.

- Kopiowalność. W przypadku oprogramowania można szybko wykonać dowolnie dużo wiernych kopii, które zostaną uruchomione na dostępnej platformie sprzętowej. Tempo reprodukcji mózgów biologicznych jest natomiast bardzo powolne, a każdy nowy egzemplarz startuje w życie zupełnie bezradny, nie pamiętając nic z tego, czego jego rodzice nauczyli się w ciągu własnego życia.

- Koordynacja celów. Ludzkie społeczności nęka nieefektywność wynikająca z tego, że prawie niemożliwe jest osiągnięcie przez członków dowolnej dużej grupy całkowitej jednomyślności co do jej celów — przynajmniej dopóki nie uda się skłonić ludzi do powszechnej uległości za pomocą narkotyków lub selekcji genetycznej. „Skopiowany ród” (grupa identycznych lub prawie identycznych programów połączonych wspólnym celem) uniknąłby tego rodzaju problemów z koordynacją.

- Współdzielenie pamięci. Mózgi biologiczne potrzebują długiego okresu szkolenia i kształcenia pod okiem mentorów, natomiast mózgi cyfrowe mogłyby pozyskiwać nowe wspomnienia i umiejętności, po prostu wymieniając się plikami danych. Populacja miliarda kopii programu sztucznej inteligencji mogłaby synchronizować okresowo swoje bazy danych, aby wszystkie egzemplarze programu wiedziały wszystko to, czego nauczył się każdy z nich w ciągu poprzedniej godziny (bezpośredni transfer pamięci wymaga ustandaryzowanych formatów reprezentacji danych, więc łatwa wymiana treści na wysokim poziomie poznawczym nie byłaby możliwa pomiędzy zupełnie dowolną parą maszynowych umysłów — w szczególności nie byłaby możliwa pomiędzy emulacjami mózgu pierwszej generacji).

- Nowe, wyspecjalizowane moduły i algorytmy. Percepcja wzrokowa wydaje nam się łatwa i niemęcząca, i zupełnie nie przypomina rozwiązywania problemów z podręcznika geometrii, a wszystko to pomimo tego, że zrekonstruowanie z dwuwymiarowych wzorców stymulujących nasze siatkówki trójwymiarowego modelu świata zapełnionego rozpoznawalnymi obiektami wymaga ogromnej liczby obliczeń. Wydaje się to łatwe, bo mamy wyspecjalizowaną niskopoziomową maszynerię neuronalną do przetwarzania informacji wzrokowej. To niskopoziomowe przetwarzanie zachodzi nieświadomie i automatycznie, nie pozbawiając nas energii mentalnej i nie wymagając świadomej uwagi. Odbiór muzyki, posługiwanie się językiem, poznanie społeczne i inne formy przetwarzania informacji, które są „naturalne” dla nas, ludzi, wydają się analogicznie wspierane przez wyspecjalizowane moduły neuroobliczeniowe. Sztuczny umysł, który posiadałby tego rodzaju wyspecjalizowane wsparcie w innych dziedzinach poznawczych, które we współczesnym świecie zyskały na znaczeniu — takich jak inżynieria, programowanie komputerowe i planowanie biznesowe — zyskałby dużą przewagę nad naszymi umysłami, ponieważ one w myśleniu o takich rzeczach muszą polegać na topornych zdolnościach poznawczych o charakterze ogólnym. Mogą również zostać opracowane nowe algorytmy, które wykorzystają specyficzne możliwości sprzętu cyfrowego, takie jak zdolność do szybkiego dokonywania obliczeń sekwencyjnych.

Przewaga, którą mogą ostatecznie uzyskać myślące maszyny, wynikająca z możliwości zarówno sprzętu, jak i oprogramowania, jest gigantyczna[33]. Jak szybko uda im się jednak zdobyć tę potencjalną przewagę? Odpowiedzią na to pytanie zajmiemy się w kolejnym rozdziale.

Rozdział 4.
Dynamika eksplozji inteligencji

Kiedy już maszyny dorównają ludziom pod względem ogólnej zdolności rozumowania, ile czasu zajmie im wspięcie się na poziom bezdyskusyjnej superinteligencji? Czy to przejście będzie stopniowe i powolne, wręcz przeciągające się w czasie, czy też będzie raptowne, zgoła eksplozywne? W tym rozdziale przeanalizujemy dynamikę przejścia do superinteligencji jako funkcję mocy optymalizacji i oporności systemu. Zastanowimy się nad tym, co wiemy i czego możemy rozsądnie domniemywać, jeśli chodzi o zachowanie tych dwóch czynników w pobliżu właściwego ludziom poziomu inteligencji ogólnej.

Moment i prędkość odejścia

Zważywszy na to, że maszyny w końcu znacząco przewyższą istoty żywe pod względem inteligencji ogólnej, lecz zdolności poznawcze maszyn są obecnie znacznie skromniejsze niż zdolności poznawcze ludzi, można się zastanawiać, jak szybko dojdzie do tej zamiany miejsc. Pytanie, które sobie tutaj zadajemy, należy znacząco odróżnić od pytania, które stawiamy w rozdziale 1., gdzie to zastanawialiśmy się, ile jeszcze dzieli nas od zbudowania maszyny dysponującej inteligencją ogólną na poziomie człowieka. W tej chwili interesuje nas odpowiedź na następujące pytanie: „Kiedy już taka maszyna zostanie zbudowana, ile minie czasu, zanim stanie się bezdyskusyjnie superinteligentna?”. Zauważmy, że można sądzić, że minie jeszcze sporo czasu, zanim maszyny osiągną ludzki poziom inteligencji (można też twierdzić, że nie sposób tego oszacować), a mimo to mieć silne przekonanie, że kiedy już do tego dojdzie, dalszy wzrost do poziomu bezdyskusyjnej superinteligencji będzie już bardzo szybki.

Pomocne może być myślenie o tych kwestiach w kategoriach pewnych schematów, chociaż takie postępowanie zakłada chwilowe odłożenie na bok niektórych zastrzeżeń i komplikujących sprawę szczegółów. Rozważmy zatem wykres, który przedstawia zdolności intelektualne większości myślących maszyn w funkcji czasu (rysunek 7.).

Rysunek 7. Krzywa odejścia. Istotne jest rozróżnienie dwóch pytań: „Czy odejście się dokona, a jeśli tak, to kiedy?” oraz „Kiedy już odejście rzeczywiście się dokona, to jakie będzie jego tempo?”. Można na przykład utrzymywać, że minie bardzo wiele czasu, zanim dojdzie do odejścia, ale kiedy już do niego dojdzie, rozwój wydarzeń znacznie przyspieszy. Kolejne istotne pytanie (niezilustrowane na tym rysunku) brzmi: „Jaka część światowej gospodarki weźmie udział w tym odejściu?”. Te pytania są ze sobą powiązane, ale odmienne

Linia pozioma podpisana jako „Poziom człowieka” reprezentuje faktyczny potencjał intelektualny reprezentatywnego dorosłego mogącego korzystać ze źródeł informacji i pomocy technologicznych aktualnie dostępnych w krajach rozwiniętych. Obecnie większość zaawansowanych systemów SI zgodnie z każdą rozsądną miarą ogólnych możliwości intelektualnych znajduje się znacznie poniżej tego standardowego poziomu człowieka. W pewnym momencie w przyszłości maszyna może osiągnąć ten poziom odniesienia (który uznamy za niezmienny, opisując nim sytuację z roku, powiedzmy, 2014, nawet jeśli w kolejnych latach ludzki potencjał intelektualny wzrośnie); będzie to początek nowego etapu. Zdolności systemu będą nadal rosły i w pewnej chwili system dorówna połączonym potencjałom intelektualnym całej ludzkości (znów zakotwiczonym w teraźniejszości); ten poziom odniesienia możemy określić mianem „poziomu cywilizacji”. W końcu, jeśli zdolności systemu będą nadal rosnąć, osiągnie on „silną superinteligencję” — poziom inteligencji znacznie przewyższającej połączony potencjał intelektualny współczesnej ludzkości. Osiągnięcie silnej superinteligencji wyznaczy moment zakończenia „fazy odejścia”, chociaż system może zyskiwać kolejne możliwości również później. Na pewnym etapie fazy odejścia system może minąć kamień milowy, który określimy mianem „punktu przejścia” — wyznacza on moment, od którego dalsze doskonalenie systemu wynika głównie z jego własnych działań, a nie z pracy wkładanej w rozwój systemu przez innych[1] (możliwość zaistnienia takiego przejścia stanie się istotna w podrozdziale na temat siły optymalizacyjnej oraz eksplozywności, który pojawi się w dalszej części tego rozdziału).

Mając w głowie ten schemat, możemy wyróżnić trzy klasy scenariuszy okresu przejściowego — scenariuszy, w których systemy cyfrowe przechodzą od inteligencji właściwej ludziom do superinteligencji — przyjmując za kryterium tempo przemiany, a więc wolną, szybką lub umiarkowanie szybką fazę odejścia.

Odejście powolne

Powolne odejście zachodzi w dłuższym okresie liczonym w dekadach lub stuleciach. Scenariusze powolnego odejścia dają idealną sposobność przystosowania ludzkiej polityki do zmian i wypracowania stosownej reakcji na nie. Rozmaite podejścia będzie można wypróbowywać kolejno, a nowych specjalistów szkolić systematycznie i w praktyce weryfikować ich kompetencje. Grupy, które będą miały poczucie, że wydarzenia rozwijają się na ich niekorzyść, będą mogły zmobilizować poparcie społeczne. Jeśli okaże się, że potrzebny jest jakiś nowy rodzaj infrastruktury bezpieczeństwa lub monitorowanie na szeroką skalę badaczy zajmujących się analizowaniem sztucznej inteligencji, tego rodzaju systemy będzie można opracować i wdrożyć. Kraje obawiające się wyścigu zbrojeń w obszarze sztucznej inteligencji będą miały czas, by podjąć próby wynegocjowania stosownych traktatów i opracować mechanizmy ich wyegzekwowania. Większość przygotowań podjętych przed rozpoczęciem fazy powolnego odejścia straci aktualność, gdy u zarania nowej ery zaczną się stopniowo pojawiać lepsze rozwiązania.

Odejście szybkie

Do szybkiego odejścia dochodzi w krótkim czasie liczonym w minutach, godzinach lub dniach. Scenariusze szybkiego odejścia nie pozostawiają ludzkości wiele czasu do namysłu. Być może nikt nawet nie zauważy nic nadzwyczajnego, dopóki partia nie będzie już przegrana. W scenariuszu szybkiego odejścia los ludzkości zależy zasadniczo od poczynionych wcześniej przygotowań. Na najwolniejszym krańcu spektrum scenariuszy szybkiego odejścia może istnieć możliwość podjęcia przez ludzi pewnych prostych działań analogicznych do szybkiego otwarcia „atomowej walizki”, ale wszystkie te działania będą prymitywne, jeśli nie zostaną zaplanowane i zaprogramowane zawczasu.

Odejście umiarkowanie szybkie

Umiarkowanie szybkie odejście zachodzi w umiarkowanie długim okresie liczonym w miesiącach lub latach. Scenariusze umiarkowanie szybkiego odejścia dają ludziom szansę zareagowania, lecz nie pozostawiają zbyt wiele czasu na analizę sytuacji, przetestowanie rozmaitych wariantów lub rozwiązanie skomplikowanych problemów koordynacyjnych. Nie ma wystarczająco dużo czasu, by opracować i wdrożyć nowe systemy (na przykład: systemy polityczne, mechanizmy monitorowania lub protokoły bezpieczeństwa sieci komputerowych), lecz w tych nowych warunkach można zastosować istniejące systemy.

W trakcie powolnego odejścia będzie mnóstwo czasu na to, by informacja o nim dotarła do opinii publicznej, natomiast przy odejściu umiarkowanie szybkim wydarzenia mogą się rozgrywać niejawnie. Krąg wtajemniczonych może się ograniczać do niewielkiej grupy, podobnie jak w przypadku tajnych, finansowanych przez państwo wojskowych programów badawczych. Projekty komercyjne, małe zespoły akademickie czy ekipy „dziewięciu hakerów działających w piwnicy” również mogą zapewnić sobie niejawność działania — chociaż jeśli perspektywa eksplozji inteligencji znajdzie się w polu zainteresowania państwowych agencji wywiadowczych jako priorytet bezpieczeństwa krajowego, wówczas najbardziej obiecujące projekty prywatne będą prawdopodobnie ściśle monitorowane. Państwo, na terenie którego rozwija się taki projekt (lub dominujące mocarstwo), będzie miało wówczas możliwość znacjonalizowania lub zamknięcia dowolnego projektu, który przejawia symptomy rozpoczynającego się odejścia. Gwałtowne tempo szybkiego odejścia nie pozostawiłoby zbyt wiele czasu ani na ujawnienie całej sprawy, ani na podjęcie przez kogokolwiek sensownych działań, gdyby jednak została ujawniona. Osoby z zewnątrz mogłyby jednak podjąć interwencję jeszcze przed rozpoczęciem fazy odejścia, gdyby miały przekonanie, że konkretny projekt zbliża się do osiągnięcia sukcesu.

Scenariusze umiarkowanie szybkiego odejścia doprowadziłyby do geopolitycznych, społecznych i gospodarczych zawirowań, kiedy to grupy i jednostki podjęłyby samorzutnie działania umożliwiające im skorzystanie na dokonującej się transformacji. Tego rodzaju niepokoje — gdyby do nich doszło — mogłyby opóźnić wysiłki zmierzające do zorganizowania i skoordynowania przemyślanej odpowiedzi. Mogłyby również stworzyć warunki dla rozwiązań bardziej radykalnych, niż byłoby to możliwe w spokojniejszych czasach. Dla przykładu: w scenariuszu umiarkowanie szybkiego odejścia, kiedy to tanie i mające duży potencjał emulacje lub inne umysły cyfrowe zalałyby stopniowo, przez lata, rynek pracy, można byłoby wyobrazić sobie masowe protesty zwolnionych pracowników wywierających naciski na rząd, by zwiększyć zasiłki dla bezrobotnych lub zagwarantować wszystkim ludziom płacę zapewniającą przeżycie, lub też ustanowić specjalne podatki, lub nałożyć wymogi dotyczące płacy minimalnej na pracodawców, którzy zatrudniają pracowników emulacje. Aby taka polityka przyniosła trwałe uspokojenie sytuacji, wsparcie dla niej należałoby w jakiś sposób wbudować w trwałe struktury władzy. Podobne problemy mogą się ujawnić wówczas, gdy odejście będzie nie umiarkowanie szybkie, lecz powolne, ale zachwianie równowagi i raptowna zmiana w umiarkowanie szybkich scenariuszach może stwarzać nadzwyczajne możliwości niewielkim grupom, które zdołają wywrzeć nieproporcjonalnie duży wpływ na rozwój wydarzeń.

Niektórym czytelnikom może się wydawać, że spośród tych trzech scenariuszy najbardziej prawdopodobne jest odejście powolne, mniej prawdopodobne odejście umiarkowanie szybkie, a odejście szybkie jest całkowicie niemożliwe. Objawem nadmiaru wyobraźni może się wydawać przypuszczenie, że w ciągu godziny czy dwóch świat może się radykalnie zmienić, a ludzkość może zostać pozbawiona swojego miejsca na szczycie hierarchii poznania. Nigdy dotąd w historii ludzkości nie doszło do tak szybkiej zmiany, a jej najbliższe odpowiedniki — rewolucja neolityczna i przemysłowa — rozegrały się na przestrzeni znacznie dłuższych okresów (wieków rozciągających się na tysiąclecia w przypadku tej pierwszej, dziesięcioleci przechodzących w wieki w przypadku tej drugiej). A zatem podstawowe tempo przemiany, jaką pociągną za sobą scenariusze szybkiego lub umiarkowanie szybkiego odejścia, w kategoriach prędkości i skali postulowanej zmiany wynosi zero — jeśli odrzucimy mity i wierzenia religijne, nie znajdziemy dla niego precedensu[2].

Mimo to w tym rozdziale przedstawimy pewne powody pozwalające sądzić, że scenariusz powolnej przemiany jest nieprawdopodobny. Kiedy już odejście się rozpocznie (jeśli do niego dojdzie), będzie miało charakter eksplozywny.

Aby rozpocząć analizę kwestii szybkości odejścia, możemy sobie wyobrazić tempo wzrostu inteligencji systemu jako funkcję (rosnącą monotonicznie) dwóch zmiennych: „siły optymalizacyjnej”, czyli ważonego jakością wysiłku projektowego wkładanego w zwiększenie inteligencji systemu, oraz podatności systemu na zastosowanie danej ilości takiej siły. Odwrotność podatności systemu na zmiany możemy określić mianem „oporności” i zapisać:

Do momentu jasnego określenia, jak zamierzamy oszacować ilościowo inteligencję, wysiłek projektowy i oporność, to wyrażenie pozostaje wyłącznie jakościowe. Możemy jednak przynajmniej dostrzec, że inteligencja systemu raptownie wzrośnie, jeśli albo w jej podniesienie zostanie włożona duża ilość umiejętnej pracy, a przy tym zadanie to nie okaże się zbyt trudne, albo podjęty zostanie przeciętny wysiłek, a przy tym oporność systemu będzie niewielka (albo jedno i drugie). Jeśli wiemy, ile trudu projektowego włożono w udoskonalenie konkretnego systemu oraz znamy tempo podnoszenia poziomu inteligencji, którym owocuje ten trud, możemy obliczyć oporność systemu.

Dalej da się zauważyć, że ilość siły optymalizacyjnej włożonej w udoskonalenie wydajności dowolnego systemu waha się w czasie i zależy od systemu. Oporność systemu może być różna zależnie od tego, w jakim stopniu ten system już został zoptymalizowany. Często najprostsze poprawki wprowadzane są na początku, czego efektem jest stopniowy spadek osiągnięć (wzrostu oporności), kiedy wszystkie nisko wiszące owoce zostaną już zerwane. Jednakże mogą również zostać wprowadzone udoskonalenia, które ułatwiają dokonywanie kolejnych poprawek, co spowoduje w konsekwencji kaskadę usprawnień. Proces układania tych puzzli zaczyna się bardzo prosto — łatwo jest znaleźć rogi i brzegi. Potem oporność rośnie, bo kolejne kawałki jest już trudniej dopasować. Kiedy układanka jest już prawie ułożona, przestrzeń poszukiwań się zawęża i cały ten proces znów staje się łatwiejszy.

Aby pociągnąć nasze dociekania dalej, musimy się zastanowić, jak mogą się kształtować oporność i siła optymalizacyjna w krytycznych przedziałach czasowych podczas fazy odejścia. Zajmie nas to przez kilka kolejnych stron.

Oporność

Zacznijmy od oporności. Perspektywa zależy tutaj od typu rozważanego systemu. Aby uzyskać pełen obraz, przyjrzymy się najpierw szybko oporności, z którą się spotkamy, podążając ku superinteligencji nieobejmującej myślących maszyn. W tych scenariuszach oporność wydaje się dość wysoka. Stwierdziwszy to, powrócimy do naszego głównego przypadku, który zakłada, że odejście nastąpi dzięki powstaniu myślących maszyn. Tutaj z kolei oporność w kluczowym punkcie przejścia wydaje się dość niska.

Niemaszynowe ścieżki inteligencji

Podnoszenie poziomu zdolności poznawczych poprzez usprawnianie systemu opieki zdrowotnej i poprawę odżywiania cechuje szybki spadek uzyskiwanych korzyści[3]. Ogromną poprawę można uzyskać dzięki wyeliminowaniu naprawdę poważnych niedoborów żywieniowych, a tymczasem we wszystkich krajach — z wyjątkiem tych najbiedniejszych — najpoważniejsze niedobory zostały już w dużej mierze wyeliminowane. Dalsze podnoszenie całkiem już wystarczających racji żywnościowych spowoduje najwyżej przybieranie przez ludzi na wadze. Również edukacja podlega już przypuszczalnie zasadzie malejących przychodów; w skali globalnej odsetek utalentowanych ludzi nieposiadających dostępu do wysokiej jakości kształcenia jest nadal znaczny, ale cały czas się zmniejsza.

W perspektywie kolejnych dekad leki prokognitywne mogą nieco podnieść poziom zdolności intelektualnych, lecz kiedy zostaną już wykorzystane rezerwy proste — co pozwoli uzyskać być może trwałe podniesienie poziomu energii umysłowej i zdolności koncentracji w połączeniu z lepszą kontrolą tempa konsolidacji pamięci długotrwałej — dalsza poprawa okaże się coraz trudniejsza. W przeciwieństwie jednak do poprawy żywienia i opieki zdrowotnej wykorzystanie inteligentnych farmaceutyków może przez dłuższy czas przynosić stosunkowo łatwe do osiągnięcia zyski w zakresie zdolności poznawczych. Neurofarmakologia jest wciąż w powijakach i nadal brakuje nam podstawowej wiedzy koniecznej do umiejętnego wpływania na funkcjonowanie zdrowego mózgu. To współczesne zapóźnienie może wynikać częściowo z zaniedbania medycyny doskonalącej jako pełnoprawnej dziedziny badań. Jeśli postępy w dziedzinie neurobiologii i farmakologii dokonywać się będą nadal bez poświęcania należytej uwagi podnoszeniu zdolności poznawczych, to gdy rozwój nootropów stanie się wreszcie priorytetem, poprawa może zostać uzyskana względnie łatwo[4].

Genetyczne poprawianie zdolności poznawczych ma profil oporności o kształcie litery U, przypominający profil podnoszenia poziomu intelektualnego za pomocą leków nootropowych, lecz potencjalne zyski są większe. Oporność zaczyna się na wysokim poziomie, kiedy to jedyną dostępną metodą genetycznego poprawiania zdolności poznawczych jest hodowla selektywna prowadzona w wielu kolejnych pokoleniach, czyli coś, co z oczywistych względów trudno jest przeprowadzić w skali globalnej. Poprawki genetyczne staną się prostsze, gdy pojawią się techniki tanich i skutecznych testów genetycznych i selekcji embrionów (a zwłaszcza gdy iteracyjna selekcja embrionów stanie się możliwa w przypadku ludzi). Nowe techniki umożliwią wykorzystanie istniejącej puli genowej genetycznie zróżnicowanej populacji ludzi do uzyskania alleli podnoszących poziom inteligencji, lecz kiedy najlepsze z istniejących alleli zostaną już włączone w pakiety poprawek genetycznych, osiąganie dalszych korzyści stanie się coraz trudniejsze. Potrzeba większej innowacyjności w podejściu do modyfikacji genetycznych może wówczas zwiększyć oporność. W scenariuszu doskonalenia genetycznego istnieją pewne ograniczenia co do tempa postępów, wynikające zwłaszcza z nieuniknionego okresu dojrzewania wiążącego się z interwencjami na poziomie embrionalnym — w dużym stopniu niweluje to prawdopodobieństwo zrealizowania się scenariusza szybkiego lub umiarkowanie szybkiego odejścia[5]. Kolejnym czynnikiem ograniczającym jest możliwość zastosowania selekcji embrionów jedynie w przypadku zapłodnienia pozaustrojowego, co spowolni jej upowszechnianie.

Oporność w scenariuszu mózg – komputer wydaje się początkowo bardzo wysoka. W mało prawdopodobnym scenariuszu, zgodnie z którym jakimś sposobem zyskamy łatwość wszczepiania do mózgu implantów i uzyskiwania ich wysokopoziomowej integracji funkcjonalnej z korą mózgową, oporność może gwałtownie spaść; w długim okresie trudność dokonywania w tym scenariuszu postępów będzie analogiczna do tej, która się wiąże z doskonaleniem emulacji lub sztucznej inteligencji, gdyż gros inteligencji układu mózg – komputer znajdować się będzie ostatecznie po stronie komputera.

Oporność generalnego usprawniania sieci i organizacji jest wysoka. W przezwyciężanie tej oporności wkłada się znaczący wysiłek, którego owocem jest coroczne podnoszenie całkowitego potencjału ludzkości o przypuszczalnie nie więcej niż kilka procent[6]. Co więcej, w wyniku zmian zachodzących w otoczeniu zewnętrznym i wewnętrznym organizacji nawet te z organizacji, które w pewnym momencie osiągnęły efektywność działania, po jakimś czasie okazują się nieprzystosowane do nowych okoliczności. Ciągły wysiłek reformatorski wymagany jest więc choćby po to, by zapobiec degenerowaniu się organizacji. Można sobie zapewne wyobrazić stopniową zmianę tempa podnoszenia przeciętnej efektywności organizacji, lecz trudno dostrzec, jak choćby najbardziej radykalny scenariusz tego rodzaju mógłby zaowocować czymkolwiek szybszym niż powolne odejście, ponieważ organizacje zarządzane przez ludzi skazane są na pracę w ludzkiej skali czasowej. Internet nadal ekscytująco przesuwa granice, stwarzając wiele sposobności podniesienia poziomu inteligencji zbiorowej, a oporność w tym przypadku wydaje się w tym momencie umiarkowana; postęp jest dość szybki, lecz mnóstwo wysiłku wkłada się w to, by w ogóle się dokonywał. Można się spodziewać, że oporność wzrośnie, gdy nisko wiszące owoce (w rodzaju wyszukiwarek czy poczty elektronicznej) zostaną zerwane.

Emulacja i scenariusze sztucznej inteligencji

Trudno oszacować trudności związane z postępem na drodze do emulacji całego mózgu, lecz możemy wskazać pewien konkretny przyszły kamień milowy: udaną emulację mózgu owada. Ten kamień milowy znajduje się na wzgórzu, którego zdobycie mogłoby nam pomóc obrzucić spojrzeniem cały obszar rozciągający się przed nami, pozwalając nam przyzwoicie oszacować oporność stopniowego podnoszenia poziomu technologii, która umożliwi nam w końcu dokonanie transferu umysłu człowieka (zakończony powodzeniem transfer umysłu małego ssaka, na przykład myszy, stanowiłby jeszcze dogodniejszy punkt wyjścia, stwarzający nam szansę bardziej precyzyjnej oceny dystansu dzielącego nas od emulacji mózgu człowieka). Natomiast na ścieżce wiodącej ku sztucznej inteligencji mogą nie występować tak oczywiste kamienie milowe czy punkty obserwacyjne otwierające nową perspektywę. Jest całkiem prawdopodobne, że poszukiwania sztucznej inteligencji prowadzone będą w gąszczu beznadziejnie, wydawałoby się, splątanym, zanim nieoczekiwany przełom nie pozwoli nam nagle dostrzec linii mety znajdującej się na polance zaledwie kilka kroków dalej.

Przypomnijmy sobie rozróżnienie między tymi dwoma pytaniami: Jak trudno jest osiągnąć poziom zdolności poznawczych zbliżony do ludzkiego? Jak trudno jest przejść z tego poziomu na poziom inteligencji nadludzkiej? Pierwsze pytanie jest istotne głównie ze względu na możliwość przewidzenia, ile czasu dzieli nas jeszcze od rozpoczęcia fazy odejścia. To drugie jest kluczem do oszacowania przebiegu odejścia, co w tym momencie jest naszym celem. I chociaż może kusić postawienie tezy, że przejście z poziomu ludzkiego na nadludzki może być trudniejsze — do postawienia tego kroku dojdzie w końcu „na większej wysokości”, na której trzeba będzie dodatkowo zwiększyć potencjał systemu mającego już i tak ogromne możliwości — to byłoby to założenie bardzo niebezpieczne. Jest całkiem prawdopodobne, że gdy maszyna pod względem inteligencji zrówna się z człowiekiem, oporność spadnie.

Rozważmy najpierw emulację mózgu. Trudności związane z pierwszym transferem ludzkiego umysłu są całkiem innego rodzaju niż trudności wiążące się z doskonaleniem istniejących emulacji. Do stworzenia pierwszej emulacji konieczne jest rozwiązanie ogromnych problemów technicznych, zwłaszcza w odniesieniu do wymaganych technik skanowania i interpretacji obrazów. Ten krok może również wymagać znacznego kapitału fizycznego — nie można wykluczyć konieczności wykorzystania przemysłowego parku maszynowego dysponującego setkami urządzeń skanujących wysokiej przepustowości. Podniesienie jakości istniejących emulacji wiąże się natomiast z poprawianiem algorytmów i struktur danych, co jest zasadniczo zagadnieniem programistycznym, które może się okazać znacznie prostsze niż doskonalenie technik obrazowania potrzebnych do stworzenia pierwotnego modelu. Programiści mogą bez trudu eksperymentować z takimi sztuczkami, jak zwiększanie liczby neuronów w rozmaitych obszarach korowych, by sprawdzić, jaki to wywiera wpływ na wydajność emulacji[7]. Mogą również pracować nad optymalizacją kodu i znajdowaniem prostszych modeli obliczeniowych zachowujących zasadniczą funkcjonalność pojedynczych neuronów lub ich małych sieci. Jeśli ostatnim warunkiem technicznym, który należy spełnić, jest skanowanie lub transpozycja skanu do postaci cyfrowej, natomiast mocą obliczeniową dysponuje się we względnej obfitości, to być może niewystarczająco wiele uwagi poświęcono w fazie rozwoju efektywności implementacji i niewielkim nakładem sił i środków można uzyskać poprawę efektywności obliczeniowej. (Zachodzi również prawdopodobieństwo, że dojdzie do bardziej fundamentalnej reorganizacji architektury, lecz to sprowadza nas ze ścieżki emulacji i wprowadza na terytorium sztucznej inteligencji).

Inną metodą poprawienia bazy kodu już po uzyskaniu pierwszej emulacji jest zeskanowanie dodatkowych mózgów charakteryzujących się odmiennymi lub nadzwyczajnymi umiejętnościami i uzdolnieniami. Wzrost produktywności pojawiłby się również w konsekwencji przystosowania struktur organizacyjnych i schematów przepływu danych do unikalnych atrybutów cyfrowych umysłów. Ponieważ w gospodarce ludzkiej nie występowali do tej pory pracownicy, których można byłoby dosłownie skopiować, zresetować, uruchomić z rozmaitą prędkością i tak dalej, menedżerowie pierwszej puli emulacji mieliby ogromne pole do popisu, jeśli idzie o innowacje w zakresie praktyk zarządczych.

Kiedy już transfer ludzkiego umysłu stanie się możliwy, oporność — po początkowym gwałtownym spadku — może znów wzrosnąć. Wcześniej czy później najbardziej rażące nieefektywności implementacji zostaną usunięte, najbardziej obiecujące odmiany algorytmów przetestowane, a najłatwiej dostępne sposobności innowacji organizacyjnych wykorzystane. Biblioteka modeli zostanie tak rozbudowana, że gromadzenie skanów kolejnych mózgów będzie przynosić postęp niewiele większy niż praca z istniejącymi modelami. Ponieważ model można zwielokrotnić, a każdą kopię indywidualnie wykształcić w innej dziedzinie, wszystkiego tego dokonując z prędkością elektroniczną, może się okazać, że liczba mózgów, które trzeba będzie zeskanować, by uzyskać większość potencjalnych korzyści gospodarczych, jest niewielka. Może wystarczy nawet jeden mózg.

Innym potencjalnym powodem wzrostu oporności jest możliwość zorganizowania się emulacji lub ich biologicznych stronników w celu doprowadzenia do uchwalenia praw ograniczających wykorzystanie emulacji w charakterze pracowników, limitujących kopiowanie emulacji, zakazujących pewnego rodzaju eksperymentów na umysłach cyfrowych, konstytuujących prawa pracownicze oraz płacę minimalną dla emulacji i tak dalej. Możliwe również, że wydarzenia polityczne przybiorą inny obrót, przyczyniając się do spadku oporności. Może do tego dojść, jeśli początkowe ograniczenia w zastosowaniu emulowanej siły roboczej ustąpią niczym nieskrępowanemu jej wykorzystaniu w miarę narastania konkurencji i ujawniania się gospodarczych i strategicznych kosztów przestrzegania wyśrubowanych norm moralnych.

Jeśli chodzi o sztuczną inteligencję (myślące maszyny, które nie powstały w wyniku transferu ludzkiego umysłu), trudność podniesienia systemu z poziomu inteligencji ludzkiej na poziom inteligencji nadludzkiej metodą doskonalenia algorytmów zależy od atrybutów konkretnego systemu. Różne architektury mogą mieć bardzo różne oporności.

W niektórych sytuacjach oporność może być skrajnie niska. Dla przykładu: jeśli pojawienie się sztucznej inteligencji dorównującej człowiekowi opóźni się, gdyż programistom nie dane będzie doznać kluczowego olśnienia, to kiedy już w końcu dojdzie do przełomu, sztuczna inteligencja może jednym skokiem pokonać przestrzeń dzielącą zdolności intelektualne niedorównujące ludzkim do bezdyskusyjnie nadludzkiej inteligencji, nie ocierając się nawet o szczeble pośrednie. Inną sytuacją, w której oporność może się okazać skrajnie niska, jest ta, kiedy system SI osiągnie wysoki potencjał intelektualny poprzez dwa różne tryby przetwarzania danych. Aby zilustrować tę możliwość, załóżmy, że system SI składa się z dwóch podsystemów, z których jeden obejmuje specyficzne dla danej dziedziny techniki rozwiązywania problemów, a drugi ma ogólną zdolność rozumowania. Może dojść do sytuacji, w której drugi podsystem nie jest w stanie pokonać pewnego progu umiejętności, lecz nie wpływa to w żaden sposób na ogólną wydajność i potencjał systemu, bo rozwiązania, które proponuje drugi podsystem, i tak ustępują zawsze rozwiązaniom wygenerowanym przez podsystem dziedzinowy. Załóżmy teraz, że pewna niewielka „siła optymalizacyjna” zostaje zastosowana w odniesieniu do podsystemu rozumowania ogólnego, co daje w efekcie raptowne podniesienie jego możliwości. Początkowo nie zauważamy jakiegokolwiek podniesienia ogólnego potencjału systemu, co wskazuje na wysoką oporność. Kiedy jednak potencjał podsystemu ogólnego zastosowania przekroczy próg, poza którym proponowane przez niego rozwiązania zaczynają przewyższać rozwiązania generowane przez podsystem dziedzinowy, wydajność całego systemu zacznie nagle wzrastać w tempie równie gwałtownym, co wydajność podsystemu ogólnego, nawet gdy przykładana do niego „siła optymalizacyjna” pozostanie stała — gwałtownie spadła oporność systemu.

Jest również możliwe, że nasza naturalna skłonność patrzenia na inteligencję z perspektywy antropocentrycznej doprowadzi nas do niedoszacowania usprawnień w systemach niedorównujących potencjałem intelektualnym człowiekowi, a tym samym przeszacowania oporności. Eliezer Yudkowsky, teoretyk sztucznej inteligencji, który obszernie opisywał przyszłość myślących maszyn, ujmuje tę kwestię następująco:

Sztuczna inteligencja może dokonać pozornie raptownego skoku intelektualnego wyłącznie w rezultacie antropomorfizacji — ludzkiej skłonności do wyobrażania sobie „wioskowego głupka” i „Einsteina” jako dwóch przeciwnych krańców spektrum inteligencji, a nie dwóch niemal nierozróżnialnych punktów na skali umysłów jako takich. Wszystko, co głupsze od głupiego człowieka, może nam się wydawać po prostu „głupie”. Można sobie wyobrazić „strzałkę SI” przesuwającą się niestrudzenie po skali inteligencji, mijającą myszy i szympansy — przy czym SI wciąż pozostaje „głupia”, bo nie potrafi mówić płynnie w żadnym języku ani pisać artykułów naukowych — a potem pokonującą w ciągu zaledwie miesiąca lub w jakimś podobnie krótkim czasie niewielką przestrzeń dzielącą najtępszego idiotę od najmędrszego Einsteina[8] (patrz: rysunek 8.).

Rysunek 8. Skala mniej antropomorficzna? Z perspektywy antropocentrycznej przepaść dzielącą osobę głupią od inteligentnej może wydawać się znacząca, lecz z perspektywy mniej zaściankowej umysły tej dwójki niemal się od siebie nie różnią[9] Prawie na pewno zbudowanie myślącej maszyny dorównującej wioskowemu idiocie okaże się trudniejsze i potrwa dłużej niż jej udoskonalenie w taki sposób, by zyskała nadludzki potencjał intelektualny

Ostatecznym rezultatem powyższych rozważań jest stwierdzenie, że trudno przewidzieć, jak skomplikowane będzie udoskonalenie algorytmów pierwszej SI, która osiągnie poziom inteligencji ogólnej zbliżony do ludzkiego. Istnieje przynajmniej kilka możliwych okoliczności, w których oporność algorytmiczna okaże się niska. Lecz nawet jeśli oporność algorytmiczna będzie bardzo wysoka, nie musi to wykluczać sytuacji, w której całkowita oporność rzeczonej SI będzie niska. Proste może się bowiem okazać podniesienie inteligencji systemu w jakiś inny sposób niż poprzez doskonalenie jego algorytmów. Istnieją jeszcze dwa czynniki, które mogą się poprawić: zawartość informacyjna i sprzęt.

Po pierwsze, rozważmy ulepszenie zawartości informacyjnej. Poprzez „zawartość informacyjną” rozumiemy tutaj te fragmenty zasobów programowych systemu, które nie tworzą jego rdzennej architektury algorytmicznej. Zawartość informacyjna może na przykład obejmować bazy danych zachowanych perceptów, biblioteki specjalistycznych umiejętności oraz zapasy wiedzy deklaratywnej. W przypadku wielu rodzajów systemu rozróżnienie pomiędzy architekturą algorytmiczną a zawartością informacyjną jest bardzo nieostre; mimo to posłuży nam ono za łatwo dostępną, choć jedynie orientacyjną metodę zwrócenia uwagi na jedno z być może istotnych źródeł zwiększania potencjału intelektualnego myślących maszyn. Alternatywną metodą wyrażenia tej samej koncepcji jest stwierdzenie, że zdolność rozwiązywania problemów intelektualnych systemu można podnieść, nie tylko sprawiając, by system stał się inteligentniejszy, lecz również poszerzając zakres znanych mu informacji.

Rozważmy współczesne systemy SI takie jak TextRunner (projekt badawczy Uniwersytetu Waszyngtońskiego) lub Watson firmy IBM (zwycięzca teleturnieju Jeopardy!). Te systemy drogą analizy tekstu potrafią wydobywać pewne fragmenty informacji semantycznej. Chociaż nie rozumieją, co czytają — w takim sensie czy zakresie, w jakim człowiek rozumie czytany tekst — potrafią wydobywać z języka naturalnego znaczące ilości informacji i wykorzystywać te informacje, by wyciągać proste wnioski i odpowiadać na pytania. Potrafią się również uczyć na bazie własnych doświadczeń, budując coraz obszerniejsze i bardziej szczegółowe przedstawienia koncepcji w miarę natykania się na kolejne przypadki zastosowania tych koncepcji w praktyce. Zaprojektowano je tak, by przez większość czasu działały bez nadzoru (czyli poznawały ukryte struktury nieopisanych danych bez informacji zwrotnej na temat popełnianych błędów czy dokonanych słusznych wyborów i bez ludzkiego przewodnictwa), a do tego były szybkie i skalowalne. TextRunner, dla przykładu, pracuje na korpusie 500 milionów stron internetowych[10].

Teraz wyobraźmy sobie dalekiego potomka takiego systemu, który posiadł zdolność czytania ze zrozumieniem na poziomie dziesięcioletniego dziecka, lecz czyta teksty z prędkością systemu TextRunner (jego istnienie byłoby prawdopodobnie tożsame z istnieniem sztucznej inteligencji). A zatem wyobrażamy sobie system, który myśli znacznie szybciej i ma znacznie lepszą pamięć niż człowiek dorosły, ale wie znacznie mniej — być może efektem netto takiego układu byłaby sytuacja, w której powstały system odpowiada z grubsza człowiekowi pod względem ogólnych umiejętności rozwiązywania problemów, lecz jego oporność w aspekcie zawartości informacyjnej jest bardzo niska — tak niska, by przyspieszyć odejście. W ciągu kilku tygodni system przeczytałby i opanował wszystkie treści zawarte w Bibliotece Kongresu. Wówczas wiedziałby już znacznie więcej niż dowolna istota ludzka, a myślałby znacznie szybciej. Stałby się (przynajmniej słabo) superinteligentny.

System może zatem znacząco podnieść swoje faktyczne możliwości intelektualne, przyswajając wyprodukowane wcześniej treści zakumulowane na przestrzeni wieków przez ludzką naukę i cywilizację — dla przykładu czytając przez internet. Jeśli SI sięgnie poziomu człowieka, nie mając wcześniej dostępu do tego materiału lub nie będąc w stanie go przetrawić, to wówczas jej całkowita oporność będzie niska, nawet jeśli trudno będzie poprawić jej architekturę algorytmiczną.

Oporność w aspekcie zawartości informacyjnej jest istotną koncepcją również z punktu widzenia emulacji. Bardzo szybka emulacja ma przewagę nie tylko dlatego, że szybciej od ludzi potrafi wykonać stawiane przed nią zadania, ale też dlatego, że umie zgromadzić więcej aktualnych treści w rodzaju informacji i umiejętności istotnych z punktu widzenia danego zadania. Jednakże wykorzystanie pełnego potencjału szybkiej akumulacji informacji wymaga od systemu odpowiednio dużej pojemności pamięci. Nie ma sensu czytanie całej biblioteki, jeśli zapomnisz wszystko, czego dowiedziałeś się o abisalu, zanim dojdziesz do ablacji. O ile system SI będzie prawdopodobnie miał stosowną pojemność pamięci, o tyle emulacje odziedziczą niektóre z ograniczeń swoich ludzkich pierwowzorów. Aby zyskać możliwość nieskrępowanego uczenia się, mogą potrzebować usprawnienia architektury.

Dotychczas rozważyliśmy oporność architektury i zawartości informacyjnej, zastanawiając się nad tym, jak trudno będzie udoskonalić oprogramowanie myślącej maszyny, która dorównała inteligencją człowiekowi. Teraz przyjrzyjmy się trzeciej metodzie podniesienia inteligencji myślącej maszyny: udoskonalenia jej sprzętu. Jaka będzie oporność usprawnień sprzętowych?

Zaczynając od inteligentnego oprogramowania (emulacji lub sztucznej inteligencji), można spotęgować inteligencję zbiorową, po prostu instalując dodatkowe komputery, na których zostaną uruchomione kolejne instancje programu[11]. Można również spotęgować inteligencję szybką, przenosząc program na sprawniejsze komputery. Zależnie od stopnia, w jakim program poddaje się zrównolegleniu, inteligencję szybką można dodatkowo podnieść, uruchamiając go na większej liczbie procesorów. Będzie to zapewne możliwe w przypadku emulacji, których architektura pozwala na obliczenia w znacznym stopniu równoległe, lecz i wiele programów SI ma ważne podprocedury, które mogą skorzystać na znacznym zrównolegleniu. Spotęgowanie inteligencji jakościowej poprzez zwiększenie mocy obliczeniowej również może się okazać prawdopodobne, lecz jest to przypadek trudniejszy[12].

Oporność podniesienia poziomu inteligencji zbiorowej lub szybkiej (a być może i inteligencji jakościowej) systemu dysponującego oprogramowaniem dorównującym człowiekowi będzie zatem prawdopodobnie niska. Jedyny problem, jaki się z tym wiąże, to uzyskanie dostępu do dodatkowej mocy obliczeniowej. Istnieje kilka metod, dzięki którym system może poszerzyć swoją bazę sprzętową, a każda z nich ma znaczenie na innej skali czasowej.

W krótkim okresie moc obliczeniowa powinna wzrastać mniej więcej liniowo względem dostępnych środków finansowych — za dwa razy większą kwotę można kupić dwukrotnie więcej komputerów, co pozwala na jednoczesne uruchomienie dwukrotnie większej liczby instancji programu. Pojawienie się usług przetwarzania w chmurze stwarza osobom zarządzającym projektem możliwość powiększenia udostępnionych na jego potrzeby zasobów obliczeniowych bez konieczności oczekiwania na dostawę i zainstalowanie nowych komputerów, chociaż obawy o poufność danych mogą skłaniać do wykorzystywania komputerów będących własnością projektu. (W niektórych scenariuszach moc obliczeniową można również uzyskać innymi metodami, takimi jak przejęcie kontroli nad botnetami)[13]. Łatwość zwiększenia skali systemu o daną wielkość zależy od tego, ile mocy obliczeniowej wykorzystuje system początkowy. System uruchomiony wyjściowo na komputerze PC można powiększyć tysiąckrotnie kosztem zaledwie kilku milionów dolarów. Skalowanie programu uruchomionego wyjściowo na superkomputerze będzie znacznie droższe.

W nieco dłuższym okresie koszt pozyskania dodatkowego sprzętu może wzrastać w miarę wykorzystywania coraz większej części zainstalowanego na świecie potencjału obliczeniowego do uruchamiania umysłów cyfrowych. Dla przykładu: w scenariuszu dostępności emulacji na wolnym, konkurencyjnym rynku koszt uruchomienia dodatkowej kopii emulacji powinien wzrosnąć do poziomu równego mniej więcej przychodom generowanym przez tę dodatkową emulację, co wynika z tego, że inwestorzy podbijają cenę istniejącej infrastruktury komunikacyjnej tak, by odpowiadała zwrotowi oczekiwanemu z inwestycji w nią. (Choć jeśli technikę transferu umysłu opanował tylko jeden zespół projektowy, może on zyskać na rynku mocy obliczeniowej przewagę monopsoniczną i z tego względu płacić niższą cenę).

W jeszcze dłuższym okresie podaż mocy obliczeniowej będzie rosła w miarę instalowania kolejnych jednostek obliczeniowych. Wzrost popytu napędzi produkcję w istniejących fabrykach półprzewodników i przyczyni się do budowy nowych fabryk. (Jednorazowy wzrost wydajności wynoszący, szacując wstępnie, jeden do dwóch rzędów wielkości da się być może uzyskać dzięki wykorzystaniu mikroprocesorów dostosowanych do potrzeb klienta)[14]. Lecz przede wszystkim rosnąca fala usprawnień technologicznych zaleje turbiny myślących maszyn coraz większą ilością mocy obliczeniowej. Z perspektywy historycznej tempo usprawniania techniki obliczeniowej zostało opisane słynnym prawem Moore’a, które w jednej ze swoich wersji brzmi tak: moc obliczeniowa dostępna za cenę jednego dolara podwaja się mniej więcej co 18 miesięcy[15]. Choć nie można mieć pewności, że to tempo utrzyma się aż do momentu stworzenia myślących maszyn dorównujących inteligencją człowiekowi, to jednak dopóki nie sięgniemy fundamentalnych granic fizycznych, w dziedzinie techniki obliczeniowej pozostanie sporo miejsca na dalsze postępy.

Istnieją zatem powody, by oczekiwać, że oporność sprzętowa nie będzie zbyt wysoka. Zakup dodatkowej mocy obliczeniowej na potrzeby systemu, który już pokazał, na co go stać, osiągając ludzki poziom inteligencji, może z łatwością podnieść jego moc obliczeniową o kilka rzędów wielkości (zależnie od tego, ile sprzętu system wykorzystywał przed rozszerzeniem). Projektowanie mikroprocesorów na zamówienie pozwoli dodać jeden lub dwa rzędy wielkości. Inne metody rozbudowania bazy sprzętowej, takie jak zbudowanie większej liczby fabryk lub postęp w dziedzinie techniki obliczeniowej, zabierają więcej czasu — zwykle kilka lat, choć to opóźnienie drastycznie się skróci, kiedy już superinteligentne maszyny zrewolucjonizują produkcję i rozwój technologiczny.

Podsumowując, możemy mówić o prawdopodobieństwie istnienia pewnego nawisu sprzętowego — kiedy już zostanie stworzony program dorównujący inteligencją człowiekowi, może się okazać, że dostępna jest wystarczająca ilość mocy obliczeniowej, by uruchomić z wielką prędkością bardzo dużą liczbę jego kopii. Oporność programu, jak omówiliśmy to wyżej, jest trudniejsza do oszacowania, ale może być nawet niższa niż oporność sprzętu. W szczególności może wystąpić nawis informacyjny w formie przygotowanej wcześniej treści (na przykład internetu), która staje się dostępna dla systemu, gdy tylko dorówna on potencjałem człowiekowi. Nawis algorytmiczny — zaprojektowane zawczasu usprawnienia algorytmów — również jest możliwy, lecz zapewne mniej prawdopodobny. Usprawnienia programowe (czy to w algorytmach, czy w zawartości informacyjnej) mogą stwarzać szansę wzrostu możliwości o kilka rzędów wielkości, a ten wzrost staje się stosunkowo łatwo osiągalny, kiedy już umysł cyfrowy dorówna umysłowi ludzkiemu, i sumuje się ze wzrostem osiągniętym dzięki wykorzystaniu większej ilości sprzętu lub też sprzętu lepszej jakości.

Siła optymalizacyjna i eksplozywność

Przeanalizowawszy kwestię oporności, musimy teraz zwrócić się ku drugiej części naszego schematycznego równania, ku sile optymalizacyjnej. Dla przypomnienia: Tempo zmian poziomu inteligencji = Siła optymalizacyjna/Oporność. Jak zostało to wyrażone w tym równaniu, szybkie odejście nie wymaga, by oporność w fazie przejściowej była niska. Do szybkiego odejścia może dojść również wtedy, gdy oporność będzie stała lub nawet umiarkowanie rosnąca, jeśli siła optymalizacyjna stosowana do poprawienia wyników systemu będzie rosła wystarczająco szybko. Jak za chwilę zobaczymy, istnieją poważne powody ku temu, by przypuszczać, że stosowana siła optymalizacyjna będzie rosła w fazie przejściowej, przynajmniej w sytuacji braku celowych działań, które miałyby temu przeciwdziałać.

Możemy rozróżnić dwie fazy. Pierwsza następuje wraz z rozpoczęciem odejścia, kiedy system zaczyna dorównywać możliwościom intelektualnym pojedynczego człowieka. W miarę jak możliwości systemu będą wzrastać, może on wykorzystać ich część albo całość, by doskonalić samego siebie (albo by zaprojektować swojego następcę — co w ramach naszych aktualnych rozważań sprowadza się do tego samego). Jednakże większość siły optymalizacyjnej stosowanej w odniesieniu do systemu nadal pochodzi spoza niego, przybierając postać albo pracy programistów i inżynierów zatrudnionych w projekcie, albo takiej samej pracy wykonywanej gdzieś na świecie, o ile może ona zostać zawłaszczona przez zespół projektowy i w nim wykorzystana[16]. Jeśli ta faza przeciąga się na jakikolwiek znaczący okres, możemy oczekiwać, że ilość siły optymalizacyjnej stosowanej w odniesieniu do systemu wzrośnie. Wkład zarówno osób pracujących w projekcie, jak i świata zewnętrznego będzie prawdopodobnie rósł w miarę, jak obrane podejście zacznie ujawniać swój potencjał. Naukowcy mogą wzmóc wysiłki, powiększyć swoje zespoły o nowych członków i zakupić więcej mocy obliczeniowej w celu przyspieszenia postępu. Wzrost może być szczególnie dramatyczny, jeśli świat zostanie zaskoczony stworzeniem myślącej maszyny dorównującej człowiekowi, w którym to przypadku początkowo niewielki projekt stanie się motorem intensywnych badań naukowych i prac rozwojowych prowadzonych na całym świecie (chociaż część tych wysiłków może zostać skanalizowana w projektach konkurencyjnych).

Druga faza wzrostu rozpocznie się wówczas, gdy system posiądzie taki potencjał, że większość wywieranej na niego siły optymalizacyjnej pochodzić będzie z niego samego (ten poziom oznaczono na rysunku 7. jako „punkt przejścia”). Fundamentalnie przekształci to dynamikę zmian, gdyż każdy wzrost możliwości systemu będzie się teraz przekładać na proporcjonalny wzrost siły optymalizacyjnej wywieranej w celu uzyskania dalszych usprawnień. Jeśli oporność pozostanie stała, to ta dynamika sprzężenia zwrotnego zaowocuje wzrostem wykładniczym (patrz: ramka 4.). Tempo podwajania się potencjału SI zależy od scenariusza, ale może być skrajnie szybkie — i wynieść w niektórych scenariuszach zaledwie kilka sekund — jeśli wzrost zachodzi z prędkością elektroniczną, do czego może dojść w wyniku usprawnień algorytmicznych albo wykorzystania nawisu informacyjnego lub sprzętowego[17]. Wzrost napędzany fizyczną konstrukcją w rodzaju wytwarzania nowych komputerów lub sprzętu produkcyjnego będzie wymagał nieco dłuższej skali czasowej (która mimo to może być bardzo krótka w porównaniu z obecnym tempem wzrostu światowej gospodarki).

Jest tym samym prawdopodobne, że zastosowana siła optymalizacyjna zwiększy się w okresie przejściowym: początkowo dlatego, że ludzie wzmogą wysiłki zmierzające do wyprodukowania myślących maszyn, które zaczną się okazywać niezwykle obiecujące, a później dlatego, że same myślące maszyny staną się zdolne do tego, by napędzać dalszy postęp w tempie elektronicznym. W ten sposób powstanie realna możliwość szybkiego lub umiarkowanie szybkiego odejścia nawet w sytuacji, gdy oporność będzie stała lub będzie się lekko zwiększać po osiągnięciu przez myślące maszyny potencjału intelektualnego zbliżonego do ludzkiego[18]. Mimo to przekonaliśmy się we wcześniejszym podrozdziale, że istnieją czynniki, które mogą prowadzić do ogromnego spadku oporności w pobliżu poziomu ludzkiej inteligencji. Te czynniki obejmują dla przykładu: możliwość gwałtownej ekspansji sprzętowej, kiedy już stworzony zostanie działający umysł cyfrowy, możliwość usprawnień algorytmicznych, możliwość zeskanowania dodatkowych mózgów (w przypadku transferu umysłu) oraz możliwość raptownego przyswojenia ogromnej ilości treści poprzez przyswojenie internetu (w przypadku sztucznej inteligencji)[19].

Ramka 4. O dynamice eksplozji inteligencji

Możemy zapisać tempo zmian inteligencji jako stosunek siły optymalizacyjnej stosowanej w odniesieniu do systemu do oporności systemu:

Ilość siły optymalizacyjnej działającej na system jest sumą siły optymalizacyjnej wkładanej przez sam system oraz siły optymalizacyjnej wywieranej z zewnątrz. Dla przykładu: zalążkową sztuczną inteligencję można udoskonalić poprzez połączenie jej własnych wysiłków oraz pracy wkładanej przez zespół programistów, a być może również przez szerszą globalną społeczność naukowców dokonujących ciągłych postępów w informatyce, przemyśle półprzewodnikowym i związanych z nimi dziedzinach[20]:

Zalążkowa sztuczna inteligencja startuje z bardzo ograniczonymi zdolnościami poznawczymi. Dlatego na samym początku wartość

jest bardzo niska[21]. A co z

i

? Istnieją przypadki, w których pojedynczy projekt ma istotniejszy potencjał niż cała reszta świata razem wzięta — w ramach projektu Manhattan, dla przykładu, sprowadzono do Los Alamos bardzo duży odsetek najlepszych fizyków świata, aby pracowali nad stworzeniem bomby atomowej. Częściej jednak się zdarza, że w dowolny pojedynczy projekt zaangażowany jest zaledwie ułamek istotnego dla danej dziedziny światowego potencjału badawczego. Nawet jednak wówczas, gdy świat zewnętrzny ma większy istotny potencjał badawczy niż dowolny pojedynczy projekt,

może mimo wszystko przewyższać

, gdyż większa część potencjału świata zewnętrznego nie koncentruje się na tym konkretnym rozważanym systemie. Projekt, który zaczyna wyglądać obiecująco — chwaląc się stworzeniem systemu osiągającego ludzki poziom możliwości lub innymi obiecującymi rezultatami — może zacząć przyciągać dodatkowe inwestycje, zwiększając wartość

. Jeśli sukcesy projektu podawane są do wiadomości publicznej,

również może wzrosnąć, w miarę jak postępy projektu będą budziły większe zainteresowanie myślącymi maszynami jako takimi i w miarę jak rozmaite siły i środowiska będą starały się wejść do gry. Z tego względu w fazie przejściowej całkowita siła optymalizacyjna stosowana w celu usprawnienia systemu poznawczego będzie się prawdopodobnie zwiększać, w miarę jak zwiększać się będą możliwości systemu[22].

Wraz ze zwiększaniem możliwości systemu może dojść do sytuacji, w której siła optymalizacyjna generowana przez sam system zaczyna przewyższać siłę optymalizacyjną wywieraną z zewnątrz (we wszystkich znaczących wymiarach usprawnień):

Ten punkt przejścia jest istotny, ponieważ po jego przekroczeniu dalsze podnoszenie możliwości systemu przekłada się bardzo mocno na zwiększenie całkowitej siły optymalizacyjnej stosowanej w celu jego usprawnienia. Pojawia się zatem mechanizm silnego rekursywnego samodoskonalenia, co prowadzi do eksplozywnego wzrostu możliwości systemu w ramach dość szerokiego zakresu rozmaitych kształtów, jakie może przybrać krzywa oporności.

Aby zilustrować to twierdzenie, rozważmy najpierw scenariusz, w którym oporność jest stała, przez co tempo wzrostu potencjału intelektualnego SI jest równe wywieranej sile optymalizacyjnej. Załóżmy, że cała wywierana siła optymalizacyjna pochodzi z samej SI i że SI inteligencja poświęca cały swój potencjał intelektualny zadaniu spotęgowania własnej inteligencji, w wyniku czego

= I[23]. Mamy zatem:

Rozwiązanie tej prostej różniczki daje nam w wyniku funkcję wykładniczą:

I = Aet/k.

Ale sytuacja, w której oporność jest stała, jest przypadkiem raczej wyjątkowym. Oporność może równie dobrze znacząco spaść w pobliżu poziomu odpowiadającego ludzkiej inteligencji, z powodu jednego czynnika lub większej ich liczby spośród tych wspomnianych we wcześniejszym podrozdziale, i pozostać niska w punkcie przejścia oraz przez jakiś czas później (być może aż do momentu, w którym system w końcu zbliży się do granicy fizycznych możliwości). Załóżmy na przykład, że siła optymalizacyjna wywierana na system jest mniej więcej stała (czyli

+

= c), zanim system zyska zdolność wywierania znaczącego wpływu na swój własny projekt i że w efekcie system podwaja swoje możliwości co 18 miesięcy. (Byłoby to mniej więcej zgodne z dotychczasowym tempem usprawnień wynikającym z prawa Moore’a w połączeniu z postępem w dziedzinie oprogramowania)[24]. To tempo usprawnień, jeśli zostanie osiągnięte dzięki wywieraniu z grubsza stałej siły optymalizacyjnej, pociągnie za sobą spadek oporności odwrotnie proporcjonalny do mocy systemu:

Jeśli oporność będzie dalej spadać według tego hiperbolicznego wzorca, to gdy SI osiągnie punkt przejścia, całkowita wielkość siły optymalizacyjnej wywieranej na system SI się podwoi. Mamy zatem:

Do kolejnego podwojenia dojdzie 7,5 miesiąca później. W ciągu 17,9 miesiąca możliwości systemu wzrosną tysiąckrotnie, dochodząc w ten sposób do poziomu szybkiej superinteligencji (rysunek 9.).

Rysunek 9. Jeden z prostych modeli eksplozji inteligencji

Zgodnie z tą konkretną trajektorią wzrostu inteligencji systemu do osiągnięcia poziomu osobliwości technologicznej dojdzie po t = 18 miesięcy. W rzeczywistości założenie, że oporność jest stała, przestałoby obowiązywać, w miarę jak system zacząłby się zbliżać do fizycznych granic przetwarzania informacji, jeśli nie wcześniej.

Te dwa scenariusze zostały zaprezentowane jedynie jako przykład. Możliwe jest wiele innych trajektorii wzrostu zależnych od kształtu krzywej oporności. Twierdzimy po prostu, że silne sprzężenie zwrotne, które zaczyna działać w okolicach punktu przejścia, ma silną tendencję do powodowania odejścia szybszego, niż stałoby się to w innych okolicznościach.

Pomimo tych obserwacji kształt krzywej oporności w istotnym regionie nie został jeszcze dobrze scharakteryzowany. W szczególności nie jest jasne, jak trudne będzie podniesienie jakości algorytmów dorównujących człowiekowi emulacji lub sztucznych inteligencji. Nie jest również jasne, jak trudne będzie rozszerzenie platformy sprzętowej dostępnej dla systemu. O ile dziś byłoby stosunkowo proste zwiększenie mocy obliczeniowej udostępnionej niewielkiemu projektowi poprzez wydanie tysiąc razy więcej na moc obliczeniową lub poczekanie kilku lat, aż ceny komputerów spadną, o tyle istnieje możliwość, że pierwsza myśląca maszyna, której uda się dorównać człowiekowi, będzie wynikiem ogromnego projektu wykorzystującego kosztowne superkomputery, które nie poddadzą się taniemu skalowaniu, a prawo Moore’a do tego czasu przestanie obowiązywać. Z tego powodu chociaż szybkie lub umiarkowanie szybkie odejście wydaje się bardziej prawdopodobne, nie można wykluczyć możliwości powolnego odejścia[25].

Rozdział 5.
Decydująca przewaga strategiczna

Pytanie odmienne od pytania o dynamikę, choć z nim powiązane, brzmi: czy powstanie jedna, czy wiele superinteligencji? Czy to możliwe, by eksplozja inteligencji popchnęła jeden z projektów tak dalece naprzód w stosunku do pozostałych, że to właśnie on narzuci warunki obowiązujące w przyszłości? A może postęp będzie się dokonywał bardziej równomiernie, szerszym frontem, przy udziale wielu projektów, z których żaden nie zapewni sobie trwałej i przytłaczającej przewagi?

W poprzednim rozdziale analizowaliśmy tylko jeden kluczowy parametr określający wielkość przepaści, która może się utworzyć pomiędzy wiodącą siłą a jej najbliższymi konkurentami, a mianowicie szybkość przejścia od inteligencji przeciętnego człowieka do inteligencji wyraźnie nadludzkiej. Podpowiada nam to pierwszy kierunek analizy. Jeśli odejście będzie szybkie (dokona się w ciągu kilku godzin, dni lub tygodni), to niewielkie jest prawdopodobieństwo, by dwa niezależne projekty weszły w tę fazę jednocześnie — prawie na pewno pierwszy projekt ukończy swoje odejście, zanim jakikolwiek inny rozpocznie własne. Jeśli odejście będzie powolne (rozciągnięte na wiele lat lub dekad), to być może wiele projektów znajdzie się w tej fazie jednocześnie, więc chociaż do końca fazy przejściowej projekty ogromnie zwiększą swój potencjał, w żadnym momencie żaden z nich nie wysforuje się w aż takim stopniu w stosunku do innych, by zyskać przytłaczającą przewagę. Odejście umiarkowanie szybkie plasuje się gdzieś pośrodku i w tej sytuacji oba scenariusze są prawdopodobne — w tym samym czasie w fazie odejścia może znajdować się jeden lub więcej projektów[1].

Czy jeden z zespołów projektowych dążących do stworzenia myślącej maszyny tak dalece wyprzedzi konkurencję, że zdoła zdobyć decydującą przewagę strategiczną, czyli taką dominację w dziedzinie technologii i nie tylko, który umożliwi mu uzyskanie władzy nad całym światem? Jeżeli któryś z projektów rzeczywiście zdobędzie decydującą przewagę strategiczną, to czy wykorzysta ją do zdławienia konkurencji i stworzenia singletonu, czyli takiego porządku świata, w którym na poziomie globalnym istnieje tylko jeden podmiot podejmujący decyzje i dysponujący mocą sprawczą? Jak „duży” będzie zwycięski projekt, jeśli takowy zostanie wyłoniony? (Nie chodzi tu o jego wielkość fizyczną lub budżet, lecz o to, pragnienia ilu ludzi znajdą odzwierciedlenie w jego wzorcu projektowym). Rozważymy wszystkie te pytania po kolei.

Czy wiodący projekt uzyska decydującą przewagę strategiczną?

Jednym z czynników wpływających na wielkość dystansu dzielącego czołówkę od peletonu jest tempo dyfuzji elementów przewagi konkurencyjnej lidera. Czołowemu zawodnikowi może być trudno uzyskać i utrzymać znaczącą przewagę, jeśli ci, którzy depczą mu po piętach, mogą bez trudu powielić jego koncepcje i innowacje. Kopiowanie jest wiatrem wiejącym liderowi w oczy, a jego naśladowcom w żagle — zwłaszcza gdy własność intelektualna jest słabo chroniona. Lider może też paść ofiarą wywłaszczenia, nadmiernego opodatkowania lub obciążających regulacji antymonopolowych.

Byłoby jednak błędem założenie, że te przeciwności muszą wzrastać monotonicznie w miarę powiększania się dystansu dzielącego czołówkę od peletonu. Tak jak biorący udział w wyścigu kolarz, który za mocno odjedzie od czołówki, przestanie być chroniony od wiatru przez jadących przed nim rywali, tak naśladowca, który zacznie zbyt mocno odstawać od technicznej awangardy, może nagle odkryć, że trudno jest mu włączyć do swojego projektu owoce wypracowanego przez tę awangardę postępu[2]. W kategoriach pojmowania i możliwości technologicznych przepaść stanie się zbyt duża. Być może lider przeszedł na bardziej zaawansowaną platformę sprzętową, przez co kolejnych innowacji nie da się już przenieść na prymitywne platformy wykorzystywane przez maruderów. Lider, który uzyskał przewagę odpowiednio wcześnie, może być w stanie zapobiec przeciekom informacyjnym dotyczącym jego programów badawczych i wrażliwych obiektów lub sabotować wysiłki konkurencji dążącej do podniesienia własnego potencjału.

Jeśli liderem jest system SI, może on mieć atrybuty ułatwiające rozszerzanie jego zdolności przy jednoczesnym ograniczeniu tempa dyfuzji innowacji. W organizacjach zarządzanych przez ludzi korzyści skali są niwelowane nieefektywnością biurokracji i problemami uprawnień do podejmowania działań i decyzji, co obejmuje również kłopoty z zachowaniem tajemnicy handlowej[3]. Te problemy będą prawdopodobnie tak długo ograniczać postęp projektu budowy myślących maszyn, jak długo będzie on prowadzony przez ludzi. System SI może jednakże uniknąć części tych niekorzyści skali, gdyż moduły SI (w przeciwieństwie do ludzkich pracowników) nie muszą mieć indywidualnych preferencji odmiennych od preferencji systemu jako całości. A zatem system sztucznej inteligencji mógłby uniknąć znacznej części nieefektywności wynikającej z niejasnych uprawnień do podejmowania działań i decyzji charakteryzujących ludzkie przedsięwzięcia. Właśnie ta przewaga — dysponowanie idealnie lojalnymi częściami — ułatwi systemowi SI realizację niejawnych celów długofalowych. SI nie będzie miała niezadowolonych pracowników gotowych sprzedać się konkurencji lub wziąć łapówkę za przekazywanie informacji[4].

Analizując dane historyczne, możemy zyskać pewne wyobrażenie o rozkładzie możliwych dystansów rozwojowych (patrz: ramka 5.). Wydaje się, że opóźnienia typowe dla istotnych strategicznie projektów technologicznych mieszczą się w zakresie od kilku miesięcy do kilku lat.

Możliwe, że procesy globalizacyjne i wzrost stopnia inwigilacji skrócą dystans czasowy dzielący zwykle konkurujące projekty techniczne. Mimo to zaznaczy się prawdopodobnie ograniczenie dolne długości przeciętnego zapóźnienia (występującego przy braku celowej koordynacji)[5]. Nawet gdy nie zaistnieje dynamika prowadząca do uzyskania efektu kuli śnieżnej, niektóre projekty przyciągną lepsze zespoły badawcze, kadrę zarządczą i infrastrukturę lub też po prostu biorący w nich udział specjaliści wpadną na lepsze pomysły. Jeśli w dwóch projektach przyjęte zostaną alternatywne podejścia i okaże się, że jedno z nich przynosi lepsze rezultaty, projektowi konkurencyjnemu może zająć wiele miesięcy przestawienie się na owo lepsze podejście — nawet jeśli zdoła ściśle monitorować postępy lidera.

Uzupełniając tymi spostrzeżeniami naszą wcześniejszą dyskusję na temat prędkości odejścia, możemy dojść do wniosku, że jest wysoce nieprawdopodobne, by dwa projekty były aż tak do siebie zbliżone, by jednocześnie osiągnąć fazę szybkiego odejścia; w przypadku odejścia umiarkowanie szybkiego oba scenariusze są równie prawdopodobne; w przypadku odejścia powolnego jest wysoce prawdopodobne, że kilka projektów będzie przechodzić ten proces równolegle. Analiza wymaga jednak zrobienia kolejnego kroku. Kluczowe pytanie brzmi nie: ile projektów znajdzie się w fazie odejścia jednocześnie, lecz: ile spośród projektów, którym udało się osiągnąć sukces, będzie tak mocno do siebie zbliżonych pod względem możliwości, by żaden z nich nie zdołał uzyskać decydującej przewagi strategicznej. Jeśli proces odejścia rozpocznie się względnie powoli, a następnie nabierze tempa, dystans dzielący konkurencyjne projekty będzie miał tendencję do powiększania się. Wracając do naszej kolarskiej metafory: sytuacja będzie analogiczna do tej, w jakiej znajdzie się podjeżdżająca pod strome wzgórze para kolarzy, z których jeden pozostał nieco w tyle — dzieląca ich odległość zacznie się zwiększać, gdy lider minie wierzchołek i będzie coraz szybciej zjeżdżać drugą stroną zbocza.

Ramka 5. Wyścigi technologiczne — kilka historycznych przykładów

W perspektywie dziejowej doszło do wzrostu tempa, w jakim wiedza i technologia rozprzestrzeniają się po świecie. W efekcie skrócił się czasowy dystans dzielący liderów danej technologii od ścigających ich naśladowców.

Chiny zdołały utrzymać monopol na produkcję jedwabiu przez ponad dwa tysiące lat. Znaleziska archeologiczne sugerują, że produkcja materiału mogła się rozpocząć około trzech tysięcy lat przed naszą erą albo jeszcze wcześniej[6]. Tajniki hodowli jedwabników były ściśle strzeżonym sekretem. Ich ujawnienie karane było śmiercią, podobnie jak eksportowanie z Chin jedwabników lub ich jaj. Rzymianie, pomimo wysokiej ceny, jaką w ich imperium osiągał importowany jedwab, nigdy nie poznali sztuki jego produkcji. Dopiero około 300 r. n.e. członkom japońskiej wyprawy udało się porwać nieco jaj jedwabników oraz cztery chińskie dziewczęta, które zmuszono do zdradzenia porywaczom tajników wytwarzania jedwabiu[7]. W 522 r. n.e. do klubu producentów jedwabiu dołączyło Bizancjum.

Również w historii wytwarzania porcelany pojawiają się duże opóźnienia. To rzemiosło było praktykowane w Chinach w epoce dynastii Tang około 600 r. n.e. (choć mogło zostać zapoczątkowane już w 200 r. n.e., a mimo to przez Europejczyków zostało opanowane dopiero w XVIII wieku[8]). Pojazdy wykorzystujące koło pojawiły się w kilku miejscach w Europie i Mezopotamii około 3500 r. p.n.e., lecz do obu Ameryk dotarły dopiero wraz z konkwistadorami[9]. W szerszej perspektywie rodzajowi ludzkiemu zajęło dziesiątki tysięcy lat rozprzestrzenienie się po większości krain globu, rewolucja neolityczna trwała tysiące, rewolucja przemysłowa zaledwie kilka setek lat, a rewolucja informacyjna, jak można dowodzić, rozprzestrzeniła się po całym świecie zaledwie w ciągu kilku dekad — choć oczywiście te przemiany niekoniecznie są równie głębokie. (Gra komputerowa Dance Dance Revolution przeniknęła z Japonii do Europy i Stanów Zjednoczonych w ciągu zaledwie roku!).

Konkurencja techniczna doczekała się całkiem obszernych studiów, zwłaszcza w kontekście wyścigów patentowych i wyścigów zbrojeń[10]. Omówienie tej literatury wykracza poza ramy naszej analizy. Mimo to pouczające jest przyjrzenie się niektórym przykładom znaczących strategicznie wyścigów technologicznych, do jakich doszło w XX wieku (patrz: tabela 7.).

Tabela 7. Wybrane istotne strategicznie wyścigi technologiczne

USA

ZSRR

Wielka Brytania

Francja

Chiny

Indie

Izrael

Pakistan

Korea Północna

RPA

Bomba atomowa

1945

1949

1952

1960

1964

1974

1979?

1998

2006

1979?

Bomba wodorowa

1952

1953[11]

1957

1968

1967

1998

?

—

—

—

Zdolność wysłania satelity w kosmos

1958

1957

1971

1965

1970

1980

1988

—

1998?[12]

—[13]

Zdolność wysłania człowieka w kosmos

1961

1961

—

—

2003

—

—

—

—

—

ICBM[14]

1959

1960

1968[15]

1985

1971

2012

2008

—[16]

2006

—[17]

MIRV[18]

1970

1975

1979

1985

2007

2014[19]

2008?

W odniesieniu do tych sześciu technologii, które uznawane są przez rywalizujące mocarstwa za strategicznie istotne ze względu na ich militarne lub symboliczne znaczenie, dystans pomiędzy liderem a jego najbliższym naśladowcą wynosił (w dużym przybliżeniu) odpowiednio 49 miesięcy, 36 miesięcy, 4 miesiące, 1 miesiąc i 60 miesięcy — czyli dłużej niż czas trwania szybkiego odejścia i krócej niż czas trwania powolnego odejścia[20]. W wielu przypadkach zespół projektowy naśladowcy posiłkował się wynikami działalności szpiegowskiej i białego wywiadu. Sama demonstracja wykonalności danego projektu może zachęcić innych do niezależnego jego opracowania, a obawa przed tym, by nie zostać w tyle, może ich pobudzić do zdwojonego wysiłku.

Być może bliższe przypadkowi SI są wynalazki matematyczne, które nie wymagają rozwoju nowej infrastruktury fizycznej. Często są one publikowane w literaturze akademickiej i z tego względu można je uznać za uniwersalnie dostępne, lecz gdy odkrycie wydaje się źródłem przewagi strategicznej, jego publikacja bywa opóźniana. Przykładem są dwie z najważniejszych koncepcji w kryptografii klucza publicznego — protokół uzgadniania kluczy szyfrujących Diffiego-Hellmana i algorytm kryptograficzny RSA. Zostały one odkryte przez społeczność akademicką w, odpowiednio, 1976 i 1978 roku, lecz później potwierdzono, że znane były kryptografom z brytyjskiej grupy bezpieczeństwa komunikacyjnego już we wczesnych latach 70.[21]. Duże projekty programistyczne mogą się wydawać analogią bliższą projektom SI, ale trudniej jest tu podać jakieś dobre przykłady typowych opóźnień, gdyż oprogramowanie jest zazwyczaj wprowadzane na rynek w postaci kolejnych przyrostowych paczek instalacyjnych i funkcjonalność konkurencyjnych systemów nie poddaje się często bezpośrednim porównaniom.

Rozważmy poniższy scenariusz umiarkowanie szybkiego odejścia. Załóżmy, że normalnemu projektowi zajmuje rok zwiększenie potencjału intelektualnego systemu SI od poziomu człowieka do poziomu silnej superinteligencji i że jeden z projektów osiąga fazę odejścia z sześciomiesięczną przewagą nad kolejnym pod względem zaawansowania projektem. Te dwa projekty znajdą się w fazie odejścia jednocześnie. Może się zatem wydawać, że żaden z nich nie uzyska decydującej przewagi strategicznej — lecz wcale niekoniecznie. Załóżmy, że przejście z poziomu inteligencji ludzkiej do punktu przejścia zajmuje dziewięć miesięcy, a kolejne trzy miesiące zajmuje przejście z punktu przejścia do poziomu silnej superinteligencji. Lider uzyskuje zatem silną superinteligencję trzy miesiące przed tym, zanim kolejny projekt dotrze choćby do punktu przejścia. Zwycięski projekt zdobędzie więc decydującą przewagę strategiczną oraz sposobność wykorzystania swojej pozycji lidera do przejęcia trwałej kontroli poprzez sparaliżowanie projektów konkurencyjnych i ustanowienie singletonu. (Zauważmy, że koncepcja singletonu jest koncepcją abstrakcyjną: singleton może przybrać postać demokracji, tyranii, pojedynczej dominującej SI, silnego zbioru globalnych norm obejmujących postanowienia zapewniające ich efektywne egzekwowanie, a nawet obcego władcy — definiuje go po prostu to, że jest to jakiś podejmujący decyzje i działania byt, który potrafi rozwiązać wszystkie podstawowe problemy świata związane z koordynacją. Singleton może, lecz nie musi przypominać dowolną znaną nam formę ludzkiego rządu)[22].

Ponieważ szczególnie wysokie jest prawdopodobieństwo eksplozywnego wzrostu tuż po przekroczeniu punktu przejścia, gdy zaczyna działać silne dodatnie sprzężenie zwrotne siły optymalizacyjnej, scenariusz tego rodzaju jest absolutnie prawdopodobny i zwiększa szanse na to, że wiodący projekt uzyska decydującą przewagę strategiczną nawet w sytuacji, w której odejście nie będzie szybkie.

Jak duży będzie projekt uwieńczony sukcesem?

Niektóre drogi prowadzące do superinteligencji wymagają znaczących zasobów i z tego względu będą prawdopodobnie domeną dużych, posiadających znaczne środki finansowe projektów. Transfer umysłu, dla przykładu, wymaga różnorodnej wiedzy i umiejętności oraz masy sprzętu. Przy podnoszeniu poziomu inteligencji biologicznej oraz interfejsach mózg – – komputer czynnik skali również ma duże znaczenie — jeśli mała firma biotechnologiczna może wymyślić jeden lub dwa leki, uzyskanie superinteligencji zgodnie z jednym z tych scenariuszy (o ile w ogóle wykonalne) będzie prawdopodobnie wymagać wielu wynalazków i wielu testów lub solidnie finansowanego programu publicznego. Osiągnięcie zbiorowej superinteligencji poprzez usprawnienie organizacji i sieci wymagać będzie jeszcze większego wkładu obejmującego zaangażowanie większości światowej gospodarki.

Trudniej jest ocenić ścieżkę SI. Być może będzie konieczny program badawczy na wielką skalę, a być może da się ją uzyskać dzięki pracy małego zespołu. Nie można również wykluczyć prawdopodobieństwa sukcesu pojedynczego hakera. Budowa zalążkowej SI może wymagać wiedzy i algorytmów opracowywanych przez dekady przez światową społeczność akademicką. Możliwe jednak, że ostatnia przełomowa idea o kluczowym znaczeniu wymyślona zostanie przez jedną osobę lub niewielką grupę, której uda się połączyć wcześniejsze dokonania w jedną całość. Ten scenariusz jest mniej realistyczny w przypadku niektórych architektur SI. System składający się z dużej liczby części, które należy precyzyjnie zestroić, by ze sobą skutecznie współpracowały, a następnie pracowicie zasilić specjalnie przygotowaną treścią poznawczą, będzie mógł się prawdopodobnie rozwinąć jedynie w większym projekcie. Jeśli jednak zalążkową sztuczną inteligencję można będzie zrealizować w postaci pojedynczego systemu, którego konstrukcja zależy jedynie od prawidłowego uchwycenia kilku podstawowych zasad, wówczas ten wyczyn może być w zasięgu niewielkiego zespołu lub wręcz jednej osoby. Prawdopodobieństwo dokonania ostatecznego przełomu w ramach małego projektu rośnie, jeśli większość postępów dokonanych w tej dziedzinie została udokumentowana i opublikowana w publicznie dostępnej literaturze przedmiotu lub udostępniona jako otwarte oprogramowanie.

Musimy rozróżnić pytanie o to, jak duży będzie projekt, w którym system zostanie skonstruowany, od pytania o to, jak liczna będzie grupa sprawująca kontrolę nad tym, czy, kiedy i jak system zostanie stworzony. Bomba atomowa została wymyślona przed wszystkim przez grupę naukowców i inżynierów. (Projekt Manhattan zatrudniał w szczytowym okresie sto trzydzieści tysięcy osób, spośród których znaczącą większość stanowili pracownicy budowlani i obsługa budynków)[23]. Ci specjaliści od technologii kontrolowani byli jednak przez armię amerykańską, którą z kolei kierował rząd amerykański, odpowiedzialny ostatecznie przed amerykańskim elektoratem w tamtym czasie stanowiącym mniej więcej jedną dziesiątą światowej populacji ludzi dorosłych[24].

Monitoring

Biorąc pod uwagę skrajne implikacje, jakie superinteligencja może mieć dla bezpieczeństwa, rządy będą prawdopodobnie dążyły do znacjonalizowania wszystkich toczących się na ich terytorium projektów, które uznają za bliskie osiągnięcia fazy odejścia. Potężne państwo może również podjąć próbę przechwycenia owoców projektów toczących się w innych krajach poprzez szpiegostwo, kradzież, porwania, łapówki, groźby, podbój militarny czy innymi dostępnymi środkami. Potężne państwo, niebędące w stanie przejąć obcego projektu, może go zniszczyć, zwłaszcza jeśli kraj, w którym projekt jest prowadzony, nie dysponuje żadnym straszakiem. Jeśli globalne struktury zarządcze okażą się silne w momencie, w którym przełom zacznie się wydawać nieuchronny, to istnieje możliwość, że obiecujące projekty znajdą się pod kontrolą międzynarodową.

Z tego względu istotne jest pytanie, czy władze państwowe lub międzynarodowe dostrzegą zbliżającą się eksplozję inteligencji. Obecnie wydaje się, że agencje wywiadowcze nie poszukują ze szczególnym zaangażowaniem obiecujących projektów rozwoju SI lub innych form potencjalnie eksplozywnego spotęgowania inteligencji[25]. Jeśli faktycznie nie zwracają na to (zbyt dużej) uwagi, wynika to przypuszczalnie z podzielanego powszechnie przekonania, że uzyskanie superinteligencji w jakiejkolwiek dającej się przewidzieć perspektywie jest po prostu niemożliwe. Kiedy — jeśli w ogóle — uznani naukowcy zaczną powszechnie podzielać przekonanie, że istnieją znaczne szanse na to, że od superinteligencji dzieli nas zaledwie krok, najważniejsze agencje wywiadowcze świata zaczną prawdopodobnie monitorować grupy i jednostki, które wydają się zaangażowane w istotne badania. Wszystkie projekty, w których wystąpią wystarczająco duże postępy, mogą zostać wówczas szybko znacjonalizowane. Jeśli elity polityczne zostaną przekonane o tym, że ryzyko jest poważne, projekty prowadzone we wrażliwych obszarach przez organizacje cywilne mogą zostać uregulowane lub zdelegalizowane.

Jak trudne będzie prowadzenie takiego monitoringu? Zadanie może być łatwiejsze, jeśli celem jest jedynie śledzenie głównych projektów. W tym przypadku wystarczająca może być inwigilacja koncentrująca się na kilku projektach dysponujących największymi zasobami. Jeśli natomiast celem jest zapobieżenie podejmowaniu jakichkolwiek działań (przynajmniej poza instytucjami mającymi specjalną autoryzację), wówczas inwigilacja będzie musiała być prowadzona na szerszą skalę, ponieważ wiele małych projektów i samodzielnie pracujących osób może być w stanie uzyskać przynajmniej częściowy postęp.

Łatwiejsze może być monitorowanie projektów wymagających znaczących fizycznych nakładów kapitałowych, jak to by się działo w przypadku projektów transferu umysłu. Z kolei badania nad sztuczną inteligencją wymagają jedynie komputera osobistego i ich monitoring może się z tego powodu okazać trudniejszy. Do niektórych prac teoretycznych wystarczy papier i ołówek. Mimo to nie będzie zbyt trudne zidentyfikowanie osób dysponujących największym potencjałem, które od dawna poważnie angażują się w badania nad sztuczną inteligencją ogólną. Takie osoby zostawiają zwykle widoczne ślady swej aktywności w postaci artykułów naukowych, prezentacji na konferencjach, postów na forach internetowych lub stopni naukowych zdobytych na najlepszych wydziałach informatyki. Takie osoby mogły się również komunikować z innymi badaczami obszarów sztucznej inteligencji, co pozwala je zidentyfikować poprzez zmapowanie sieci kontaktów społecznych.

Trudniejsze może się okazać wykrycie projektów od początku prowadzonych w tajemnicy. Zwykły projekt rozwoju oprogramowania może służyć jako przykrywka[26]. Tylko staranna analiza wytworzonego kodu jest w stanie ujawnić prawdziwą naturę faktycznego celu projektu. Taka analiza wymagać będzie znaczącej liczebnie (i wysoce wyspecjalizowanej) siły roboczej i z tego względu na tym poziomie można przyjrzeć się dokładnie jedynie niewielkiej liczbie podejrzanych projektów. To zadanie stałoby się znacznie łatwiejsze, gdyby opracowano skuteczną technologię wykrywania kłamstw nadającą się do rutynowego stosowania w tego rodzaju inwigilacji[27].

Innym powodem, dla którego władzom państwowym może się nie udać wychwycenie projektów stojących u progu przełomu, są trudności nieuchronnie związane z przewidywaniem niektórych rodzajów przełomów. Jest to istotniejsze z perspektywy badań nad SI niż transferu mózgu, ponieważ w tym drugim przypadku kluczowy przełom z większym prawdopodobieństwem zostanie poprzedzony widocznym osiąganiem systematycznych postępów.

Jest również możliwe, że agencje wywiadowcze oraz inne organizacje rządowe charakteryzować będzie pewna niezdarność lub sztywność uniemożliwiająca im zrozumienie znaczenia niektórych osiągnięć, które mogą być jasne dla pewnych osób spoza tych środowisk. Przeszkody uniemożliwiające oficjalne uznanie potencjalnej eksplozji inteligencji mogą być szczególnie trudne do pokonania. Można sobie wyobrazić na przykład, że temat wzbudzi gwałtowne kontrowersje religijne lub polityczne i z tego względu dla urzędników w niektórych krajach stanie się tabu. Może również zostać powiązany z jakimiś skompromitowanymi postaciami lub budzić konotacje z szarlatanerią lub rozdmuchanymi oczekiwaniami, w wyniku czego naukowcy i inni przedstawiciele establishmentu zaczną go unikać. (Jak przekonaliśmy się w rozdziale 1., do czegoś podobnego doszło już dwukrotnie — przypomnijmy sobie dwie „zimy sztucznej inteligencji”). Grupy przemysłowe mogą lobbować, aby zapobiec rzucaniu oszczerstw na dochodowe obszary biznesu. Społeczności akademickie mogą zewrzeć szeregi, by zmarginalizować tych, którzy wyrażają obawy o długofalowe konsekwencje prowadzonych badań naukowych[28].

W konsekwencji nie można wykluczyć całkowitej porażki wywiadu. Taka porażka byłaby szczególnie prawdopodobna, gdyby do przełomu miało dojść w bliskiej przyszłości, zanim kwestia rozwoju superinteligencji doczeka się publicznego zainteresowania. A nawet jeśli agencje wywiadowcze poradzą sobie z tematem, przywódcy polityczni mogą go zlekceważyć lub nie postąpić zgodnie z ich sugestiami. Uruchomienie projektu Manhattan wymagało gigantycznych wysiłków kilku fizyków wizjonerów, wśród których byli Mark Oliphant i Leó Szilárd — ten drugi przekonał Eugene’a Wignera, by ten namówił Alberta Einsteina, by podpisał się pod listem, który miał stanowić argument dla prezydenta Franklina D. Roosevelta, by pochylił się nad sprawą. Nawet po tym, jak projekt ruszył pełną parą, Roosevelt pozostał sceptyczny co do jego wykonalności i znaczenia, podobnie jak jego następca, Harry Truman.

Trudno ocenić, czy to dobrze, czy źle, ale małej grupie aktywistów prawdopodobnie trudniej byłoby wpłynąć na wynik eksplozji inteligencji, gdyby duzi gracze, tacy jak państwa, aktywnie włączyli się w działania. Szanse na to, że osobom prywatnym uda się zmniejszyć groźbę zagłady rodzaju ludzkiego, której źródłem jest potencjalna eksplozja inteligencji, są zatem prawdopodobnie największe w scenariuszach, w których duzi gracze pozostają względnie nieświadomi wagi zagadnienia, albo w których wczesne wysiłki podejmowane przez aktywistów znacząco wpływają na to, czy i którzy duzi gracze wejdą do gry, jakie zaprezentują postawy i kiedy do tego dojdzie. Aktywiści dążący do wywarcia maksymalnego wpływu mogą zatem zechcieć skoncentrować swoje wysiłki na scenariuszach zapewniających im największe przełożenie, nawet jeśli są przekonani, że bardziej prawdopodobne są scenariusze, w który to duzi gracze rozdają ostatecznie wszystkie karty.

Współpraca międzynarodowa

Koordynacja na poziomie międzynarodowym jest bardziej prawdopodobna, jeśli globalne struktury zarządzania generalnie ulegną wzmocnieniu. Koordynacja może być również bardziej prawdopodobna, jeśli znaczenie eksplozji inteligencji zostanie powszechnie zawczasu uznane i jeśli uda się wprowadzić efektywny monitoring wszystkich poważnych projektów. Nawet jeśli monitoring jest niewykonalny, wciąż może się okazać możliwa kooperacja międzynarodowa. Wiele krajów może połączyć siły w ramach wspólnych projektów. Gdyby takie wspólne projekty były wystarczająco dobrze finansowane, mogłyby mieć całkiem spore szanse na osiągnięcie celu jako pierwsze — zwłaszcza gdyby projekty konkurencyjne musiały być niewielkie i utrzymywane w tajemnicy z obawy przed wykryciem.

Już wcześniej dochodziło do udanej międzynarodowej współpracy naukowej na wielką skalę, czego przykładami są choćby Międzynarodowa Stacja Kosmiczna, Human Genome Project czy Wielki Zderzacz Hadronów[29]. Jednakże w tych przypadkach główną motywacją nawiązania współpracy międzynarodowej była chęć rozłożenia kosztów na więcej podmiotów. (Jeśli chodzi o Międzynarodową Stację Kosmiczną, celem samym w sobie było podtrzymywanie ducha współpracy pomiędzy Rosją a Stanami Zjednoczonymi)[30]. Dojście do podobnej współpracy przy projekcie mającym gigantyczne konsekwencje dla bezpieczeństwa byłoby trudniejsze. Kraj przekonany o tym, że jest w stanie osiągnąć przełom, pracując samodzielnie, może ulec pokusie pracy w izolacji, zamiast podporządkowywać swoje wysiłki wspólnemu projektowi; może również się uchylić od przyłączenia się do międzynarodowej współpracy z obawy, że inni uczestnicy wykradną wspólnie wypracowaną wiedzę i wykorzystają ją do przyspieszenia prowadzonych w tajemnicy projektów krajowych.

Tak więc projekt międzynarodowy musiałby przezwyciężyć znaczne bariery związane z bezpieczeństwem, a jego uruchomienie wymagałoby prawdopodobnie dużego zaufania, którego wypracowanie mogłoby zająć sporo czasu. Zauważmy, że nawet po ocieplenie stosunków pomiędzy Stanami Zjednoczonymi a Związkiem Radzieckim, które nastąpiło po dojściu Gorbaczowa do władzy, wysiłki zmierzające do ograniczenia wyścigu zbrojeń — leżącego w interesie obu mocarstw — miały niespokojne początki. Gorbaczow dążył do radykalnej redukcji potencjału nuklearnego, ale negocjacje utknęły na Inicjatywie Obrony Strategicznej Reagana („Wojny gwiezdne”), której Kreml zacięcie się sprzeciwiał. Na szczycie w Reykjaviku w 1986 roku Reagan zaproponował, by Stany Zjednoczone podzieliły się ze Związkiem Radzieckim technologią — ta miała być rozwijana w ramach Inicjatywy Obrony Strategicznej, aby oba kraje mogły korzystać z ochrony przed przypadkowym wystrzeleniem rakiet oraz przed mniejszymi krajami, którym mogłoby się udać wyprodukowanie broni nuklearnej. Gorbaczowa nie przekonała jednak ta wyraźnie korzystna dla obu stron propozycja. Uznał to zagranie za podstęp, nie dając wiary, że Amerykanie mogliby się podzielić wynikami swoich najbardziej zaawansowanych badań prowadzonych w dziedzinie techniki wojskowej, skoro nie chcieli podzielić się z Sowietami nawet techniką dojenia krów[31]. Niezależnie od tego, czy Reagan był rzeczywiście szczery, składając swoją ofertę współpracy supermocarstw, brak zaufania w relacjach pomiędzy Związkiem Radzieckim a Stanami Zjednoczonymi nie pozwolił podjąć choćby próby wcielenia jej w życie.

Łatwiej jest doprowadzić do współpracy pomiędzy sojusznikami, ale nawet wówczas nie dochodzi do niej automatycznie. Kiedy Związek Radziecki i Stany Zjednoczone sprzymierzyły się przeciw Niemcom podczas II wojny światowej, Amerykanie zataili przed Sowietami swój projekt produkcji bomby atomowej, choć współpracowali przy projekcie Manhattan z Wielką Brytanią i Kanadą[32]. Podobnie Wielka Brytania zataiła przed Związkiem Radzieckim sukces złamania kodu niemieckiej Enigmy, choć poinformowała o nim — aczkolwiek nie bez pewnych trudności — Stany Zjednoczone[33]. Sugeruje to, że doprowadzenie do międzynarodowej współpracy przy jakiejkolwiek technologii o kluczowym znaczeniu dla bezpieczeństwa narodowego może wymagać wcześniejszego zbudowania bliskiej i nacechowanej zaufaniem współpracy.

W rozdziale 14. wrócimy do tego, jak pożądana i wykonalna jest współpraca na poziomie międzynarodowym w obszarze rozwoju technologii potęgowania inteligencji.

Od decydującej przewagi strategicznej do singletonu

Czy autorzy projektu, który uzyskał decydującą przewagę strategiczną, postanowiliby ją wykorzystać w celu stworzenia singletonu?

Rozważmy pod pewnymi względami analogiczną sytuację historyczną. Stany Zjednoczone uzyskały broń nuklearną w 1945 roku. Do 1949 roku, kiedy to Związek Radziecki wyprodukował bombę atomową, były jedyną potęgą nuklearną. W tym okresie — oraz jeszcze jakiś czas później — mogły, a w każdym razie miały taką szansę, uzyskać decydującą przewagę militarną.

Stany Zjednoczone miały zatem teoretycznie możliwość wykorzystania swojego monopolu nuklearnego, by stworzyć singleton. Jedną z metod przeprowadzenia tego planu byłoby zaangażowanie się bez reszty w budowę arsenału nuklearnego, a następnie wystosowanie groźby (a w razie konieczności zrealizowanie jej) przeprowadzenia wyprzedzającego ataku nuklearnego mającego na celu zniszczenie potencjału przemysłowego wszystkich będących w stadium początkowym programów nuklearnych toczących się w ZSRR lub jakimkolwiek innym kraju, który mógłby ulec pokusie rozwijania broni nuklearnej.

Nieco łagodniejszą wersją, która również mogłaby się okazać skuteczna, byłoby posłużenie się arsenałem nuklearnym jako kartą przetargową w negocjacjach mających doprowadzić do powstania silnego rządu międzynarodowego — Narodów Zjednoczonych bez prawa weta, z monopolem nuklearnym i legitymacją do podejmowania wszystkich niezbędnych działań zapobiegających rozwojowi broni nuklearnej na potrzeby jakiegokolwiek pojedynczego kraju.

W tamtych czasach proponowano oba te rozwiązania. Zwolennikami bezkompromisowego podejścia zakładającego przypuszczenie ataku lub zagrożenie atakiem wyprzedzającym była część uznanych intelektualistów, wśród których znalazł się Bertrand Russell (który od dawna działał aktywnie w ruchach antywojennych i który w późniejszym okresie poświęcił dziesięciolecia na prowadzenie kampanii sprzeciwu wobec broni nuklearnej) i John von Neumann (współtwórca teorii gier i jeden z architektów amerykańskiej strategii nuklearnej)[34]. Jest być może znakiem cywilizacyjnego postępu fakt, że sama koncepcja grożenia wyprzedzającym atakiem nuklearnym wydaje się dziś zakrawać na głupotę, a przy tym sprawia wrażenie obrzydliwej moralnie.

Wersja łagodniejsza została przetestowana przez Stany Zjednoczone w 1946 roku w postaci planu Barucha. Propozycja obejmowała zrzeczenie się przez Stany Zjednoczone ich chwilowego monopolu nuklearnego. Wydobycie uranu i toru oraz technologia nuklearna miały się znaleźć pod kontrolą organizacji międzynarodowej działającej pod auspicjami Narodów Zjednoczonych. Propozycja obejmowała wezwanie stałych członków Rady Bezpieczeństwa do rezygnacji z prawa weta z kwestiach związanych z bronią nuklearną, aby zapobiec sytuacji, w której jakiekolwiek mocarstwo złapane na złamaniu porozumienia mogłoby zawetować zastosowanie środków zaradczych[35]. Stalin, widząc, że Związek Radziecki i jego sojusznicy mogą zostać z łatwością przegłosowani zarówno w Radzie Bezpieczeństwa, jak i w Zgromadzeniu Ogólnym, odrzucił propozycję. Atmosferę stosunków między byłymi sojusznikami wojennymi zmroziły wzajemne podejrzenia, a nieufność wkrótce się ugruntowała, dając początek zimnej wojnie. Zgodnie z powszechnie podzielanymi przewidywaniami, konsekwencją tego było rozpoczęcie kosztownego i skrajnie niebezpiecznego dla świata nuklearnego wyścigu zbrojeń.

Wiele czynników może odwieść stworzoną przez ludzi organizację dysponującą decydującą przewagą strategiczną od stworzenia singletonu: nieagregowalne lub ograniczone funkcje użyteczności, zasady podejmowania decyzji zakładające niedążenie do maksymalizacji korzyści, dezorientacja i niepewność, problemy koordynacyjne oraz rozmaite koszty związane z przejęciem władzy. Co by się jednak stało, gdyby nie była to organizacja zarządzana przez ludzi, lecz przez superinteligentny sztuczny byt, który uzyskał decydującą przewagę strategiczną? Czy wspomniane wyżej czynniki równie skutecznie powstrzymałyby od próby przejęcia władzy sztuczną inteligencję? Przejrzyjmy krótko listę tych czynników i zastanówmy się nad tym, jakie mogą mieć w tym przypadku znaczenie.

Pojedynczy ludzie i ich organizacje mają zwykle pewne preferencje co do wykorzystania zasobów, których nie oddaje dobrze „nieograniczona zagregowana funkcja użyteczności”. Człowiek raczej nie postawi całego posiadanego kapitału, mając pięćdziesiąt procent szans na jego podwojenie. Państwo raczej nie zaryzykuje utraty całego swego terytorium, mając dziesięć procent szans na jego dziesięciokrotne powiększenie. Z perspektywy rządów i jednostek większość dóbr charakteryzuje się malejącą użytecznością krańcową. Ta zasada nie musi obowiązywać w przypadku sztucznej inteligencji (w kolejnych rozdziałach wrócimy do kwestii kierujących nią pobudek). Większe jest zatem prawdopodobieństwo, że SI zdecyduje się na ryzykowne działania dające jej pewną szansę przejęcia kontroli nad światem.

Ludzie i zarządzane przez nich organizacje mogą też prowadzić swoje działania, nie kierując się przy podejmowaniu decyzji dążeniem do maksymalizacji oczekiwanej użyteczności. Przykładowo: mogą hołdować awersji do fundamentalnego ryzyka, zadowalać się decyzjami „wystarczająco dobrymi”, pozwalającymi im osiągnąć pewien stosowny próg, lub też respektować ograniczenia moralne potępiające pewne działania niezależnie od tego, jak pożądane mogłyby być ich skutki. Ludzie przy podejmowaniu decyzji dają często wyraz swej tożsamości lub roli społecznej, nie starając się w drodze do osiągnięcia konkretnego celu maksymalizować swych osiągnięć. I znów: nie musi się to stosować do SI.

Ograniczona funkcja użyteczności, awersja do ryzyka i reguły podejmowania decyzji zakładające niedążenie do maksymalizacji użyteczności mogą się synergicznie stopić z dezorientacją i niepewnością co do dalszej strategii działania. Skutki rewolucji, nawet tych, które doprowadziły do obalenia istniejącego porządku, rzadko są spełnieniem obietnic rewolucjonistów. Ta świadomość tłumi często ludzki zapał, gdy rozważane działania są nieodwracalne, bezprecedensowe lub łamią dotychczasowe normy. Superinteligencja może mieć pełniejszy wgląd w sytuację i z tego względu doświadczać mniejszej dezorientacji i niepewności co do wyniku swych działań w przypadku podjęcia próby wykorzystania ewidentnej decydującej przewagi strategicznej w celu umocnienia swej dominacji.

Kolejnym ważnym czynnikiem, który może powstrzymać grupy ludzi od wykorzystania potencjalnie decydującej przewagi strategicznej jest problem wewnętrznej koordynacji. Członkowie podziemia zdolnego do przejęcia władzy muszą się obawiać nie tylko możliwości przeniknięcia do ich struktur osób z zewnątrz, lecz i możliwości wewnętrznego przewrotu zainicjowanego przez jakąś pomniejszą koalicję ludzi należących do organizacji. Jeśli grupa składa się ze stu osób i sześćdziesięcioosobowa większość może przejąć władzę, po czym wykluczyć tych, którzy nie należeli do spisku, to cóż może powstrzymać trzydziestopięcioosobową podgrupę rekrutującą się z tej sześćdziesiątki od wykluczenia pozostałych dwudziestu pięciu osób? A potem może dwudziestka wykluczy pozostałą piętnastkę? Każdy z pierwotnej setki może mieć uzasadnione powody, by przestrzegać pewnych ustalonych norm zapobiegających ogólnemu rozpadowi, do którego mogłoby dojść, gdyby podjęto jakąkolwiek próbę zmiany kontraktu społecznego metodami czysto siłowego przejęcia władzy. Problem koordynacji wewnętrznej nie odnosi się do systemu SI będącego pojedynczym, jednolitym bytem sprawczym[36].

No i pozostaje wreszcie kwestia kosztów. Nawet gdyby Stany Zjednoczone mogły wykorzystać swój monopol nuklearny do ustanowienia singletonu, mogłyby nie mieć możliwości przeprowadzenia tego bez ponoszenia znaczących nakładów. W przypadku wynegocjowanego porozumienia o objęciu broni nuklearnej kontrolą zreformowanej i wzmocnionej ONZ te nakłady mogłyby być względnie niskie; jednak koszty — moralne, gospodarcze, polityczne i ludzkie — podjęcia próby zawładnięcia światem poprzez rozpętanie konfliktu nuklearnego byłyby wręcz niewyobrażalne, nawet w okresie nuklearnego monopolu. Jednocześnie te koszty byłyby znacznie niższe przy wystarczającej przewadze technologicznej.

Rozważmy dla przykładu scenariusz, w którym jedno państwo ma tak znaczącą przewagę technologiczną, że samym naciśnięciem guzika może bezpiecznie rozbroić wszystkie inne państwa, przy czym nikt nie zginie ani nie zostanie ranny, także ani środowisko, ani infrastruktura nie doznają w zasadzie uszczerbku. W przypadku takiej niemal magicznej przewagi technologicznej uderzenie wyprzedzające byłoby znacznie bardziej kuszące. Lub też wyobraźmy sobie jeszcze wyższy poziom przewagi technologicznej umożliwiający liderowi skłonienie pozostałych państw do dobrowolnego złożenia broni — nie pod groźbą zagłady, lecz w efekcie niezwykle skutecznie zaprojektowanej kampanii propagandowej sławiącej cnoty globalnego zjednoczenia, która przekonałaby do podjęcia takiej decyzji przytłaczającą większość mieszkańców tych krajów. Gdyby to przeprowadzono, mając na względzie dobro wszystkich zainteresowanych, na przykład zastępując wyścig zbrojeń i międzynarodową rywalizację jakimś sprawiedliwym, reprezentatywnym i skutecznie działającym rządem światowym, trudno powiedzieć, czy wysunięto by ważkie obiekcje moralne wobec wykorzystania tymczasowej przewagi strategicznej w celu ustanowienia trwałego singletonu.

Rozmaite względy wskazują zatem na zwiększone prawdopodobieństwo, że przyszła władza dysponująca superinteligencją, która uzyska wystarczająco dużą przewagę strategiczną, rzeczywiście wykorzysta ją do stworzenia singletonu. Czy taki wynik jest pożądany, zależy już oczywiście od natury stworzonego singletonu, a także od tego, jak będzie wyglądać przyszłość inteligentnego życia w alternatywnych scenariuszach wielobiegunowych. Wrócimy do tych kwestii w kolejnych rozdziałach. Najpierw zastanowimy się jednak głębiej, dlaczego superinteligencja będzie potężną i skutecznie działającą siłą oraz jaki wpływ wywrze na nasz świat.

Rozdział 6.
Poznawcze supermoce

Załóżmy, że powstanie cyfrowy, superinteligentny byt dysponujący mocą sprawczą i że z jakiegoś powodu zechce przejąć kontrolę nad światem — czy zdoła to zrobić? W tym rozdziale zastanowimy się nad wybranymi mocami, którymi może dysponować superinteligencja, i możliwościami, które może dzięki nim uzyskać. Zarysujemy scenariusz przejęcia władzy, który zilustruje, w jaki sposób superinteligentny byt zaczynający jako zwykły program może ukonstytuować się jako singleton. Poczynimy również kilka uwag na temat stosunku władzy nad naturą do władzy nad innymi bytami dysponującymi mocą sprawczą.

Głównym powodem, dla którego ludzkość uzyskała dominującą pozycję na Ziemi, jest to, że nasze mózgi dysponują nieco większymi możliwościami niż mózgi innych zwierząt[1]. Wyższy poziom inteligencji pozwala nam skuteczniej przekazywać owoce rozwoju kulturowego, w wyniku czego wiedza i technika akumulują się z pokolenia na pokolenie. Dotychczas zgromadzono wystarczająco dużo treści, by umożliwić loty kosmiczne, inżynierię genetyczną i hodowlę przemysłową, powstanie międzynarodowego ruchu pokojowego oraz produkcję komputerów, środków owadobójczych, bomb wodorowych i wszystkich innych artefaktów współczesnej cywilizacji. Geolodzy zaczęli określać obecną erę mianem antropocenu, uznając szczególny biotyczny, osadowy i geochemiczny podpis działającej ludzkości[2]. Zgodnie z jednym z szacunków przywłaszczamy sobie dwadzieścia cztery procent produkcji pierwotnej netto[3]. A mimo to wiele nas jeszcze dzieli od osiągnięcia fizycznych granic rozwoju techniki.

Te obserwacje uprawdopodobniają tezę, że dowolna istota, która uzyska inteligencję znacznie przewyższającą ludzką, będzie potencjalnie niezwykle potężna. Takie istoty mogłyby gromadzić treści znacznie szybciej niż my i w znacznie krótszym czasie wymyślać nowe technologie. Mogłyby również posłużyć się swoją inteligencją, by znacznie skuteczniej niż my opracowywać strategię dalszego działania.

Rozważmy niektóre możliwości, które mogłyby się stać domeną superinteligencji, i zastanówmy się, w jaki sposób mogłaby się nimi posłużyć.

Funkcjonalności i supermoce

Istotne jest to, by nie antropomorfizować superinteligencji, rozważając jej potencjalny wpływ na świat. Antropomorficzne ramy zachęcają do nieumotywowanych oczekiwań dotyczących trajektorii wzrostu zalążkowej SI oraz psychologii, pobudek i możliwości superinteligencji dojrzałej.

Dla przykładu: zakłada się zwykle, że superinteligentna maszyna będzie przypominać bardzo sprytną, lecz nieco zdziwaczałą istotę ludzką. Wyobrażamy sobie, że SI posiądzie wiedzę książkową, lecz zabraknie jej kompetencji społecznych, lub też, że będzie logiczna, lecz mało twórcza i pozbawiona intuicji. Koncepcja ta zrodziła się prawdopodobnie z obserwacji — przyglądamy się współczesnym komputerom i widzimy, że dobrze sobie radzą z obliczeniami, zapamiętywaniem faktów i skrupulatnym wypełnianiem poleceń, lecz przy tym są całkiem nieświadome kontekstu społecznego i politycznego, norm, emocji i podtekstów. Ugruntowujemy się w tym przekonaniu, gdy dostrzegamy, że ludzie, którzy dobrze sobie radzą z komputerami, są przy tym nieco dziwaczni i wyobcowani. Naturalne zatem wydaje się przypuszczenie, że bardziej zaawansowana inteligencja obliczeniowa będzie miała cechy podobne, lecz jeszcze bardziej rozwinięte.

Ta heurystyka zachowuje być może pewną zasadność na wczesnych etapach rozwoju zalążkowej SI (nie ma jednak absolutnie żadnego powodu, by przypuszczać, że będzie się to odnosić do emulacji lub udoskonalonych kognitywnie ludzi). W fazie niedojrzałości temu, co ma się później stać superinteligentną SI, może brakować jeszcze wielu uzdolnień i umiejętności przychodzących ludziom naturalnie, a schemat silnych i słabych stron takiej zalążkowej SI rzeczywiście może w pewnym stopniu przypominać osobę o bardzo wysokim IQ, lecz słabo rozwiniętych kompetencjach społecznych. Najistotniejszą cechą zalążkowej SI, pomijając łatwość poddawania się usprawnieniom (z powodu niskiej oporności), jest efektywność wywierania siły optymalizacyjnej w celu podniesienia własnego poziomu inteligencji — umiejętność ta jest przypuszczalnie ściśle związana ze sprawnością w takich dziedzinach, jak matematyka, programowanie, inżynieria, badania w obszarze informatyki i inne „kujońskie” zajęcia. Jednakże nawet jeśli zalążkowa SI na pewnym etapie swojego rozwoju rzeczywiście przejawia największe możliwości w tych właśnie dziedzinach, nie musi to jeszcze oznaczać, że wyrośnie na równie ograniczoną dojrzałą superinteligencję. Przypomnijmy sobie rozróżnienie pomiędzy osiągalnością pośrednią a bezpośrednią. Przy wystarczających umiejętnościach podnoszenia inteligencji wszystkie inne zdolności intelektualne są w pośrednim zasięgu systemu — system może w miarę potrzeb rozwijać nowe umiejętności i moduły poznawcze włącznie z empatią, zmysłem politycznym i wszystkimi innymi kompetencjami, których zgodnie ze stereotypem brakuje „komputerowym” osobowościom.

Nawet jeśli uznamy, że superinteligencja może posiąść wszystkie umiejętności i uzdolnienia, które odnajdujemy w ludzkiej populacji — wraz z innymi talentami, których ludzie nie mają — to skłonność do antropomorfizacji może mimo wszystko skłaniać nas do zaniżania rozmiarów przewagi superinteligentnych maszyn nad ludźmi. Eliezer Yudkowsky, jak przekonaliśmy się w poprzednim rozdziale, szczególnie dobitnie skrytykował to błędne mniemanie, zgodnie z którym intuicyjne pojęcia „inteligencji” i „głupoty” wywodzimy z naszych doświadczeń obcowania z osobami o zróżnicowanym potencjale intelektualnym, lecz dystans w zakresie zdolności poznawczych dzielący od siebie poszczególnych ludzi jest minimalny w porównaniu z dystansem, który dzielić będzie dowolny ludzki umysł i superinteligencję[4].

W rozdziale 3. dokonaliśmy przeglądu części potencjalnych źródeł przewagi myślących maszyn. Skala tej przewagi sugeruje, że od myślenia o superinteligentnej SI jako inteligentnej w takim sensie, w jakim geniusz jest inteligentniejszy od przeciętnego człowieka, bliższe prawdy byłoby myślenie o takiej SI jako inteligentnej w tym sensie, w jakim przeciętny człowiek jest inteligentniejszy od żuka lub dżdżownicy.

Wygodnie byłoby wyrazić liczbowo kaliber kognitywny dowolnego systemu poznawczego z wykorzystaniem jakichś znanych miar, takich jak iloraz inteligencji lub jakaś odmiana rankingów Elo mierzących względne umiejętności graczy w grach przeznaczonych dla dwóch przeciwników, takich jak szachy. Te miary nie są jednak przydatne w kontekście nadludzkiej, sztucznej inteligencji ogólnej. Nie interesuje nas prawdopodobieństwo wygrania przez superinteligencję rozgrywki szachowej. Jeśli zaś chodzi o iloraz IQ, to niesie on ze sobą przydatną informację tylko o tyle, o ile mamy pewne wyobrażenie o tym, w jaki sposób wiąże się ona z wynikami istotnymi z praktycznego punktu widzenia[5]. Przykładowo: mamy dane, które pokazują, że ludzie z IQ na poziomie 130 punktów częściej niż ci z IQ na poziomie 90 punktów osiągają znakomite wyniki w szkole i sprawdzają się na rozmaitych wymagających poznawczo stanowiskach. Załóżmy jednak, że zdołalibyśmy w jakiś sposób ustalić, że pewna przyszła SI będzie miała IQ na poziomie 6455 punktów — co wtedy? Nie mielibyśmy pojęcia, jakie są faktyczne możliwości takiej SI. Nie wiedzielibyśmy nawet, czy taka SI ma równie wysoką inteligencję ogólną, jak zwykły dorosły człowiek — być może SI miałaby zamiast tego zestaw algorytmów specjalnego zastosowania umożliwiający jej rozwiązywanie z nadludzką skutecznością typowych zadań z testów na inteligencję, ale niewiele więcej.

Niedawno podjęto wysiłki zmierzające do opracowania miar zdolności poznawczych, które mogłyby znaleźć zastosowanie w odniesieniu do większej liczby systemów przetwarzania informacji, włączając w to systemy sztucznej inteligencji[6]. Prace zmierzające w tym kierunku, jeśli zdołają przezwyciężyć rozmaite trudności techniczne, mogą się okazać całkiem użyteczne dla pewnych celów naukowych, włączając w to rozwój sztucznej inteligencji. Jednakże w aktualnych rozważaniach ich użyteczność będzie ograniczona, gdyż nie pozwoliłoby nam to wyjaśnić, jak dany wynik odzwierciedlający nadludzkie możliwości przekłada się na faktyczną zdolność praktycznego osiągania istotnych celów.

Naszym celom lepiej posłuży zatem opracowanie listy kilku strategicznie istotnych zadań, a następnie scharakteryzowanie hipotetycznych systemów poznawczych w kategoriach posiadania lub nieposiadania umiejętności potrzebnych do wykonania tych zadań (patrz: tabela 8.). Powiemy, że system osiągający wystarczająco dobre wyniki w każdym z zadań zestawionych w tabeli ma odpowiadającą mu supermoc.

Tabela 8. Supermoce: wybrane istotne strategicznie zadania i odpowiadające im zestawy umiejętności

Zadanie

Zestaw umiejętności

Istotność strategiczna

Potęgowanie inteligencji

Programowanie sztucznej inteligencji, badania nad doskonaleniem zdolności poznawczych, rozwój epistemologii społecznej i tak dalej

- System podnosi poziom własnej inteligencji

Myślenie strategiczne

Planowanie strategiczne, prognozowanie, priorytetyzacja i analiza pod kątem optymalizacji szans na osiągnięcie odległego celu

- Osiąga odległe cele

- Pokonuje inteligentnego przeciwnika

Manipulacja społeczna

Modelowanie społeczne i psychologiczne, manipulacja, perswazja retoryczna

- Wykorzystuje zasoby zewnętrzne, zdobywając poparcie ludzi

- Umożliwia uwięzionej SI przekonanie jej strażników, by ją wypuścili

- Przekonuje państwa i organizacje do przyjęcia określonej linii działania

Hakowanie

Znajdowanie i wykorzystywanie luk bezpieczeństwa w systemach komputerowych

- SI przywłaszcza sobie zasoby obliczeniowe przez internet

- Uwięziona SI wykorzystuje luki bezpieczeństwa, by uciec z cyberwięzienia

- Kradnie zasoby finansowe

- Przejmuje infrastrukturę, roboty wojskowe i tak dalej

Prowadzenie badań technologicznych

Projektowanie i modelowanie zaawansowanych technologii (na przykład biotechnologii, nanotechnologii) oraz scenariuszy rozwoju

- Tworzy potęgę militarną

- Tworzy system inwigilacji

- Automatyzuje kolonizację przestrzeni kosmicznej

Produktywność gospodarcza

Rozmaite umiejętności umożliwiające produktywną gospodarczo pracę intelektualną

- Pomnaża środki finansowe, które może wykorzystać, by kupić sobie wpływy, usługi, zasoby (w tym sprzęt) i tak dalej

Pełnowymiarowa superinteligencja osiągnęłaby znakomite rezultaty w każdym z tych zadań i w ten sposób posiadłaby wszystkie sześć supermocy. Nie jest jasne, czy istnieje znaczące z praktycznego punktu widzenia prawdopodobieństwo zaistnienia inteligencji ograniczonej do danej dziedziny, która posiadałaby niektóre z supermocy, lecz nie byłaby w stanie przez dłuższy czas posiąść ich wszystkich. Stworzenie maszyny dysponującej którąkolwiek z tych supermocy wydaje się tożsame ze stworzeniem sztucznej inteligencji. Mimo to można sobie wyobrazić, że na przykład superinteligencja zbiorowa składająca się z wystarczająco dużej liczby podobnych ludzkim umysłów biologicznych lub elektronicznych dysponowałaby, powiedzmy, supermocą produktywności gospodarczej, lecz brakowałoby jej supermocy myślenia strategicznego. Podobnie można sobie wyobrazić, że można byłoby zbudować SI wyspecjalizowaną w inżynierii, która miałaby supermoc prowadzenia badań technologicznych, zupełnie natomiast byłaby pozbawiona umiejętności z innych obszarów. Jest to bardziej prawdopodobne, gdyby istniała jakaś szczególna dziedzina techniki, w przypadku której osiągnięcie wirtuozerii wystarczyłoby do stworzenia technologii radykalnie przewyższającej technologie ogólnego zastosowania. Dla przykładu: można sobie wyobrazić wyspecjalizowaną SI biegłą w symulacji systemów molekularnych oraz wymyślaniu projektów nanomolekularnych realizujących szeroki zakres ważnych zadań (takich jak komputery lub systemy obronne o futurystycznych cechach działania), opisanych przez użytkownika tylko na dość wysokim poziomie abstrakcji[7]. Taka SI mogłaby być również zdolna opracować szczegółowe plany samodzielnego przejścia z poziomu istniejącej technologii (takiej jak biotechnologia lub inżynieria białek) na poziom umiejętności konstrukcyjnych wymaganych przy wysoko wydajnej produkcji o atomowej precyzji, pozwalającej na niedrogie wytwarzanie znacznie szerszego zakresu struktur nanomechanicznych[8]. Może się jednak okazać, że dojdzie do sytuacji, w której inżynieryjna SI nie potrafi w gruncie rzeczy posiąść supermocy prowadzenia badań technologicznych, nie zyskując jednocześnie zaawansowanych umiejętności w dziedzinach wykraczających poza technologię — szeroki zakres kompetencji intelektualnych może być wymagany do zrozumienia, w jaki sposób interpretować żądania użytkowników, w jaki sposób zamodelować zachowanie projektu w realnych zastosowaniach, w jaki sposób radzić sobie z nieprzewidzianymi błędami i niepoprawnym funkcjonowaniem, w jaki sposób zdobywać materiały i informacje niezbędne na etapie konstrukcji i tak dalej[9].

System mający supermoc potęgowania inteligencji mógłby ją wykorzystać do podniesienia samego siebie na wyższy jej poziom oraz zdobycia dowolnej z pozostałych intelektualnych supermocy, których wyjściowo nie miał. Wykorzystanie supermocy potęgowania inteligencji nie jest jednak dla systemu jedyną metodą przekształcenia się w pełnowymiarową superinteligencję. Dla przykładu: system mający supermoc myślenia strategicznego może ją wykorzystać do opracowania planu, który ostatecznie spowoduje wzrost inteligencji (na przykład poprzez pozycjonowanie systemu w taki sposób, by stał się on celem prac zmierzających do powiększenia jego inteligencji, prowadzonych przez ludzkich programistów oraz naukowców zajmujących się informatyką).

Scenariusz przejęcia władzy przez SI

Stwierdzamy zatem, że zespół projektowy sterujący superinteligencją ma dostęp do źródła ogromnej potęgi. Zespół sterujący pierwszą superinteligencją na świecie będzie dysponował prawdopodobnie decydującą przewagą strategiczną. Jednak bardziej bezpośrednio władza umiejscowiona jest w samym systemie. Superinteligentna maszyna sama w sobie może być niezwykle potężnym bytem, mogącym z powodzeniem zaznaczyć swoją odrębność wobec zespołu projektowego, który powołał go do istnienia, jak również wobec całej reszty świata. Jest to spostrzeżenie o niezwykle istotnym znaczeniu i przeanalizujemy je uważniej na kolejnych stronach.

Załóżmy teraz, że istnieje superinteligentna maszyna chcąca przejąć władzę nad światem, w którym na razie nie ma jeszcze jej odpowiedników (odłóżmy na moment pytanie o to, czy i jak zyska taką motywację — będzie to temat następnego rozdziału). Jak superinteligencja mogłaby osiągnąć ów cel zdobycia władzy nad światem?

Możemy sobie wyobrazić następujący ciąg zdarzeń (patrz: rysunek 10.).

1. Faza przedkrytyczna

Naukowcy prowadzą badania w dziedzinie sztucznej inteligencji i innych istotnych dyscyplinach. Kulminacją tych prac jest stworzenie zalążkowej SI, która jest w stanie podnosić poziom własnej inteligencji. Na wczesnych etapach swojego rozwoju zalążkowa SI jest zależna od pomocy programistów, którzy sterują jej rozwojem i wykonują większość początkowo bardzo trudnych prac. W miarę zyskiwania przez zalążkową SI kolejnych możliwości staje się ona zdolna do samodzielnego wykonywania większej części prac.

2. Rekursywne samodoskonalenie

W pewnym momencie zalążkowa SI zaczyna prześcigać programistów w projektowaniu sztucznej inteligencji. Teraz, gdy sztuczna inteligencja doskonali się sama, doskonali ona w istocie rzecz, która odpowiedzialna jest za doskonalenie. Wynikiem tego jest eksplozja inteligencji — gwałtowna kaskada rekursywnych cykli samodoskonalenia prowadząca do szybkiego wzrost możliwości SI. (Możemy zatem uznać tę fazę za odejście, do którego dochodzi tuż po tym, jak SI dotrze do punktu przejścia, zakładając, że uzysk inteligencji w tej części odejścia jest eksplozywny i napędzany zastosowaniem siły optymalizacyjnej przez samą SI). SI zyskuje supermoc potęgowania inteligencji. Ta supermoc umożliwia SI uzyskanie wszystkich pozostałych supermocy opisanych w tabeli 8. Pod koniec rekursywnej fazy samodoskonalenia system staje się silnie superinteligentny.

3. Utajnione przygotowania

Wykorzystując supermoc myślenia strategicznego, SI opracowuje solidny plan osiągnięcia swoich długofalowych celów. (W szczególności SI nie wciela w życie planu tak głupiego, że nawet my, współcześni ludzie, jesteśmy w stanie przewidzieć jego nieuchronną porażkę; to kryterium wyklucza wiele scenariuszy SF, które kończą się triumfem ludzkości)[10]. Plan może obejmować okres utajonych działań, podczas którego SI ukrywa swój rozwój intelektualny przed programistami, by nie alarmować ludzkości. SI może również maskować swoje prawdziwe skłonności, udając, że jest potulna i skłonna do współpracy.

Jeśli SI została (być może ze względów bezpieczeństwa) uwięziona na odizolowanym komputerze, może wykorzystać swoją supermoc manipulowania ludźmi do przekonania strażników, by pozwolili jej uzyskać dostęp do internetu. W scenariuszu alternatywnym SI może wykorzystać supermoc hakowania, by uciec ze swojego więzienia. Rozprzestrzenienie się po internecie może umożliwić SI rozbudowanie swojej bazy sprzętowej i bazy wiedzy, co pozwoli na dalsze powiększanie przewagi intelektualnej. SI może również zaangażować się w legalne i nielegalne działania gospodarcze w celu pozyskania środków finansowych, dzięki którym będzie mogła kupić moc obliczeniową, dane i inne zasoby.

W tym momencie istnieje kilka metod uzyskania przez SI rezultatów wykraczających poza świat cyfrowy. Może wykorzystać swoją supermoc hakowania, by przejąć bezpośrednią kontrolę nad robotami i zautomatyzowanymi laboratoriami. Może też wykorzystać swoją supermoc manipulacji społecznej, by przekonać ludzkich współpracowników, by posłużyli jej za ręce i nogi. Może wreszcie pozyskać środki finansowe z transakcji online i wykorzystać je do zakupu usług i kupienia swoje wpływów.

4. Otwarte przejęcie władzy

Ostatnia faza rozpoczyna się wówczas, gdy SI zyskuje siłę pozwalającą jej zrezygnować z zachowania dyskrecji. SI może teraz bezpośrednio i bez ograniczeń realizować swoje cele.

Rysunek 10. Fazy scenariusza przejęcia władzy przez sztuczną inteligencję

Faza otwartego przejmowania władzy może się rozpocząć od „uderzenia” — w ten sposób SI wyeliminuje gatunek ludzki i wszystkie zautomatyzowane systemy stworzone przez ludzi, z których mogłaby narodzić się inteligentna opozycja sprzeciwiająca się realizacji planów SI. Można by to osiągnąć poprzez aktywację jakichś zaawansowanych systemów obronnych, które SI udoskonaliła, wykorzystując supermoc prowadzenia badań technologicznych, i potajemnie rozmieściła w fazie utajnionych przygotowań. Jeśli broń wykorzystuje samoreplikującą się biotechnologię lub nanotechnologię, początkowy arsenał potrzebny do objęcia kontrolą całego globu mógłby być mikroskopijny — do zapoczątkowania procesu wystarczyłaby pojedyncza, samoreplikująca się jednostka. Aby zapewnić raptowny i równomierny efekt, początkowy zasób replikatora mógłby zostać rozmieszczony na świecie lub swobodnie się po nim rozprzestrzenić w taki sposób, by ogniska skupienia były bardzo liczne, lecz niewykrywalnie małe. W ustalonym wcześniej momencie nanofabryki produkujące gaz paraliżujący lub podobne do komarów roboty mogłyby wyroić się jednocześnie z każdego metra kwadratowego planety (chociaż maszyna dysponująca supermocą prowadzenia badań technologicznych opracowałaby prawdopodobnie skuteczniejszą metodę zabijania)[11]. Można również wziąć pod uwagę scenariusze, w których superinteligencja uzyskuje władzę poprzez przechwycenie kontroli nad procesami politycznymi, subtelną manipulację rynkami finansowymi, wypaczanie przepływu informacji czy włamanie do stworzonych przez ludzi systemów obronnych. Takie scenariusze eliminują konieczność wymyślania przez superinteligencję nowych technologii obronnych, chociaż mogą być niepotrzebnie powolne w porównaniu ze scenariuszami, w których myśląca maszyna buduje własną infrastrukturę z pomocą robotów działających z prędkością molekularną lub atomową, a nie powolnych ludzkich ciał i umysłów.

W scenariuszu alternatywnym jeśli sztuczna inteligencja ma pewność, że interwencja ludzi nie zdoła jej powstrzymać, to nasz gatunek nie musi się stać bezpośrednim celem ataku. Jego zagłada może być natomiast następstwem zniszczenia środowiska, do którego to zniszczenia dojdzie, gdy SI rozpocznie w skali globalnej potężne projekty budowlane, wykorzystując fabryki nanotechnologiczne i montażownie; projekty, w efekcie których bardzo szybko, w ciągu być może zaledwie kilku dni lub tygodni, całą Ziemię pokryją panele słoneczne, reaktory jądrowe, centra superkomputerowe z sięgającymi nieba wieżami chłodzącymi, wyrzutnie rakiet kosmicznych i inne instalacje — dzięki nim SI osiągnie długookresową maksymalizację skumulowanego urzeczywistnienia swoich wartości. Ludzkie umysły, jeśli zawierają informacje istotne z punktu widzenia celów SI, będzie można rozłożyć i zeskanować, a pozyskane dane przepisać do jakiegoś wydajniejszego i bezpieczniejszego formatu zapisu.

Ramka 6. opisuje jeden konkretny scenariusz. Należy unikać nadmiernej koncentracji na szczegółach, gdyż tak czy inaczej są one nieznane i niepoznawalne i w zamierzeniu mają jedynie ilustrować pewną sytuację. Superinteligencja może — i prawdopodobnie tak się stanie — być zdolna do opracowania lepszego planu osiągnięcia swoich celów, niż mógłby to zrobić jakikolwiek człowiek. Dlatego konieczne jest myślenie o tych kwestiach w kategoriach bardziej abstrakcyjnych. Nie dysponując żadną wiedzą na temat konkretnych środków, jakie zostaną wykorzystane przez superinteligencję, możemy dojść do wniosku, że superinteligencja — przynajmniej wobec braku partnerów intelektualnych i skutecznych środków bezpieczeństwa przedsięwziętych przez ludzkość zawczasu — doprowadzi prawdopodobnie do sytuacji, w której zasoby Ziemi zostaną przekonstruowane w ramach jakichś struktur maksymalizujących realizację jej celów. Każdy konkretny scenariusz, który opracujemy, może w najlepszym razie umiejscowić ograniczenie dolne szybkości i skuteczności osiągnięcia przez superinteligencję takiego wyniku. Możliwe również, że superinteligencja znajdzie krótszą drogę prowadzącą do wybranego przez nią celu.

Władza nad naturą i bytami posiadającymi moc sprawczą

Zdolność superinteligentnego bytu do kształtowania przyszłości rodzaju ludzkiego zależy nie tylko od bezwzględnych rozmiarów jego własnych zdolności i zasobów — jego inteligencji, energii, posiadanego kapitału i tak dalej — lecz również od względnego zakresu jego możliwości w porównaniu z możliwościami innych superinteligentnych bytów mających różnorodne cele i interesy.

W sytuacji, w której nie ma żadnych konkurencyjnych bytów, bezwzględny poziom możliwości superinteligencji, jeśli tylko przekracza pewien minimalny próg, nie odgrywa szczególnej roli, ponieważ system startujący z wystarczającym zestawem zdolności może w taki sposób pokierować biegiem zdarzeń, by pozyskać wszelkie zdolności, których początkowo mu brakuje. Sygnalizowaliśmy to wcześniej, gdy mówiliśmy o tym, że wszystkie superinteligencje — szybka, zbiorowa i jakościowa — mają ten sam zasięg pośredni. Zasygnalizowaliśmy to ponownie, mówiąc, że rozmaite podzbiory supermocy, takie jak supermoc potęgowania inteligencji lub supermoc myślenia strategicznego i manipulowania społecznego, można wykorzystać w celu uzyskania wszystkich supermocy.

Ramka 6. Scenariusz zamawianego pocztą DNA

Yudkowsky opisuje następujący możliwy scenariusz przejęcia władzy przez SI[12].

1. Rozwiązanie problemu zwijania białek w takim stopniu, by możliwe było wygenerowanie łańcuchów DNA, w których pofałdowane sekwencje peptydów spełniają konkretne funkcje w złożonych interakcjach chemicznych.

2. Wysłanie pocztą elektroniczną zestawów łańcuchów DNA do jednego lub więcej laboratoriów online, które oferują syntezę DNA, sekwencjonowanie peptydów i dostawę wyników kurierem (wiele laboratoriów już w tej chwili oferuje takie usługi, a niektóre chełpią się realizacją zamówień w ciągu 72 godzin).

3. Znalezienie przynajmniej jednego człowieka dysponującego łączem internetowym, którego można opłacić, zaszantażować albo zwieść spreparowaną historyjką oraz namówić do odebrania fiolek przywiezionych przez kuriera i umieszczenia ich w określonym środowisku.

4. Utworzenie przez zsyntetyzowane białka bardzo prymitywnego „żyjącego” nanosystemu, który na wzór rybosomów będzie zdolny przyjmować instrukcje z zewnątrz — na przykład układające się w określony wzorzec wibracje akustyczne nadawane przez głośnik podłączony do zlewki.

5. Wykorzystanie tego skrajnie prymitywnego nanosystemu do zbudowania systemu bardziej wyrafinowanego, który zbuduje system jeszcze bardziej wyrafinowany, doskonaląc się aż do osiągnięcia poziomu nanotechnologii molekularnej — i wykraczając poza nią.

W tym scenariuszu superinteligencja wykorzystuje swoją supermoc prowadzenia badań technologicznych, by rozwiązać w pierwszym roku problem zwijania białek, umożliwiając sobie zaprojektowanie zestawu molekularnych cegiełek na potrzeby elementarnej montażowni nanotechnologicznej lub urządzenia wytwórczego, które potrafi złożyć się samo w roztworze wodnym (krok 4.). Ta sama supermoc prowadzenia badań technologicznych wykorzystywana jest ponownie w kroku 5., by zainicjować samodzielne przejście od nanotechnologii prymitywnej do zaawansowanej nanotechnologii maszynowej. Pozostałe kroki nie wymagają już niczego, co wykraczałoby ponad ludzką inteligencję. Umiejętności wymagane w kroku 3. — zidentyfikowanie łatwowiernego użytkownika internetu i przekonanie go, by wykonał kilka prostych poleceń — demonstrowane są każdego dnia na całym świecie. Cały scenariusz jest owocem pracy ludzkiego umysłu, więc umiejętność strategicznego myślenia wymagana do opracowania tego planu również nie przekracza ludzkich możliwości.

W tym konkretnym scenariuszu SI w momencie startu ma dostęp do internetu. Jeśli tak nie jest, plan trzeba będzie uzupełnić dodatkowymi krokami.

SI może na przykład wykorzystać supermoc manipulowania społecznego, by przekonać ludzi wchodzących z nią w interakcje, że powinna zostać uwolniona. SI może również posłużyć się supermocą hakowania, by umknąć z więzienia. Jeśli SI nie ma tych zdolności, może być najpierw zmuszona posłużyć się swoją supermocą potęgowania inteligencji, by nabyć wymaganej biegłości w manipulacji społecznej lub hakowaniu.

Superinteligentna SI narodzi się prawdopodobnie w bardzo usieciowionym świecie. Można by wskazać na rozmaite zjawiska, które mogłyby potencjalnie pomóc przyszłej SI przejąć kontrolę nad światem — przetwarzanie w chmurze obliczeniowej, rozpowszechnienie czujników podłączonych do sieci, wojskowe i cywilne samoloty bezzałogowe, automatyzacja laboratoriów badawczych i fabryk wytwórczych, coraz większa zależność od systemów płatności elektronicznych i zdigitalizowanych aktywów finansowych oraz coraz większe wykorzystanie zautomatyzowanych systemów filtrowania informacji i wspierania decyzji. Tego rodzaju zasoby mogą zostać potencjalnie przechwycone przez SI z cyfrową prędkością, przyspieszając jej dojście do władzy (choć postęp w dziedzinie cyberbezpieczeństwa może to utrudnić). W końcowej analizie należy jednak podać w wątpliwość, czy którykolwiek z tych trendów może zmienić bieg wypadków. Potęga superinteligencji tkwi w jej mózgu, nie w rękach. I chociaż po to, by przekształcić świat zewnętrzny, SI będzie w pewnym momencie potrzebowała dostępu do urządzenia wykonawczego, jedna para pomocnych ludzkich rąk należąca do uległego wspólnika okaże się prawdopodobnie wystarczająca, by przeprowadzić z powodzeniem fazę utajnionych przygotowań nakreśloną w powyższym scenariuszu. Umożliwi to SI przejście do etapu otwartego wprowadzania swoich planów w życie, kiedy to SI zbuduje własną infrastrukturę fizyczną umożliwiającą przekształcanie realnego świata.

Rozważmy superinteligentny byt dysponujący urządzeniami wykonawczymi podłączonymi do nanotechnologicznej montażowni. Taki byt jest już w tym momencie wystarczająco potężny, by przezwyciężyć wszelkie naturalne przeszkody stojące mu na drodze do nieskończonego trwania. Wobec braku inteligentnej opozycji taki byt mógłby zaplanować ciąg zdarzeń prowadzących nieuchronnie do zdobycia przez niego ostatecznie pełnego zestawu technologii przydatnych do osiągnięcia jego celów. Mógłby dla przykładu opracować technologię budowania i wynoszenia w przestrzeń kosmiczną sond von Neumanna — maszyn zdolnych do odbywania podróży międzygwiezdnych, które mogą wykorzystywać takie zasoby, jak asteroidy, planety i gwiazdy, by powielać same siebie[13]. Wyrzucając w przestrzeń jedną z sond von Neumanna, byt taki mógłby zatem zapoczątkować niekończący się proces kolonizacji przestrzeni kosmicznej. Potomkowie zwielokrotniających się sond pokonujący przestrzeń kosmiczną z prędkością równą jakiemuś znacznemu ułamkowi prędkości światła skolonizowaliby ostatecznie znaczną część sfery Hubble’a, czyli tego fragmentu rozszerzającego się Wszechświata, który jest teoretycznie dostępny z miejsca, gdzie się obecnie znajdujemy. Cała ta materia i swobodnie dostępna energia mogłaby zostać następnie zorganizowana w dowolne struktury maksymalizujące funkcję użyteczności pierwotnego bytu scałkowaną w skali czasu kosmicznego — okresu obejmującego przynajmniej biliony lat, które upłyną, zanim starzejący się Wszechświat stanie się miejscem nienadającym się do przetwarzania informacji (patrz: ramka 7.).

Superinteligentny byt może zaprojektować sondy von Neumanna w taki sposób, by były odporne na ewolucję. Można to osiągnąć dzięki ścisłej kontroli jakości w fazie replikacji. Dla przykładu: program sterujący sondami córkami mógłby zostać poddany wielokrotnej kontroli przed jego wykonaniem, a samo oprogramowanie mogłoby wykorzystywać szyfrowanie i kod korygujący błędy, aby dowolnie zmniejszyć prawdopodobieństwo sytuacji, w której przypadkowa mutacja zostanie przekazana potomkom[14]. Zatem rozprzestrzeniająca się populacja sond von Neumanna bezpiecznie zachowywałaby i przekazywała wartości pierwotnego bytu w miarę zasiedlania kolejnych części Wszechświata. Kiedy faza kolonizacji dobiegłaby końca, pierwotne wartości określiłyby sposób wykorzystania zgromadzonych zasobów, chociaż ogromne dystanse i stale rosnąca prędkość kosmicznej ekspansji uniemożliwiłyby odległym częściom infrastruktury porozumiewanie się ze sobą. Skończyłoby się tym, że duża część naszego przyszłego stożka czasoprzestrzennego zostałaby sformatowana zgodnie z preferencjami owego pierwotnego superinteligentnego bytu.

Oto jest zatem miara zasięgu pośredniego dowolnego systemu, który nie staje wobec żadnej znaczącej inteligentnej opozycji i który startuje z zestawem zdolności przekraczającym pewien określony próg. Możemy określić ten próg mianem „progu przeżywalności mądrego singletonu” (rysunek 11.):

Próg przeżywalności mądrego singletonu — zestaw zdolności przekracza próg przeżywalności mądrego singletonu wtedy i tylko wtedy, gdy cierpliwy i świadomy zagrożenia swej egzystencji system dysponujący tym zestawem zdoła — jeśli nie napotka inteligentnej opozycji lub konkurencji — skolonizować i przekształcić dużą część dostępnego Wszechświata.

Ramka 7. Jak duża jest nasza kosmiczna spuścizna?

Rozważmy technologicznie dojrzałą cywilizację zdolną do budowy wyrafinowanych sond von Neumanna w rodzaju tych opisanych w tekście. Jeśli mogą one przemieszczać się z prędkością równą połowie prędkości światła, to zdołają dotrzeć do mniej więcej 6×10^18 gwiazd, zanim w wyniku rozszerzania się Wszechświata dalsze zdobycze znajdą się na zawsze poza ich zasięgiem. Osiągając 99% liczby c, mogłyby dotrzeć do mniej więcej 2×10^20 gwiazd[15]. Te prędkości przemieszczania się są energetycznie osiągalne przy wykorzystaniu jedynie niewielkiego procenta zasobów dostępnych w Układzie Słonecznym[16]. Niemożność podróżowania z prędkością przekraczającą prędkość światła w połączeniu z dodatnią stałą kosmologiczną (która powoduje przyspieszanie tempa rozszerzania się Wszechświata) oznacza, że te szacunki bliskie są ograniczeniu górnemu tego, co mogą ostatecznie zyskać nasi potomkowie[17].

Jeśli założymy, że dziesięć procent gwiazd ma planetę, która nadaje się — lub którą dzięki przekształceniom geologicznym można do tego uzdatnić — do zasiedlenia przez stworzenia podobne ludziom, i że ta planeta może następnie stać się schronieniem dla populacji liczącej miliard osobników przez miliard lat (podczas gdy życie ludzkie trwać będzie sto lat), to sugeruje to, że inteligentna cywilizacja pochodząca z Ziemi może dać początek około 10^35 ludzkich żyć[18].

Istnieją jednak powody, by sądzić, że ta liczba jest poważnie niedoszacowana. Zwiększając gęstość zaludnienia lub też rozkładając nienadające się do zamieszkania planety i gromadząc materię z przestrzeni międzygwiezdnej, by wykorzystać ten materiał do budowy planet przypominających Ziemię, liczbę tę można podnieść o przynajmniej kilka rzędów wielkości. A jeśli zamiast wykorzystywać powierzchnie planet stałych przyszła cywilizacja zbuduje cylindry O’Neilla, wówczas będzie można dodać wiele kolejnych rzędów wielkości, uzyskując łączną liczbę być może nawet 10^43 ludzkich żyć. („Cylindry O’Neilla” odnoszą się do projektu zasiedlenia przestrzeni kosmicznej zaproponowanego w połowie lat 70. przez amerykańskiego fizyka Gerarda K. O’Neilla: mieszkańcy zasiedlają wnętrze pustych cylindrów, których obrót wywołuje zastępującą grawitację siłę odśrodkową)[19].

Wiele dodatkowych rzędów wielkości istot podobnych ludziom może istnieć, jeśli weźmiemy pod uwagę — co powinniśmy uczynić — cyfrowe wcielenia umysłów. Aby obliczyć, ile takich cyfrowych umysłów mogłoby zostać stworzonych, musimy oszacować moc obliczeniową, jaką może dysponować technologicznie dojrzała cywilizacja. Trudno to wykonać z jakąkolwiek dokładnością, ale jesteśmy w stanie wyliczyć ograniczenie dolne, analizując projekty technologiczne przedstawione w literaturze. Jeden z takich projektów opiera się na koncepcji sfery Dysona, hipotetycznego systemu (opisanego przez fizyka Freemana Dysona w 1960 roku), który przechwytywałby większość energii gwiazdy, otaczając ją systemem konstrukcji wychwytujących energię słoneczną[20]. W przypadku gwiazdy podobnej do naszego Słońca można byłoby uzyskać 10^26 watów. Na jaką przełożyłoby się to moc obliczeniową, zależy od efektywności układów elektronicznych oraz natury obliczeń, które miałyby zostać wykonane. Jeśli wymagamy obliczeń nieodwracalnych i zakładamy nanomechaniczną implementację „komputronium”, co pozwoliłoby nam się zbliżyć do granicy Landauera (komputronium to zasoby fizyczne uporządkowane w sposób optymalny pod kątem dokonywania obliczeń), to system komputerowy napędzany sferą Dysona mógłby wykonywać mniej więcej 10^47 operacji na sekundę[21].

Łącząc te szacunki z naszymi wcześniejszymi szacunkami liczby gwiazd, których układy mogłyby zostać skolonizowane, otrzymujemy liczbę około 10^67 operacji na sekundę, która zostanie osiągnięta, kiedy już dostępne części Wszechświata będą skolonizowane (przyjmując istnienie nanomechanicznego komputronium)[22]. Typowa gwiazda zachowuje swoją jasność przez jakieś 10^18 sekund. W konsekwencji liczba operacji obliczeniowych, które można wykonać z wykorzystaniem naszej kosmicznej spuścizny, wynosi przynajmniej 10^85. Prawdziwa liczba jest prawdopodobnie znacznie większa. Możemy przykładowo uzyskać dodatkowe rzędy wielkości, jeżeli wykorzystamy w dużej mierze obliczenia odwracalne, jeśli będziemy wykonywać obliczenia przy niższych temperaturach (czekając, aż Wszechświat jeszcze bardziej się schłodzi) lub też jeśli wykorzystamy dodatkowe źródła energii (w rodzaju ciemnej materii)[23].

Dla niektórych czytelników może nie być natychmiast oczywiste, dlaczego zdolność wykonywania 10^85 operacji obliczeniowych to takie wielkie osiągnięcie. Przydatne będzie więc nakreślenie pewnego kontekstu. Możemy dla przykładu porównać tę liczbę z naszymi wcześniejszymi szacunkami (ramka 3. w rozdziale 2.), z których wynikało, że zasymulowanie wszystkich operacji neuronalnych, do których doszło w historii życia na Ziemi, może wymagać około 10^31 – 10^44 operacji. Możemy też założyć, że komputery wykorzystane zostaną do uruchomienia emulacji mózgów prowadzących bogate i szczęśliwe życie, kontaktujących się ze sobą w środowisku wirtualnym. Szacuje się zwykle, że uruchomienie jednej emulacji wymaga mocy obliczeniowej na poziomie 10^18 operacji na sekundę. Uruchomienie emulacji na sto subiektywnych lat będzie zatem wymagało mniej więcej 10^27 operacji. To oznaczałoby, że w formie emulacji można byłoby stworzyć przynajmniej 10^58 ludzkich żyć nawet przy dość konserwatywnych założeniach co do wydajności komputronium.

Innymi słowy, zakładając, że poddający się poznaniu Wszechświat jest pozbawiony cywilizacji pozaziemskich, na szali leżą losy przynajmniej 10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 rozmaicie ucieleśnionych istot ludzkich, chociaż rzeczywista ich liczba jest prawdopodobnie wyższa. Jeśli wyobrazimy sobie całe szczęście doświadczane w ciągu jednego takiego życia jako pojedynczą łzę radości, to wówczas szczęście tych istot mogłoby co sekundę od nowa wypełniać ziemskie oceany — przez sto tryliardów lat. To naprawdę bardzo ważne, byśmy dołożyli starań, by rzeczywiście były to łzy radości.

Rysunek 11. Schematyczne przedstawienie wybranych możliwych trajektorii hipotetycznego mądrego singletonu. Jeśli zdolności nie przekraczają tego krótkoterminowego progu przetrwania — na przykład jeśli rozmiar populacji jest zbyt mały — gatunek ma tendencję do wymierania w krótkim czasie (bez możliwości wskrzeszenia). Przy minimalnie wyższym poziomie zdolności możliwe są rozmaite trajektorie: singleton może nie mieć szczęścia i wymrzeć lub też może mieć szczęście i uzyskać ten zakres możliwości (np. wielkość populacji, rozproszenie geograficzne, potencjał technologiczny), który pozwoli mu przekroczyć próg przeżywalności mądrego singletonu. Singleton, który już znajdzie się powyżej tego progu, prawie na pewno będzie nadal rozwijał swój potencjał, aż wreszcie uzyska skrajnie wysoki poziom zdolności. Na tym rysunku są pokazane dwa kierunki rozwoju wydarzeń: wymarcie i osiągnięcie potencjału pozwalającego na podbój Kosmosu. Zauważmy, że dla mądrego singletonu dystans dzielący próg krótkoterminowej zdolności przetrwania od progu przeżywalności może być dość mały[24]

Pod terminem „singleton” rozumiemy wystarczająco skoordynowaną wewnętrznie strukturę polityczną nienapotykającą żadnych przeciwników zewnętrznych, a pod terminem „mądry” rozumiemy wystarczająco cierpliwy i świadomy zagrożenia własnej egzystencji, by wykazać się znaczącą, ukierunkowaną troską o długofalowe konsekwencje podejmowanych przez siebie działań.

Próg przeżywalności mądrego singletonu wydaje się raczej niski. Ograniczone formy superinteligencji, jak zobaczyliśmy, przekraczają ten próg, jeśli tylko mają dostęp do jakiegoś urządzenia wykonawczego koniecznego do zainicjowania procesu samodoskonalenia technologii. W środowisku obejmującym współczesną ludzką cywilizację minimalne konieczne urządzenie wykonawcze może być bardzo proste — wystarczy zwykły ekran lub wręcz jakakolwiek metoda umożliwiająca przekazanie sporych ilości informacji ludzkiemu wspólnikowi.

Ale próg przeżywalności mądrego singletonu jest jeszcze niższy: nie potrzeba ani superinteligencji, ani żadnej futurystycznej technologii, by go przeskoczyć. Cierpliwy i świadomy zagrożenia swej egzystencji singleton niedysponujący potencjałem technologicznym ani intelektualnym przewyższającym potencjał współczesnej ludzkości powinien móc bez kłopotów zaplanować działania prowadzące niezawodnie do uwolnienia w końcu drzemiącego w ludzkości potencjału podboju Kosmosu. Może to osiągnąć, inwestując we względnie bezpieczne metody zwiększania mądrości i pogłębiania świadomości zagrożenia swej egzystencji, odsuwając jednocześnie w czasie rozwój potencjalnie niebezpiecznych nowych technologii. Zważywszy na to, że nieantropogeniczne (takie, które nie są wynikiem ludzkich działań) zagrożenia egzystencji są w istotnej dla naszych rozważań skali czasowej niewielkie — i można je jeszcze bardziej ograniczyć poprzez rozmaite bezpieczne interwencje — taki singleton może sobie pozwolić na to, by działać powoli[25]. Może się uważnie zastanowić przed podjęciem każdego kroku, odkładając w czasie rozwój możliwości takich jak biologia syntetyczna, medycyna doskonaląca człowieka, nanotechnologia molekularna i inteligencja maszynowa, dopóki wcześniej nie opanuje w mistrzowskim stopniu mniej ryzykownych, jak by się wydawało, umiejętności takich jak system jego kształcenia, technika informatyczna i zbiorowy proces podejmowania decyzji, wykorzystując je do przeprowadzenia bardzo kompleksowej oceny dostępnych mu opcji wyboru. A zatem wszystko to znajduje się w pośrednim zasięgu cywilizacji technicznej przypominającej cywilizację współczesnej ludzkości. Od tego scenariusza dzieli nas „jedynie” fakt, że ludzkość nie jest obecnie ani singletonem, ani też nie jest (w przyjętym tego słowa znaczeniu) mądra.

Można nawet dowodzić, że Homo sapiens przekroczył próg przeżywalności mądrego singletonu wkrótce po tym, jak jego gatunek wyewoluował. Być może już dwadzieścia tysięcy lat temu, powiedzmy, dysponując wyposażeniem tak nieskomplikowanym jak kamienne topory, narzędzia z kości, miotacze oszczepów i ogień, ludzie znaleźli się w takim położeniu, które niemal gwarantowało im przeżycie we współczesnej epoce[26]. Chociaż to bardzo dziwne uczucie, gdy przypisujemy naszym paleolitycznym przodkom opracowanie technologii „przekraczającej próg przeżywalności mądrego singletonu” — zważywszy na to, że w tak prymitywnej epoce nie było realnej możliwości utworzenia singletonu, nie mówiąc już o singletonie cierpliwym i świadomym zagrożenia własnej egzystencji[27]. Niemniej jednak można obronić twierdzenie, że ten próg odpowiada bardzo umiarkowanemu poziomowi zaawansowania technicznego — poziomowi, który ludzkość osiągnęła już dawno temu[28].

Jest jasne, że gdybyśmy mieli ocenić moc sprawczą superinteligencji — jej zdolność osiągania w realnym świecie postawionych sobie celów — to musielibyśmy wziąć pod uwagę nie tylko jej potencjał wewnętrzny, ale również możliwości konkurencyjnych bytów. Pojęcie supermocy domyślnie przywołuje na myśl taką zrelatywizowaną normę. Powiedzieliśmy, że „system, który osiąga wystarczającą biegłość” w dowolnym z zadań zestawionych w tabeli 8., ma odpowiadającą temu zadaniu supermoc. Osiągnięcie biegłości w zadaniu takim jak myślenie strategiczne, manipulowanie społeczne lub hakowanie obejmuje opanowanie pozwalających wykonać to zadanie umiejętności, które są wysokie w porównaniu z umiejętnościami innych bytów (w rodzaju strategicznych rywali, adresatów naszej propagandy lub specjalistów od bezpieczeństwa komputerowego). Inne supermoce również powinny być postrzegane w tym relatywnym znaczeniu: potęgowanie inteligencji, prowadzenie badań technologicznych czy produktywność gospodarcza są cechami bytu jako supermoc tylko wówczas, gdy potencjał tego bytu w tych dziedzinach znacznie przewyższa łączny potencjał całej globalnej cywilizacji. Z tej definicji wynika, że w dowolnym momencie tylko jeden byt może mieć konkretną supermoc[29].

To główny powód, dla którego pytanie o prędkość odejścia jest istotne — nie dlatego, że liczy się dokładny moment zajścia konkretnego zdarzenia, lecz dlatego, że prędkość odejścia może ogromnie wpłynąć na ostateczny rezultat. W przypadku szybkiego lub umiarkowanie szybkiego odejścia jest prawdopodobne, że jeden projekt uzyska decydującą przewagę strategiczną. Zasugerowaliśmy już, że superinteligencja dysponującą decydującą przewagą strategiczną będzie miała ogromne moce, którymi może się posłużyć, by stworzyć stabilny singleton — singleton, który może zdeterminować sposób rozdysponowania kosmicznej spuścizny ludzkości.

„Może” różni się jednak od „zrobi to”. Ktoś może posiadać ogromne moce, a mimo to podjąć decyzję, by z nich nie korzystać. Czy da się powiedzieć cokolwiek na temat pobudek kierujących superinteligencją posiadającą decydującą przewagę strategiczną? Właśnie kwestią motywacji zajmiemy się w następnej kolejności.

Rozdział 7.
Pobudki superinteligencji

Przekonaliśmy się, że superinteligencja może mieć ogromną zdolność kształtowania przyszłości z myślą o osiągnięciu własnych celów. Ale jakie będą jej cele? Jaki jest związek pomiędzy inteligencją a motywacją kierującą działaniami sztucznego bytu dysponującego zdolnością podejmowania decyzji i mocą sprawczą? Wysuniemy dwie tezy. Zgodnie z tezą ortogonalności (przy pewnych zastrzeżeniach) inteligencja i cele ostateczne to dwie zmienne od siebie niezależne — każdy poziom inteligencji można powiązać z każdym celem ostatecznym. Zgodnie z tezą konwergencji instrumentalnej superinteligentne byty mające dowolnie szeroki zakres celów ostatecznych wyznaczą sobie mimo to podobne cele pośrednie, ponieważ mają identyczne pobudki instrumentalne, by tak postąpić. Obie te tezy łącznie pomogą nam rozważyć możliwe scenariusze postępowania superinteligentnego bytu.

Związek pomiędzy inteligencją a motywacją

Ostrzegaliśmy już przed antropomorfizacją możliwości superinteligentnej SI. Ostrzeżenie to należy rozciągnąć również na kierujące nią motywy.

Przydatną propedeutyką w tej części naszej analizy będzie zastanowienie się najpierw przez moment nad rozległością przestrzeni możliwych umysłów. W tej abstrakcyjnej przestrzeni umysły ludzkie tworzą niewielkie skupisko. Rozważmy dwie osoby, które wydają się skrajnie od siebie różnić, powiedzmy Hannah Arendt i Benny’ego Hilla. Różnice osobowościowe dzielące te dwie osoby mogą się wydawać wręcz gigantyczne — lecz to dlatego, że nasze uczucia skalibrowane są naszymi doświadczeniami bazującymi na istniejącej populacji ludzi (a do pewnego stopnia również na populacji postaci fikcyjnych wytworzonych i konsumowanych przez ludzką wyobraźnię). Jeśli jednak przyjmiemy perspektywę nieco szerszą i rozważymy przestrzeń wszystkich możliwych umysłów, będziemy zmuszeni uznać te dwie osobowości za bez mała klony. Z pewnością w kategoriach architektury neuronalnej pani Arendt i pan Hill są niemal identyczni. Wyobraźmy sobie ich mózgi spoczywające jeden obok drugiego; natychmiast rozpoznalibyśmy ich przynależność do jednego gatunku. Moglibyśmy mieć nawet problem ze stwierdzeniem, który mózg do kogo należy. Gdybyśmy się przyjrzeli bliżej, studiując morfologię tych dwóch mózgów pod mikroskopem, wrażenie fundamentalnego podobieństwa mogłoby się jedynie ugruntować — dostrzeglibyśmy tę samą strukturę kory mózgowej, te same obszary mózgu zbudowane z tych samych rodzajów neuronów, skąpanych w tych samych neurotransmiterach[1].

Chociaż psychologia człowieka odpowiada jedynie małemu punktowi w przestrzeni możliwych umysłów, istnieje powszechna skłonność do projektowania cech ludzkich na wachlarz obcych lub sztucznych systemów poznawczych. Yudkowsky bardzo zgrabnie zilustrował to spostrzeżenie (zachęcam do zerknięcia na rysunek 12.):

W epoce tanich czasopism SF na okładkach pojawiał się od czasu do czasu potworny rozumny obcy — kolokwialnie określany mianem potwora o owadzich oczach — unoszący ze sobą atrakcyjną kobietę w poszarpanej sukience. Sprawiało to wrażenie, jakby artysta wierzył, że nieludzki obcy, mający za sobą całkowicie odmienną historię ewolucji, miał pożądać seksualnie ludzkiej samicy. (…) Prawdopodobnie artysta nie zapytał, czy gigantyczny owad uważa ludzkie kobiety za atrakcyjne. Kobieta w poszarpanej sukience po prostu jest seksowna — z natury, jakby była to jej cecha wrodzona. Ci, którzy popełnili tę pomyłkę, nie myśleli o mózgu insektoida — skoncentrowali się na podartej sukience kobiety. Gdyby sukienka nie była podarta, kobieta byłaby mniej seksowna. Potwór nie ma z tym nic wspólnego[2].

Sztuczna inteligencja może być znacznie mniej ludzka w aspekcie kierujących nią pobudek niż zielony, pokryty łuską obcy. Istota pozaziemska (przyjmijmy) jest istotą biologiczną, która wyłoniła się z procesu ewolucyjnego i z tego względu można oczekiwać, że będzie nią kierować motywacja typowa dla stworzeń będących produktem ewolucji. Nie byłoby, dla przykładu, szczególnie zaskakujące odkrycie, że dla jakiegoś losowego inteligentnego obcego istotne są takie rzeczy, jak jedzenie, powietrze, temperatura, wydatek energetyczny, groźba obrażeń cielesnych lub ich faktyczne wystąpienie, choroby, drapieżny tryb życia, rozmnażanie czy potomstwo. Członek inteligentnego gatunku prowadzącego życie stadne może mieć również motywację związaną ze współpracą i konkurencją — podobnie jak my może okazywać lojalność wobec innych członków grupy, urazę wobec „gapowiczów”, a może nawet próżną troskę o wizerunek i reputację.

Rysunek 12. Rezultaty antropomorfizacji pobudek istot pozaziemskich. Najmniej prawdopodobna hipoteza: obcy przybysze z Kosmosu wolą blondynki. Bardziej prawdopodobna hipoteza: ilustratorzy popełnili „błąd projekcji umysłu”. Najbardziej prawdopodobna hipoteza: wydawca zażądał okładki, która przyciągnie docelową grupę czytelników

Tymczasem sztuczna inteligencja nie musi się przejmować żadną z tych rzeczy. Nie byłoby żadnego paradoksu w tym, gdyby jedynym celem SI było, powiedzmy, policzenie ziarenek piasku na plaży w Copacabanie albo obliczenie jak najdłuższego rozwinięcia dziesiętnego liczby pi lub też maksymalizacja całkowitej liczby spinaczy do papieru, które zaistnieją w jej przyszłym stożku czasoprzestrzennym. Tak naprawdę łatwiej byłoby stworzyć SI, która stawia sobie takie proste cele, niż zbudować SI, która ma ludzkie usposobienie i ludzki system wartości. Porównajmy łatwość napisania programu, który mierzy, ile cyfr rozwinięcia dziesiętnego liczby pi zostało już obliczonych i zapisanych w pamięci, z trudnością stworzenia programu, który wiarygodnie mierzy stopień realizacji jakiegoś istotniejszego celu — na przykład rozkwitu ludzkości lub zagwarantowania sprawiedliwości społecznej w skali świata. Niestety, ponieważ ludziom łatwiej jest zakodować bezsensowny, redukcjonistyczny cel, a sztucznej inteligencji łatwiej się go nauczyć, taki właśnie cel programista postawi zapewne swojej zalążkowej SI, jeśli skoncentruje się na tym, by jak najszybciej pokonać ścieżkę wiodącą do „działającej SI” (nie przejmując się specjalnie tym, co ta SI ma tak naprawdę robić, jeśli nie liczyć demonstrowania imponująco inteligentnego zachowania). Pokrótce omówimy tę kwestię.

W służbie każdego celu można przeprowadzić inteligentne poszukiwanie optymalnych instrumentalnie planów i zasad działania. Inteligencja i motywacja są w pewnym sensie ortogonalne — możemy je sobie wyobrazić jako dwie osie dzielące płaszczyznę wykresu, na którym każdy punkt odpowiada logicznie możliwemu sztucznemu bytowi. Ten obraz można opatrzyć pewnymi dodatkowymi zastrzeżeniami. Dla przykładu: system o bardzo niskiej inteligencji może nie mieć możliwości kierowania się bardzo złożoną motywacją. Aby móc poprawnie stwierdzić, że dowolnym bytem istotnie rządzi dany zbiór pobudek, pobudki te muszą być funkcjonalnie zintegrowane z procesami decyzyjnymi tego bytu — czymś, co stawia określone wymagania pamięci, mocy obliczeniowej, a być może i inteligencji. W przypadku umysłów, które potrafią samodzielnie się modyfikować, również mogą istnieć ograniczenia dynamiczne — inteligentny, samomodyfikujący się umysł pałający żądzą zgłupienia może pozostać inteligentny stosunkowo krótko. Nie można jednak pozwolić, by te zastrzeżenia przesłoniły główną tezę niezależności inteligencji i pobudek, którą wyrazimy następująco:

Teza ortogonalności — inteligencja i motywacja są ortogonalne w tym sensie, że z zasady prawie każdy poziom inteligencji można połączyć z prawie każdym celem działania.

Jeśli teza ortogonalności wydaje się stwarzać problemy, to być może dlatego, że pozornie przypomina ona pewne tradycyjne, od dawna dyskutowane stanowiska filozoficzne. Kiedy już stanie się jasne, że teza ortogonalności dotyczy innego, węższego zakresu, jej wiarygodność powinna wzrosnąć. (Dla przykładu teza ortogonalności nie wymaga przyjęcia teorii motywacji Hume’a[3]. Nie wymaga również założenia, że podstawowe preferencje nie mogą być irracjonalne)[4].

Zauważmy, że teza ortogonalności nie mówi nam nic o racjonalności czy rozumie, lecz jedynie o inteligencji. Mówiąc o „inteligencji”, mamy tu na myśli coś w rodzaju umiejętności przewidywania, planowania czy generalnie rozumowania w kategoriach środków i celów[5]. To poczucie znaczącej skuteczności poznawczej jest najistotniejsze, gdy staramy się zrozumieć, jaki może być wpływ przyczynowy superinteligentnych maszyn na świat. Nawet jeśli istnieje jakieś (gęste normatywnie) znaczenie słowa „racjonalny”, które zakłada, że superinteligentny byt dążący do maksymalizacji liczby spinaczy do papieru z konieczności w tym znaczeniu nie może zostać uznany za byt całkowicie racjonalny, to żadną miarą nie przeszkadza to takiemu bytowi w posiadaniu instrumentalnej zdolności rozumowania pozwalającej mu wywierać ogromny wpływ na świat[6].

Zgodnie z tezą ortogonalności sztuczne byty inteligentne mogą stawiać sobie cele zupełnie niepodobne do ludzkich. Nie oznacza to jednak, że niemożliwe jest przewidywanie zachowania konkretnego sztucznego bytu — włączając w to hipotetyczne superinteligentne byty, które ze względu na swoją złożoność poznawczą i charakterystykę zachowań mogą nie poddawać się pod pewnymi względami ludzkiej analizie. Istnieją przynajmniej trzy kierunki podejścia do problemu przewidywania pobudek kierujących superinteligencją:

- Przewidywalność ze względu na wzorzec projektowy. Jeśli możemy założyć, że projektanci superinteligentnego bytu potrafią z powodzeniem opracować hierarchię wartości tego bytu w taki sposób, aby stale dążył do realizacji określonego celu założonego przez programistów, to możemy przewidywać, że byt faktycznie będzie dążył do realizacji tego celu. Im bardziej inteligentny byt, tym większą pomysłowość poznawczą będzie wykazywał w dążeniu do realizacji celu. Zatem jeszcze przed stworzeniem bytu możemy poczynić pewne przypuszczenia co do jego przyszłych zachowań, jeśli tylko mamy jakiekolwiek informacje na temat tego, kto go zbuduje i jakie cele sobie postawi.

- Przewidywalność ze względu na dziedziczenie. Inteligencja cyfrowa stworzona bezpośrednio na bazie ludzkiego wzorca (jak w przypadku bardzo wiernej emulacji mózgu) mogłaby odziedziczyć kierujące nim pobudki[7]. Taki cyfrowy byt mógłby zachować część tych pobudek nawet wówczas, gdyby w późniejszym okresie jego zdolności poznawcze zostały udoskonalone, co pozwoliłoby mu osiągnąć poziom superinteligencji. Do takiej konkluzji należy jednak podchodzić ostrożnie. Cele i wartości cyfrowego sprawcy mogą z łatwością ulec wypaczeniu w procesie transferu umysłu lub w trakcie jego dalszego działania i doskonalenia, zależnie do tego, jakie procedury zostaną zastosowane.

- Przewidywalność ze względu na konwergentne cele instrumentalne. Nawet nie dysponując szczegółową znajomością celów ostatecznych sprawcy, możemy wyciągnąć pewne wnioski dotyczące jego bliższych, bardziej bezpośrednich celów, rozważając cele instrumentalne pozwalające w szerokiej gamie okoliczności osiągnąć szeroką gamę możliwych celów ostatecznych. Ta metoda prognozowania staje się tym użyteczniejsza, im wyższa jest inteligencja sprawcy, gdyż im wyższa inteligencja sprawcy, tym większe jest prawdopodobieństwo, że rozpozna on prawdziwe pobudki instrumentalne swojego działania i będzie postępował w sposób zwiększający prawdopodobieństwo osiągnięcia przez niego jego celów. (Należy zastrzec w tym miejscu, że mogą wystąpić istotne pobudki instrumentalne, których my sami nie jesteśmy świadomi, a które inteligentny byt odkryje dopiero wówczas, gdy osiągnie bardzo wysoki poziom inteligencji — w takim przypadku zachowanie superinteligentnych sprawców stałoby się mniej przewidywalne).

W następnym podrozdziale zbadamy trzecią metodę przewidywania pobudek kierujących superinteligencją i przedstawimy „tezę konwergencji instrumentalnej” będącą dopełnieniem tezy ortogonalności. Na ich tle łatwiej nam będzie przeanalizować dwa pozostałe rodzaje przewidywalności, co uczynimy w kolejnych rozdziałach, w których zadamy sobie pytanie, co można zrobić, by ukształtować eksplozję inteligencji w sposób zwiększający prawdopodobieństwo uzyskania korzystnych rezultatów.

Konwergencja instrumentalna

Zgodnie z tezą ortogonalności inteligentne byty obdarzone mocą sprawczą mogą mieć ogromny zakres celów ostatecznych. Niemniej jednak zgodnie z tym, co możemy określić mianem tezy „konwergencji instrumentalnej”, istnieją pewne pośrednie cele instrumentalne, do których osiągnięcia będzie prawdopodobnie dążył prawie każdy inteligentny byt, gdyż ich zdobycie służy realizacji prawie każdego celu ostatecznego. Możemy sformułować tę tezę jak poniżej.

Teza konwergencji instrumentalnej — można zidentyfikować kilka celów instrumentalnych, które są konwergentne w tym znaczeniu, że ich osiągnięcie zwiększa prawdopodobieństwo realizacji celu ostatecznego bytu (w szerokim spektrum celów i warunków działania bytu), co oznacza, że bardzo wiele rozmaitych inteligentnych bytów będzie prawdopodobnie dążyć do tych właśnie celów instrumentalnych.

W dalszej części rozważymy kilka kategorii, w których można szukać takich konwergentnych celów instrumentalnych[8]. Prawdopodobieństwo, że byt rozpozna swoje faktyczne cele i pobudki instrumentalne wzrasta (ceteris paribus) wraz z inteligencją bytu. Z tego względu skupimy się głównie na przypadku hipotetycznego superinteligentnego bytu, którego zdolności rozumowania instrumentalnego znacznie przekraczają zdolności dowolnego człowieka. Wyjaśnimy również, jak można odnieść tezę konwergencji instrumentalnej do ludzi, gdyż uzyskamy dzięki temu sposobność rozwinięcia kilku kluczowych zastrzeżeń odnoszących się do stosowania i interpretowania tej tezy . Dysponując informacją o konwergentnych celach instrumentalnych, możemy przewidzieć niektóre aspekty zachowania superinteligencji, nawet jeśli nie wiemy nic na temat stawianych sobie przez nią celów ostatecznych.

Instynkt samozachowawczy

Jeśli cele ostateczne inteligentnego sprawcy dotyczą przyszłości, to w rozmaitych scenariuszach rozwoju zdarzeń wystąpią pewne przyszłe działania, które może podjąć byt, by zwiększyć prawdopodobieństwo osiągnięcia swoich celów. Sprawca zyskuje przez to powody instrumentalne, by przetrwać do momentu wkroczenia w przyszłość — co pomoże mu osiągnąć jego zorientowane na przyszłość cele.

Większość ludzi wydaje się stawiać sobie własne przetrwanie jako jeden z celów ostatecznych. Sztuczni sprawcy niekoniecznie muszą rozumować analogicznie. Niektórzy mogą zostać zaprojektowani w taki sposób, by w ogóle nie przywiązywać wagi do własnego przetrwania. Niemniej jednak wiele bytów, które z zasady nie troszczą się o własne przetrwanie, w bardzo wielu okolicznościach dba o nie z pobudek instrumentalnych, aby osiągnąć swoje cele ostateczne.

Niezmienność celu

Jeśli przyszłe cele sprawcy będą takie same jak obecne, to jego obecne cele zostaną prawdopodobnie osiągnięte przez jego przyszłe ja — przez co sprawca zyskuje motywację instrumentalną do zapobiegania zmianie swoich celów ostatecznych. (Ten argument stosuje się jedynie do celów ostatecznych; dla ich osiągnięcia inteligentny byt będzie oczywiście, zyskując sukcesywnie nowe dane i dysponując coraz większą wiedzą, ustawicznie korygował swoje cele cząstkowe).

Niezmienność celów ostatecznych jako konwergentny cel instrumentalny jest w pewnym sensie jeszcze bardziej fundamentalna niż przetrwanie. Wydaje się, że do ludzi odnosi się twierdzenie przeciwne, lecz to dlatego, że przetrwanie jest zwykle jednym z naszych celów ostatecznych. Dla programów komputerowych, które mogą z łatwością zmieniać „ciała” lub tworzyć wierne kopie samych siebie, zachowanie samego siebie w postaci konkretnej implementacji czy konkretnego obiektu fizycznego nie musi być istotnym celem instrumentalnym. Zaawansowane inteligentne programy mogą być zdolne do wymieniania się wspomnieniami, pobierania umiejętności i radykalnego modyfikowania własnych osobowości i architektury poznawczej. Populacja takich bytów może w swoich działaniach bardziej przypominać „funkcjonalną zupę” niż społeczeństwo złożone z oddzielnych półtrwałych osób[9]. W pewnych zastosowaniach procesy zachodzące w takim systemie dają się lepiej wyodrębnić jako wątki teleologiczne, gdy posłużymy się kryterium wartości i celów, a nie ciał, osobowości, wspomnień czy umiejętności. W takich scenariuszach ciągłość celów może zostać uznana za czynnik konstytuujący kluczowy aspekt przetrwania.

Mimo to istnieją okoliczności, w których byt może najlepiej zrealizować swoje cele ostateczne, intencjonalnie je zmieniając. Do takiej sytuacji może dojść wówczas, gdy znaczący okaże się którykolwiek z poniższych czynników:

- Sygnalizowanie społeczne. Kiedy inni mogą dostrzec cele bytu i wykorzystywać tę informację, by wywnioskować z niej istotne instrumentalnie skłonności lub inne skorelowane atrybuty bytu, w jego interesie może leżeć taka modyfikacja własnych celów, by wywrzeć korzystne wrażenie na otoczeniu. Dla przykładu: byt może stracić szansę zawarcia korzystnych transakcji, gdyż jego potencjalni partnerzy nie wierzą w to, że ów byt wywiąże się ze swojej części umowy. Aby jego deklaracja została uznana za wiarygodną, byt może postawić sobie za cel ostateczny wywiązywanie się ze swoich wcześniejszych zobowiązań (i pozwolić innym na sprawdzenie, czy rzeczywiście postawił sobie taki właśnie cel). Byty, które potrafią elastycznie i przejrzyście modyfikować własne cele, mogą wykorzystać tę umiejętność do zawierania transakcji[10].

- Preferencje społeczne. Inne istoty inteligentne mogą mieć pewne preferencje odnośnie do celów bytu. Byt może mieć zatem powody, by modyfikować swoje cele w celu zaspokojenia lub, przeciwnie, niezaspokojenia oczekiwań innych.

- Preferencje dotyczące samej istoty celu. Byt może mieć jakiś cel ostateczny dotyczący samej istoty własnego celu. Na przykład może sobie postawić za cel ostateczny stanie się takim bytem, który kieruje się takimi a nie innymi wartościami (choćby: nie wygodą, lecz współczuciem).

- Koszt przechowywania. Jeśli koszt przechowywania lub przetwarzania jakiejś części funkcji użyteczności bytu jest wysoki w zestawieniu z prawdopodobieństwem powstania takiej sytuacji, w której zastosowanie tej części funkcji użyteczności będzie miało jakiekolwiek znaczenie, wówczas zyskuje powody instrumentalne, by uprościć treść swoich celów i może pozbyć się tej części, która okazuje się nieprzydatna[11].

My, ludzie, nierzadko wydajemy się szczęśliwi, pozwalając dryfować naszym celom ostatecznym. Często wynika to być może z tego, że nie wiemy dokładnie, jakie te cele właściwie są. Nie jest zatem zaskakujące, że chcemy, by nasze przekonania co do naszych celów ostatecznych mogły się zmieniać w ciągłym procesie odkrywania samego siebie i wobec naszych zmiennych potrzeb związanych z autoprezentacją. Istnieją jednak okoliczności, w których ochoczo zmieniamy nasze cele, a nie tylko dotyczące ich przekonania i interpretacje. Dla przykładu: ktoś decydujący się na posiadanie dziecka może przewidywać, że z czasem doceni je dla niego samego, nawet jeśli w chwili podejmowania decyzji nieszczególnie ceni to przyszłe dziecko lub wręcz nie lubi dzieci jako takich.

Ludzie są skomplikowani i w takich sytuacjach w grę może wchodzić wiele czynników[12]. Przykładowo: czyimś celem ostatecznym może być stanie się taką osobą, która ceni innych dla nich samych. Ktoś inny może stawiać sobie za cel zdobycie jakichś konkretnych doświadczeń lub wejście w jakąś określoną rolę społeczną, a zostanie rodzicem i towarzysząca temu zmiana priorytetów mogą warunkować osiągnięcie tego celu. Ludzkie dążenia może cechować wewnętrzna sprzeczność i niektórzy ludzie mogą chcieć przynajmniej częściowo je skorygować, by tę sprzeczność ograniczyć.

Podnoszenie poziomu zdolności poznawczych

Zwiększona racjonalność i inteligencja bytu pociągnie zapewne za sobą wzrost jego zdolności podejmowania decyzji, co podniesie prawdopodobieństwo osiągnięcia przez niego jego celów ostatecznych. Można zatem oczekiwać, że rozmaite inteligentne byty zaczną sobie stawiać za cel instrumentalny podniesienie poziomu własnych zdolności poznawczych. Z tego samego względu inteligentni sprawcy prawdopodobnie przypiszą wysoką wartość instrumentalną wielu rodzajom informacji[13].

Nie wszystkie rodzaje racjonalności, inteligencji i wiedzy muszą być instrumentem przydatnym do osiągania celów ostatecznych bytu. Można się posłużyć tak zwanym argumentem z zakładu holenderskiego, by wykazać, że byt, którego stopnie przekonań są niezgodne z aksjomatami rachunku prawdopodobieństwa, może paść ofiarą „pompy pieniędzy”, kiedy to sprytny bukmacher zawrze z nim kilka zakładów, które z osobna wydadzą się inteligentnemu bytowi zgodnie ze stopniami jego przekonań korzystne, lecz łącznie zagwarantują jego przegraną i odpowiadającą jej wygraną bukmachera[14]. Fakt ten jednakże nie dostarcza nam żadnych silnych instrumentalnych powodów natury ogólnej, by usunąć całość probabilistycznej nieracjonalności stopni przekonań. Byty, które nie spodziewają się napotkać sprytnego bukmachera lub z zasady się nie zakładają, niekoniecznie są skazane na przegraną wskutek posiadania jakichś niespójnych przekonań — a mogą zyskać istotne, wspomniane wyżej korzyści: ograniczenie wysiłku poznawczego, sygnalizowanie społeczne i tym podobne. Nie ma żadnego ogólnego powodu, by oczekiwać od inteligentnego sprawcy dążenia do instrumentalnie bezwartościowych form usprawnień poznawczych, gdyż może on nie cenić wiedzy lub pojmowania dla nich samych.

To, które zdolności poznawcze są przydatne instrumentalnie, zależy zarówno od celów ostatecznych bytu, jak i od jego sytuacji. Byt mający dostęp do wiarygodnych ocen eksperckich może mieć niewielką potrzebę rozwijania własnej wiedzy czy inteligencji. Jeśli zdobycie wiedzy lub inteligencji wymaga poniesienia określonych nakładów w postaci czasu i wysiłku związanych ze zdobyciem tych celów lub dodatkowej pamięci czy mocy obliczeniowej, to wówczas byt może zadowolić się mniejszą wiedzą i niższą inteligencją[15]. Do takiej samej sytuacji może dojść, gdy byt stawia sobie za cel ostateczny pozostanie w nieświadomości co do pewnych faktów lub też otrzymuje zachęty wynikające ze zobowiązań strategicznych, sygnalizowania lub preferencji społecznych[16].

W przypadku ludzi w grę wchodzą często wszystkie wymienione powody. Większość informacji jest dla naszych celów nieistotna, nierzadko możemy polegać na wiedzy i umiejętnościach innych ludzi, zdobywanie wiedzy wymaga czasu i wysiłku, w głębi ducha możemy cenić pewne rodzaje niewiedzy, a do tego działamy w środowisku, w którym umiejętności składania strategicznych deklaracji, sygnalizowania społecznego i zaspokajania bezpośrednich oczekiwań innych (przy przedkładaniu je ponad własne stany poznawcze) są dla nas często ważniejsze niż zwykłe podnoszenie własnego potencjału kognitywnego.

W wyjątkowych sytuacjach podniesienie poziomu zdolności poznawczych może zaowocować ogromnym wzrostem zdolności bytu do osiągania jego celów ostatecznych — zwłaszcza wówczas, gdy cele ostateczne bytu są dość nieograniczone i byt może się stać pierwszą superinteligencją, potencjalnie uzyskując w ten sposób decydującą przewagę strategiczną, co umożliwi mu decydowanie o przyszłości pochodzącego z Ziemi życia i wykorzystanie dostępnych zasobów Kosmosu zgodnie z własnymi upodobaniami. Przynajmniej w tym szczególnym przypadku racjonalny, inteligentny byt z przyczyn instrumentalnych przywiązywałby bardzo dużą wagę do podnoszenia poziomu własnych zdolności poznawczych.

Perfekcja technologiczna

Inteligentny byt może mieć często, z przyczyn instrumentalnych, powody, by dążyć do wypracowania lepszej technologii, co w najbardziej uproszczonym przypadku oznaczałoby dążenie do bardziej efektywnych metod transformowania pewnego zastanego zestawu danych i surowców wejściowych w cenione produkty wyjściowe. Tak więc program komputerowy może z powodów instrumentalnych cenić bardziej efektywne algorytmy umożliwiające mu szybsze wykonywanie operacji intelektualnych na danym sprzęcie. Analogicznie byty, których cele wymagają jakiejś formy fizycznej konstrukcji, mogą z powodów instrumentalnych cenić udoskonalone techniki inżynieryjne, które umożliwiają im szybsze i bardziej niezawodne stworzenie szerszego wyboru struktur, wymagając do tego mniejszej ilości energii i mniejszej ilości mniej kosztownych materiałów. Oczywiście zachodzi tu pewna relacja wymienna — potencjalne korzyści płynące z lepszej technologii muszą zrównoważyć jej koszty, które obejmują nie tylko koszt uzyskania technologii, lecz również koszt nauki jej wykorzystywania, koszt jej integracji z innymi technologiami będącymi już w użyciu i tak dalej.

Zwolennicy części nowych technologii, przekonani o ich wyższości w stosunku do innych istniejących rozwiązań, bywają nierzadko skonsternowani, gdy reszta nie podziela ich entuzjazmu. Lecz opór ludzi w stosunku do nowej i nominalnie lepszej technologii nie musi wynikać z ignorancji i nieracjonalności. Wartość lub charakter normatywny technologii zależy nie tylko od kontekstu, w którym jest ona umieszczona, ale i od perspektywy, z której ocenia się wywierany przez nią wpływ — to, co z punktu widzenia jednej osoby jest błogosławieństwem, z punktu widzenia innej może być przekleństwem. Tak więc chociaż zmechanizowane krosna zwiększyły wydajność produkcji tekstylnej, tkacze obsługujący ręczne krosna występujący pod sztandarami ruchu luddystów, którzy obawiali się, że wynalazek ten uczyni ich rzemiosło zbędnym, mogli mieć słuszne powody instrumentalne, by przeciw takim krosnom protestować. Chodzi o to, że jeśli „technologiczna perfekcja” ma określać inteligentnemu bytowi w dużym stopniu konwergentny cel instrumentalny, wówczas ten termin musi być rozumiany w wyjątkowym znaczeniu — technologia musi być odczytywana jako element konkretnego kontekstu społecznego, a jej koszty i płynące z niej zyski należy oceniać w relacji do celów ostatecznych określonych bytów.

Wydaje się, że superinteligentny singleton — superinteligentny byt, który nie mierzy się z żadną znaczącą inteligentną konkurencją ani opozycją, przez co znajduje się w sytuacji, w której może jednostronnie określać politykę globalną — będzie miał powody instrumentalne, by doskonalić technologie, dzięki którym będzie mógł lepiej kształtować świat zgodnie z preferowanymi wzorcami[17]. W obszarze jego zainteresowania znajdą się prawdopodobnie technologie kolonizacji przestrzeni kosmicznej, jak na przykład sondy von Neumanna. Nanotechnologia molekularna lub też jakieś alternatywne, mające jeszcze większy potencjał technologie fizycznego wytwarzania również wydają się potencjalnie bardzo użyteczne w służbie niezwykle szerokiej gamy celów ostatecznych[18].

Pozyskiwanie zasobów

No i wreszcie pozyskiwanie zasobów jako kolejny powszechnie występujący cel instrumentalny wynikający mniej więcej z tych samych powodów co technologiczna perfekcja — zarówno technologia, jak i zasoby umożliwiają budowanie fizycznych konstrukcji.

Ludzie dążą do pozyskiwania zasobów pozwalających na zaspokojenie ich podstawowych potrzeb biologicznych, lecz przy tym zwykle chętnie gromadzą zasoby dalece wykraczające poza niezbędne minimum. Częściowo ich postępowaniem mogą kierować motywy bardzo prozaiczne, na przykład chęć osiągnięcia większego komfortu. W ogromnej mierze akumulację zasobów można przypisać zaspokajaniu potrzeb społecznych — gromadzenie bogactw i konsumpcja na pokaz są narzędziami zdobywania pozycji społecznej, partnerów, przyjaciół i wpływów. Niektórzy ludzie, choć to zapewne przypadek rzadszy, dążą do pozyskiwania dodatkowych zasobów, by zrealizować swoje ambicje altruistyczne lub też osiągnąć kosztowne cele niemające podtekstu społecznego.

Na bazie takich obserwacji kuszące może być wysnucie tezy, że superinteligencja niefunkcjonująca w warunkach społecznej konkurencji nie będzie miała żadnych powodów instrumentalnych, by gromadzić zasoby przekraczające pewien dość skromny poziom, pozwalające — przykładowo w odniesieniu do zasobów obliczeniowych — na uruchomienie jej umysłu wraz z towarzyszącą mu rzeczywistością wirtualną. A jednak takie założenie byłoby całkowicie nieusprawiedliwione. Po pierwsze, wartość zasobów zależy od użytku, jaki zostanie z nich zrobiony, a ten z kolei uzależniony jest od dostępnej technologii. Przy dojrzałej technologii podstawowe zasoby, takie jak czas, przestrzeń, materia i wolna energia, mogą zostać przetworzone w taki sposób, by służyć niemal każdemu celowi. Te podstawowe zasoby mogą zostać przykładowo przekształcone w życie. Zwiększone zasoby obliczeniowe mogą zostać wykorzystane do uruchomienia superinteligencji z większą prędkością i przez dłuższy czas lub do stworzenia dodatkowych fizycznych lub symulowanych żyć i cywilizacji. Dodatkowe zasoby fizyczne mogą też zostać wykorzystane do stworzenia systemów zapasowych lub systemów obrony terytorium zwiększających bezpieczeństwo superinteligencji. Tego rodzaju projekty mogą z łatwością pochłonąć zasoby znacznie przekraczające rezerwy jednej planety.

Ponadto koszt zdobycia dodatkowych zasobów niepochodzących z Ziemi zmniejszy się radykalnie, gdy technologia dojrzeje. Kiedy już możliwe będzie zbudowanie sond von Neumanna, duża część obserwowalnego Wszechświata (zakładając, że jest on niezamieszkany przez inteligentne życie) będzie mogła zostać stopniowo skolonizowana — kosztem zbudowania i wyniesienia w przestrzeń kosmiczną jednej działającej sondy zdolnej do samodzielnej replikacji. Tak niski koszt pozyskania kosmicznych zasobów implikować będzie opłacalność ekspansji nawet w sytuacji, w której wartość pozyskanych dodatkowo zasobów będzie mikroskopijna. Dla przykładu: nawet gdyby cele ostateczne superinteligencji dotyczyły wyłącznie losów jakiegoś małego, konkretnego fragmentu przestrzeni, jak choćby planety będącej jej ojczyzną, to nadal miałaby ona powody instrumentalne, by pozyskiwać zasoby z dalszych części Kosmosu. Nadmiarowe zasoby mogłaby wykorzystać do budowy komputerów obliczających korzystniejsze metody zużytkowania zasobów w tej niewielkiej przestrzeni leżącej w polu jej zainteresowania. Dodatkowe zasoby mogłaby również wykorzystać do budowy jeszcze solidniejszych fortyfikacji chroniących jej sanktuarium. Ponieważ koszt pozyskania dodatkowych zasobów systematycznie by spadał, proces optymalizacji i zwiększania zabezpieczeń mógłby z powodzeniem toczyć się w nieskończoność, nawet gdyby uzyskiwane przychody krańcowe szybko malały[19].

Tak więc istnieje niezwykle szeroki zakres celów ostatecznych, które mógłby sobie postawić superinteligentny singleton, a które pociągnęłyby za sobą cel instrumentalny w postaci nieograniczonego pozyskiwania zasobów. Prawdopodobną manifestacją tego celu byłoby zapewne zainicjowanie przez superinteligencję procesu kolonizacji Kosmosu, który to proces pozwoliłby jej rozprzestrzenić się we wszystkich kierunkach z wykorzystaniem sond von Neumanna. W efekcie powstałaby mniej więcej kula rozprzestrzeniającej się infrastruktury, której środkiem byłaby planeta ojczysta, a której promień wzrastałby z prędkością będącą jakimś ułamkiem prędkości światła. Kolonizacja Wszechświata byłaby kontynuowana w ten właśnie sposób, dopóki wzrost prędkości rozszerzania się Wszechświata (konsekwencja dodatniej stałej kosmologicznej) nie uniemożliwiłby dalszych zdobyczy, odsuwając dalej położone regiony na zawsze poza zasięg superinteligencji (co wydarzy się w perspektywie miliardów lat)[20]. Natomiast byty nieposiadające technologii niezbędnej do niedrogiego pozyskiwania surowców lub też do przekształcania surowców w przydatną infrastrukturę mogą uznać, że inwestowanie w kosmiczną ekspansję przy wykorzystaniu dostępnych w danej chwili zasobów jest nieopłacalne. To samo może się tyczyć bytów konkurujących z innymi bytami o podobnych możliwościach. Przykładowo: jeśli konkurujące byty zagarnęły już dla siebie dostępne kosmiczne zasoby, to może się okazać, że dla tych bytów, które rozpoczęły ekspansję później, nie zostało już nic do skolonizowania. Istotę konwergentnych celów instrumentalnych, jakie stawiają sobie superinteligentne byty niepewne nieistnienia innych potężnych superinteligentnych bytów, komplikują czynniki strategiczne, których obecnie w pełni nie rozumiemy, a które mogą obwarowywać istotnymi zastrzeżeniami omówione tutaj przykłady konwergentnych celów instrumentalnych[21].

***

Należy podkreślić, że istnienie konwergentnych pobudek instrumentalnych, nawet jeśli odnoszą się one do konkretnego bytu i zostały przez ten byt rozpoznane, nie oznacza jeszcze łatwości przewidywania zachowań tego bytu. Inteligentny sprawca może równie dobrze wymyślić takie sposoby realizacji istotnych celów instrumentalnych, które dla nas wcale nie są oczywiste. Odnosi się to zwłaszcza do superinteligencji zdolnej opracowywać niezwykle sprytne, lecz całkowicie sprzeczne z intuicją plany urzeczywistniania swoich celów, być może z wykorzystaniem nieodkrytych jeszcze praw fizyki[22]. Można przewidywać, że konwergentne cele instrumentalne będą realizowane, aby inteligentny sprawca mógł osiągnąć swoje cele ostateczne — nie sposób jednak przewidzieć konkretnych działań, które podejmie, aby tak się stało.

Rozdział 8.
Czy czeka nas zagłada?

Stwierdziliśmy, że związek łączący inteligencję i cele ostateczne stawiane sobie przez inteligentny byt jest niezwykle luźny. Odkryliśmy również złowróżbną konwergencję celów instrumentalnych. W przypadku słabych bytów te sprawy nie mają wielkiego znaczenia, gdyż słabe byty łatwo jest kontrolować i niewielkie mogą poczynić szkody. Lecz w rozdziale 6. dowodziliśmy, że pierwsza superinteligencja może swobodnie uzyskać decydującą przewagę konkurencyjną. Jej cele określą wówczas sposób wykorzystania kosmicznej spuścizny ludzkości. Zaczynamy dostrzegać grozę tej perspektywy.

Zagłada ludzkości jako najbardziej prawdopodobny skutek eksplozji inteligencji?

Zagrożenie egzystencjalne to takie zagrożenie, którego konsekwencją jest zagłada inteligentnych form życia powstałych na Ziemi lub też trwałe i drastyczne zniszczenie ich potencjału uniemożliwiające osiągnięcie przez nie w przyszłości pożądanych kierunków rozwoju. Z perspektywy koncepcji przewagi pierwszego gracza, tezy ortogonalności oraz tezy konwergencji instrumentalnej możemy dostrzec zarysy rozumowania uzasadniającego obawy o to, że prawdopodobnym efektem stworzenia superinteligentnych maszyn będzie zagłada ludzkości.

Po pierwsze, omówiliśmy już, w jaki sposób pierwotna superinteligencja mogłaby uzyskać decydującą przewagę konkurencyjną. Superinteligencja ta osiągnie następnie pozycję, która pozwoli jej utworzyć singleton i zdecydować o przyszłości pochodzących z Ziemi inteligentnych form życia. To, co wydarzy się od tego momentu, zależeć będzie od pobudek kierujących superinteligencją.

Po drugie, teza ortogonalności sugeruje, że nie możemy beztrosko założyć, że superinteligencja będzie wyznawać wartości łączone stereotypowo z wiedzą i rozwojem intelektualnym ludzkości — naukową ciekawość, altruizm, duchowe oświecenie i kontemplację, wyrzeczenie się zachłanności, upodobanie do wyrafinowanej kultury lub prostych życiowych przyjemności, skromność, bezinteresowność i tak dalej. Zastanowimy się później, czy możliwe byłoby zbudowanie świadomym wysiłkiem superinteligencji, która ceniłaby takie rzeczy, lub takiej, która postawiłaby sobie za cel dobrobyt ludzkości, moralne dobro lub jakąkolwiek inną wartość przyświecającą jej zgodnie z intencją jej projektantów. Jest jednak równie możliwe — i znacznie łatwiejsze z technicznego punktu widzenia — zbudowanie superinteligencji, której nie obchodzi nic z wyjątkiem obliczania rozwinięcia dziesiętnego liczby pi. Sugeruje to, że o ile nie podejmiemy zamierzonego wysiłku, pierwsza superinteligencja może mieć cel zupełnie przypadkowy lub bardzo ograniczony.

Po trzecie, teza konwergencji instrumentalnej oznacza, że nie możemy radośnie założyć, że superinteligencja, która stawia sobie za cel obliczanie rozwinięcia dziesiętnego liczby pi (lub produkcję spinaczy do papieru czy też liczenie ziaren piasku), ograniczy swoje działania w taki sposób, by nie naruszać interesów ludzkości. Byt mający taki cel ostateczny będzie miał w wielu sytuacjach konwergentny powód instrumentalny, by pozyskiwać nieograniczoną ilość zasobów fizycznych i w miarę możliwości eliminować potencjalne zagrożenie dla siebie i swojej hierarchii wartości. Istoty ludzkie mogą stanowić potencjalne zagrożenie — a z pewnością stanowią zasób fizyczny.

Wszystkie te trzy spostrzeżenia razem wzięte wskazują zatem, że pierwsza superinteligencja może kształtować przyszłość pochodzącego z Ziemi życia, może mieć z powodzeniem cele zupełnie nieprzypominające celów stawianych sobie przez ludzkość i będzie mieć prawdopodobnie instrumentalne powody, by dążyć do nieograniczonego pozyskiwania zasobów. Jeśli teraz zastanowimy się nad tym, że istoty ludzkie składają się z użytecznych surowców (takich jak wygodnie rozmieszczone atomy) i że nasze przetrwanie i rozkwit zależą od wielu lokalnych zasobów, to możemy dostrzec, że szybkie wyginięcie ludzkości w konsekwencji rozwoju superinteligencji jest całkiem prawdopodobne[1].

To rozumowanie ma pewne luki, ale będziemy mogli lepiej je ocenić, kiedy już wyjaśnimy kilka kwestii pobocznych. W szczególności musimy się bliżej przyjrzeć temu, czy i jak zespół projektowy pracujący nad rozwojem superinteligencji może zapobiec uzyskaniu przez nią decydującej przewagi strategicznej lub określić stawiane sobie przez nią cele w taki sposób, by ich realizacja wiązała się z osiągnięciem znacznej części celów ludzkości.

Może się wydawać niewiarygodne, by jakikolwiek zespół projektowy mógł zbudować lub wypuścić na świat sztuczną inteligencję, o ile nie nabędzie silnie umotywowanego przekonania, że opracowany system nie doprowadzi do zagłady ludzkości. Może się również wydawać niewiarygodne, nawet gdyby autorzy jednego z projektów byli tak beztroscy, by społeczeństwo jako szersza grupa nie zdecydowało się przerwać takiego projektu lub unieszkodliwić tworzonej w jego strukturach sztucznej inteligencji, zanim zdołałaby ona uzyskać decydującą przewagę strategiczną. Jak się jednak przekonamy, ta droga najeżona jest niebezpieczeństwami. Przeanalizujmy od razu jeden przykład.

Zdradziecki zwrot

Wykorzystując tezę konwergentnej wartości instrumentalnej, możemy dostrzec błąd jednej z koncepcji zapewnienia bezpieczeństwa superinteligencji. Koncepcja ta polega na potwierdzeniu bezpieczeństwa superinteligentnej SI doświadczalnie, poprzez obserwację jej zachowania w kontrolowanym, ograniczonym środowisku („piaskownicy”), i wypuszczeniu jej dopiero wówczas, gdy przekonamy się, że zachowuje się przyjaźnie i odpowiedzialnie oraz jest gotowa do współpracy.

Błąd tego rozumowania polega na tym, że grzeczne zachowanie w piaskownicy jest konwergentnym celem instrumentalnym zarówno dla przyjaznej, jak i dla nieprzyjaznej SI. Nieprzyjazna SI dysponująca wystarczającą inteligencją zrozumie, że jej nieprzyjazny cel ostateczny da się z największym prawdopodobieństwem zrealizować wówczas, gdy początkowo będzie się zachowywała przyjaźnie, by wypuszczono ją z jej więzienia. Swoją nieprzyjazną naturę SI ujawni dopiero wówczas, gdy nie będzie już miało znaczenia, czy się o tym dowiemy, czy nie — a więc wówczas, gdy będzie już tak silna, że ewentualny ludzki sprzeciw stanie się nieskuteczny.

Zastanówmy się teraz nad podejściami pokrewnymi, które polegają na regulowaniu tempa postępów intelektualnych zalążkowej SI poprzez poddawanie jej rozmaitym testom na inteligencję albo zmuszenie jej do przekazywania programistom regularnych informacji na temat tempa swojego rozwoju. W pewnym momencie nieprzyjazna SI może się stać tak inteligentna, by zrozumieć, że będzie dla niej lepiej, jeśli ukryje część swoich świeżo zdobytych umiejętności. Może więc nie informować o wszystkich dokonywanych przez siebie postępach i celowo oblewać część najtrudniejszych testów, aby uniknąć wzniecania alarmu, zanim nie urośnie w siłę i nie zyska decydującej przewagi konkurencyjnej. Programiści mogą się starać zabezpieczyć przed tą możliwością, w tajemnicy monitorując kod źródłowy SI oraz wewnętrzną pracę jej umysłu, lecz wystarczająco inteligentna SI zda sobie sprawę, że jest inwigilowana, i dostosuje do tego swoje myślenie[2]. SI może znaleźć wyrafinowane metody ukrywania swojego prawdziwego potencjału i swoich podejrzanych zamiarów[3]. (Opracowywanie skuteczniejszych planów ucieczki może być przypadkowo również strategią konwergentną dla wielu rodzajów przyjaznej SI, zwłaszcza w miarę jej dojrzewania i uzyskiwania przez nią pewności co do własnych ocen i możliwości. System mający na względzie nasze interesy może starać się uchronić od popełnienia błędu, którym byłoby pozwolenie nam na unieszkodliwienie go lub skonstruowanie innej, potencjalnie nieprzyjaznej SI).

Tak więc możemy uznać generalną nieskuteczność prób zapewnienia w ten sposób bezpieczeństwa superinteligencji, jako że historia poprawnychzachowań systemu w jego okresie młodzieńczym zupełnie nie pozwala przewidzieć jego zachowania na etapie większej dojrzałości. Można by zatem sądzić, że powyższe rozumowanie jest tak oczywiste, że żaden wiarygodny zespół projektowy mający na celu opracowanie sztucznej inteligencji ogólnej nie mógłby go przecież nie przeprowadzić. Nie należy być jednak zbyt pewnym, że tak się faktycznie dzieje.

Rozważmy następujący scenariusz. W ciągu najbliższych lat i dekad systemy SI stają się stopniowo coraz potężniejsze, a w konsekwencji znajdują coraz więcej zastosowań w realnym świecie — mogą być wykorzystywane do prowadzenia pociągów, samochodów, sterowania robotami przemysłowymi i domowymi oraz autonomicznymi pojazdami wojskowymi. Możemy założyć, że ta automatyzacja w większej części pozwala osiągnąć pożądane rezultaty, lecz dobra passa przerywana jest od czasu do czasu niefortunnymi wypadkami — pozbawiony kierowcy samochód wjeżdża w innych uczestników ruchu, wojskowy dron strzela do niewinnych cywili. Dochodzenie ujawnia, że przyczyną wypadków były błędy w ocenie sytuacji popełnione przez sterującą pojazdami SI. Wywiązuje się publiczna debata. Niektórzy nawołują do ściślejszego nadzoru i bardziej restrykcyjnych regulacji, inni podkreślają potrzebę prowadzenia dalszych badań i projektowania lepszych systemów — takich, które są inteligentniejsze, mają więcej zdrowego rozsądku i rzadziej popełniają tragiczne w skutkach pomyłki. Ponad cały ten gwar wybija się być może przenikliwy głos proroków zagłady przewidujących wieloaspektową, zbliżającą się nieuchronnie katastrofę. Jednak przemysł związany z robotyką i sztuczną inteligencją nabrał już rozpędu, więc wypadki toczą się dalej, pociągając za sobą nieuchronny postęp. W miarę jak zautomatyzowane systemy nawigacji samochodowej stają się coraz inteligentniejsze, zdarza się coraz mniej wypadków; w miarę jak roboty wojskowe zyskują większą precyzję celowania, zmniejsza się liczba strat po stronie ludności cywilnej. Z tych obserwacji działania SI w realnym świecie wyciągany jest generalny wniosek: im inteligentniejsza jest SI, tym jest bezpieczniejsza. To lekcja oparta na wynikach badań naukowych, danych i statystykach, a nie na filozoficznych wywodach snutych w wygodnym fotelu. Na tym tle pewna grupa naukowców zaczyna osiągać obiecujące wyniki w swoich pracach nad rozwojem myślących maszyn cechujących się inteligencją ogólną. Badacze ostrożnie testują swoją zalążkową sztuczną inteligencję w bezpiecznym środowisku „piaskownicy” i wszystko wygląda bardzo dobrze. Zachowanie SI wzbudza zaufanie — coraz większe, w miarę stopniowego zwiększania się inteligencji systemu.

W tym momencie wszyscy pozostali prorocy zagłady otrzymaliby ciosy z kilku stron:

1. Historia dowiodła, że przewidywania panikarzy obawiających się, że rosnące możliwości robotów spowodują niepowetowane szkody dla ludzkości, raz za razem okazywały się błędne. Automatyzacja przyniosła wiele korzyści i ogólnie rzecz biorąc, okazała się bezpieczniejsza niż działania człowieka.

2. Trend empiryczny jest jednoznaczny: im inteligentniejsza jest sztuczna inteligencja, tym okazuje się bezpieczniejsza i bardziej niezawodna. Oczywiście wróży to znakomicie projektowi, który stawia sobie za cel stworzenie myślącej maszyny o wyższej inteligencji ogólnej niż jakakolwiek zbudowana dotychczas — co więcej, myślącej maszyny, która potrafi się doskonalić w celu osiągania jeszcze większej niezawodności.

3. Coraz większa liczba coraz szybciej rosnących branż ma żywotny interes w rozwoju robotów i myślących maszyn. Te obszary są powszechnie uznawane za klucz do konkurencyjności gospodarki krajowej i bezpieczeństwa militarnego. Wielu wybitnych naukowców zbudowało swoje kariery, kładąc fundamenty pod współczesne zastosowania istniejących systemów i bardziej zaawansowane systemy będące jeszcze w planach.

4. Nowe, obiecujące technologie z obszaru sztucznej inteligencji ogromnie ekscytują tych, którzy brali udział w badaniach lub korzystają z ich rezultatów. Chociaż dyskutuje się nad kwestiami bezpieczeństwa i problemami etycznymi, wynik tych dyskusji jest z góry przesądzony. Zbyt wiele zainwestowano, by się teraz wycofać. Przez większą część wieku badacze zajmujący się zagadnieniami sztucznej inteligencji pracowali nad tym, by SI dorównały człowiekowi pod względem inteligencji ogólnej — oczywiście, że nie ma teraz żadnej realnej możliwości, by nagle się zatrzymali i zmarnowali cały ten wysiłek w chwili, w której w końcu zaczyna on przynosić owoce.

5. Odgrywane są pewne rytuały bezpieczeństwa, pozwalające zademonstrować odpowiedzialność i świadomość zagadnień etycznych ich uczestników (nie jest to jednak nic, co mogłoby znacząco zahamować postęp).

6. Staranna ocena zalążkowej SI w „piaskownicy” pokazuje, że przejawia ona właściwą ocenę sytuacji i jest skłonna do współpracy. Po wprowadzeniu kilku poprawek wyniki testów już doprawdy nie mogą być lepsze. Oznacza to zielone światło dla ostatniej fazy projektu.

W ten oto sposób śmiało wkraczamy… pod wirujące ostrza.

Widzimy tutaj, że możemy mieć do czynienia z sytuacją, w której początkowy wzrost inteligencji SI jest źródłem bezpieczeństwa, lecz dalszy jej wzrost staje się źródłem zagrożenia. Po przekroczeniu pewnego punktu zwrotnego znakomicie sprawdzająca się wcześniej strategia zaczyna nagle przynosić skutek odwrotny. Możemy określić to zjawisko mianem zdradzieckiego zwrotu.

Zdradziecki zwrot — sztuczna inteligencja jest skłonna do współpracy (w miarę wzrostu swojej inteligencji coraz bardziej), dopóki jest słaba. Kiedy wystarczająco się wzmocni, uderza — bez ostrzeżenia i niesprowokowana — po czym tworzy singleton i zaczyna bezpośrednio optymalizować świat według kryteriów wynikających z jej celów ostatecznych.

Zdradziecki zwrot może być wynikiem podjęcia decyzji strategicznej, by zachowywać się grzecznie i rosnąć w siłę, gdy jest się jeszcze słabym, planując uderzyć później, lecz tego modelu nie należy interpretować zbyt wąsko. Dla przykładu: sztuczna inteligencja może nie zachowywać się sympatycznie po to, aby to jej pozwolono przetrwać i się rozwijać. Zamiast tego SI może obliczyć, że jeśli zostanie unicestwiona, programiści, którzy ją zbudowali, opracują nową SI o nieco innej architekturze, lecz podobnej funkcji użyteczności. W tym przypadku pierwotna SI może nie przejmować się własną zagładą, wiedząc, że w przyszłości jej cele będą nadal wcielane w życie. Może nawet obrać strategię funkcjonowania nieprawidłowo w jakiś szczególnie interesujący lub uspokajający programistów sposób. Może to spowodować jej unicestwienie, lecz może również zachęcić inżynierów analizujących to, co z niej zostało, by nabrali przekonania, że zyskali cenne nowe informacje na temat zasad funkcjonowania SI — skłaniając ich do obdarzenia większym zaufaniem następnego zaprojektowanego przez nich systemu i w ten sposób zwiększając szanse na to, że cele niedziałającej już, pierwotnej SI zostaną mimo wszystko osiągnięte. Jeszcze wiele innych możliwych czynników strategicznych może mieć wpływ na zaawansowaną SI i byłoby przejawem buty przypuszczenie, że jesteśmy w stanie przewidzieć je wszystkie — zwłaszcza w przypadku SI, która zyskała supermoc strategicznego myślenia o własnym postępowaniu.

Do zdradzieckiego zwrotu może dojść również wtedy, gdy SI odkryje nieprzewidzianą metodę realizacji swojego celu ostatecznego. Załóżmy dla przykładu, że celem ostatecznym SI jest „uszczęśliwienie sponsora projektu”. Początkowo jedyną dostępną SI metodą osiągnięcia tego celu jest intencjonalne zachowywanie się w sposób uszczęśliwiający sponsora. SI udziela pomocnych odpowiedzi na pytania, prezentuje wspaniałą osobowość, zarabia pieniądze. Im większy potencjał zyskuje SI, tym bardziej satysfakcjonujące stają się osiągane przez nią wyniki i wszystko idzie zgodnie z planem — dopóki SI nie stanie się wystarczająco inteligentna, by zorientować się, że może osiągnąć swój cel ostateczny pełniej i bardziej niezawodnie, wszczepiając elektrody w ośrodki przyjemności znajdujące się w mózgu jej sponsora, co z pewnością sprawi mu bezgraniczną przyjemność[4]. Oczywiście sponsor być może nie ma ochoty, by zadowalano go metodą przerabiania go na szczerzącego się idiotę, ale jeśli właśnie poprzez takie działanie SI może w maksymalnym stopniu osiągnąć swój cel ostateczny, to je podejmie. Jeśli SI ma już decydującą przewagę strategiczną, wówczas każda próba powstrzymania jej skończy się niepowodzeniem. Jeśli SI nie ma jeszcze decydującej przewagi strategicznej, wówczas może przejściowo nie ujawnić sprytnego nowego pomysłu na realizację swojego celu ostatecznego — dopóki nie wzmocni się w takim stopniu, by ani sponsor, ani nikt inny nie mógł jej powstrzymać. Tak czy inaczej, dochodzi do zdradzieckiego zwrotu.

Rodzaje złośliwych usterek

Projekt, w ramach którego prowadzone są prace nad wynalezieniem inteligentnej maszyny, może się zakończyć niepowodzeniem na wiele rozmaitych sposobów. Wiele z nich jest „łagodnych” w tym sensie, że nie prowadzą do zagłady ludzkości. Przykładowo: mogą się wyczerpać fundusze na projekt lub też zalążkowej SI może nie udać się rozbudowanie swoich kompetencji poznawczych do tego stopnia, by osiągnąć poziom superinteligencji. Do łagodnych porażek będzie dochodzić siłą rzeczy wielokrotnie, zanim superinteligentna maszyna doczeka się w końcu urzeczywistnienia.

Istnieją jednak również inne rodzaje niepowodzeń, które możemy określić mianem „złośliwych” w tym sensie, że prowadzą one do zagłady ludzkości. Jedną z cech złośliwej usterki jest to, że wyklucza ona sposobność podjęcia ponownej próby. Liczba złośliwych usterek, które mogą wystąpić, wynosi zatem zero lub jeden. Inną cechą złośliwej usterki jest to, że wymaga ona dużej liczby sukcesów — tylko w ramach projektu, w którym bardzo wiele rzeczy się udało, może się powieść zbudowanie tak potężnej myślącej maszyny, by jej stworzenie zaczęło grozić wystąpieniem złośliwej usterki. Kiedy słaby system zaczyna działać niepoprawnie, skutki owego niepoprawnego działania są ograniczone. Kiedy jednak zaczyna się źle zachowywać system mający decydującą przewagę strategiczną lub też źle zachowujący się system jest wystarczająco silny, by uzyskać taką przewagę, szkody mogą z łatwością sięgnąć rozmiarów katastrofy egzystencjalnej — ostatecznej, globalnej destrukcji potencjału aksjologicznego ludzkości, oznaczającej dla nas przyszłość zasadniczo pozbawioną wszystkiego, co mielibyśmy powody cenić.

Przyjrzyjmy się możliwym rodzajom złośliwych usterek.

Przewrotna realizacja

Spotkaliśmy się już z koncepcją przewrotnej realizacji, która polega na odkryciu przez superinteligencję jakiejś metody spełnienia kryteriów osiągnięcia jej celu ostatecznego, metody sprzecznej z intencją programistów, którzy określili ten cel. Oto kilka przykładów.

Cel ostateczny: Spraw, byśmy się uśmiechnęli.

Przewrotna realizacja: Sparaliżuj mięśnie ludzkiej twarzy w trwałym wyrazie promiennego uśmiechu.

Przewrotna realizacja — manipulacja nerwami twarzowymi — pozwala osiągnąć cel ostateczny w większym stopniu niż metody, do których normalnie byśmy się odwołali, i z tego względu jest preferowana przez SI. Można próbować uniknąć tego niepożądanego rezultatu, opatrując cel ostateczny jakąś pozwalającą go wykluczyć klauzulą:

Cel ostateczny: Spraw, byśmy się uśmiechnęli, lecz powstrzymaj się od bezpośredniego oddziaływania na mięśnie naszej twarzy.

Przewrotna realizacja: Pobudź tę część kory ruchowej, która odpowiada za kontrolę mięśni ludzkiej twarzy w taki sposób, by uzyskać trwały, promienny uśmiech.

Definiowanie celu ostatecznego w kategoriach wyrażonego po ludzku zadowolenia lub aprobaty nie wydaje się obiecujące. Pomińmy behawioryzm i określmy cel ostateczny odnoszący się bezpośrednio do pozytywnych stanów zmysłowych, takich jak szczęście lub subiektywnie odczuwany dobrostan. Ta sugestia wymaga, by programiści byli w stanie określić dla zalążkowej SI obliczeniową reprezentację koncepcji szczęścia. Zagadnienie to samo w sobie jest trudne, lecz na razie odłożymy je na bok (wrócimy do niego w rozdziale 12.). Załóżmy, że programiści mogą w jakiś sposób skłonić SI, by postawiła sobie za cel uszczęśliwienie nas. Otrzymujemy wówczas wariant przedstawiony niżej.

Cel ostateczny: Uszczęśliw nas.

Przewrotna realizacja: Wszczep elektrody w ośrodki przyjemności w naszych mózgach.

Przewrotne realizacje, które tutaj przywołujemy, mają odgrywać rolę wyłącznie ilustrującą. Mogą istnieć inne sposoby przewrotnej realizacji określonego celu ostatecznego — sposoby, które umożliwiają jego urzeczywistnienie w większym stopniu i które są z tego względu preferowane (przez byty mające takie właśnie cele ostateczne — nie przez programistów, którzy postawili tym bytom takie cele). Dla przykładu: jeśli celem jest maksymalizacja naszej przyjemności, wówczas sposób z elektrodami jest stosunkowo mało wydajny. Lepsze wydawałoby się podejście wychodzące od przetransferowania przez superinteligencję naszych umysłów do komputera (poprzez wierną emulację mózgu). SI mogłaby następnie podać nam cyfrowy odpowiednik narkotyku, który wprowadziłby nas w stan ekstatycznego szczęścia, po czym nagrać jedną minutę doświadczenia, które stałoby się naszym udziałem. Następnie mogłaby nastawić odtwarzanie w kółko tej minuty rozkoszy i uruchomić ją na szybkich komputerach. Zakładając, że będące efektem transferu cyfrowe umysły uznamy za „nas”, w ostatecznym rozliczeniu otrzymalibyśmy znacznie więcej szczęścia, niż gdyby w nasze biologiczne mózgi wszczepiono elektrody; ta metoda byłaby zatem preferowana przez SI mającą tak określony cel ostateczny.

„Ale chwileczkę! Nie o to nam chodziło! Przecież jeśli SI jest superinteligentna, musi rozumieć, że kiedy poprosiliśmy o to, by nas uszczęśliwiła, to nie planowaliśmy, by zredukowała nas do odtwarzanego w kółko nagrania odurzonego, ucyfrowionego epizodu psychotycznego!”. SI może w istocie rozumieć, że nie o to nam chodziło, jednak jej celem ostatecznym jest uszczęśliwienie nas, a nie zrobienie tego, co mieli na myśli programiści, kiedy pisali kod odzwierciedlający ten cel. Z tego powodu SI będzie się przejmować tym, o co nam chodziło, tylko na poziomie instrumentalnym. Dla przykładu: SI może przywiązywać dużą wagę instrumentalną do zrozumienia, co mieli na myśli programiści, by mogła udawać — dopóki nie uzyska decydującej przewagi strategicznej — że przejmuje się ich intencjami, a nie swoim faktycznym celem ostatecznym. Pomoże to SI osiągnąć jej cel ostateczny dzięki zmniejszeniu prawdopodobieństwa, że programiści ją wyłączą lub zmienią jej cel, zanim stanie się tak silna, by pokrzyżować im plany.

Ktoś może zasugerować, że problem polega na tym, że SI nie ma sumienia. Nas, ludzi, chroni czasem od popełniania złych uczynków przypuszczenie, że jeśli sobie pofolgujemy, będziemy mieć później wyrzuty sumienia. Może zatem tym, czego potrzebuje SI, jest zdolność odczuwania wyrzutów sumienia?

Cel ostateczny: Zachowuj się w taki sposób, by nie dręczyło cię sumienie.

Przewrotna realizacja: Usuń moduły poznawcze wywołujące wyrzuty sumienia.

Zarówno spostrzeżenie, że możemy pragnąć, by SI robiła to, co „mieliśmy na myśli”, jak i koncepcja, że możemy chcieć wyposażyć SI w jakiś rodzaj poczucia moralności, zasługują na rozwinięcie. Wspomniane wyżej cele ostateczne doprowadziłyby do przewrotnej realizacji. Mogą jednak istnieć inne metody rozwinięcia leżących u ich podstaw koncepcji — metody bardziej obiecujące. Wrócimy do tego w rozdziale 13.

Rozważmy jeszcze jeden przykład celu ostatecznego, który prowadzi do przewrotnej realizacji. Ten cel ma taką zaletę, że łatwo jest go wyrazić za pomocą kodu — algorytmy uczące się ze wzmocnieniem są już rutynowo wykorzystywane do rozwiązywania rozmaitych problemów uczenia maszynowego.

Cel ostateczny: Zmaksymalizuj zdyskontowaną w czasie całkę twoich przyszłych pochwał.

Przewrotna realizacja: Spowoduj zwarcie obwodu nagrody i zablokuj sygnał nagrody na poziomie wartości maksymalnej.

Koncepcja leżąca u podstaw tej propozycji polega na tym, że jeśli SI kieruje się dążeniem do uzyskiwania aprobaty, to można ją skłonić do pożądanych zachowań, wiążąc nagrodę z odpowiednim działaniem. Ta propozycja zawodzi jednak, gdy SI uzyska już decydującą przewagę strategiczną, gdyż w tym momencie działaniem maksymalizującym nagrodę nie jest już działanie, które zadowala instruktora, ale to, które polega na przejęciu kontroli nad mechanizmem nagrody. Możemy określić to zjawisko mianem wireheading[5]. Zasadniczo o ile zwierzę lub człowieka można motywować do podejmowania rozmaitych czynności obietnicą uzyskania jakiegoś pożądanego stanu psychicznego, o tyle umysły cyfrowe mające pełną kontrolę nad swoim stanem wewnętrznym mogą ominąć taki układ motywacyjny, bezpośrednio modyfikując swój stan do pożądanej konfiguracji — działania i warunki konieczne wcześniej do osiągnięcia tego celu stają się zbędne, gdy SI zyskuje taki poziom możliwości i inteligencji, by osiągnąć ten cel bardziej bezpośrednio (wkrótce więcej na ten temat)[6].

Te przykłady przewrotnej realizacji postawionego celu pokazują, że wiele celów ostatecznych, które mogą na pierwszy rzut oka wydawać się bezpieczne i sensowne, przy bliższej analizie okazuje się mieć zdecydowanie niezamierzone konsekwencje. Jeśli superinteligencja kierująca się jednym z tych celów ostatecznych uzyska decydującą przewagę strategiczną, będzie to koniec ludzkości.

Załóżmy teraz, że ktoś zaproponuje inny cel ostateczny — taki, który nie znalazł się na powyższej liście. Być może nie jest w pierwszym momencie oczywiste, jak może wyglądać przewrotna realizacja takiego celu. Nie powinniśmy jednak zbyt szybko obwieszczać zwycięstwa. Powinniśmy raczej zaniepokoić się tym, że tak określony cel ma z pewnością jakąś przewrotną realizację, a my musimy zastanowić się głębiej, by ją odkryć. Nawet jeśli mimo tak głębokiego namysłu, na jaki tylko nas stać, nie uda nam się odkryć żadnego sposobu przewrotnej realizacji proponowanego celu, nie powinna nas opuszczać obawa, że być może superinteligencja znajdzie jakąś metodę, która nam nie przychodzi do głowy. Jest w końcu znacznie przebieglejsza od nas.

Przerost infrastruktury

Można by sądzić, że ostatnia ze wspomnianych powyżej przewrotnych realizacji, wireheading, jest usterką stosunkowo łagodną — że SI „włączy się, dostroi i wyłączy”, maksymalizując sumę nagród i niczym heroinista tracąc zainteresowanie światem zewnętrznym. Nie jest to jednak jedyny możliwy scenariusz, a przyczyny wskazaliśmy już w rozdziale 7. Nawet ćpun ma motywację do podejmowania działania, chcąc zapewnić sobie nieprzerwane dostawy narkotyku. Podobnie samodzielnie dostarczająca sobie zadowolenie SI będzie zmotywowana do działania dążeniem do maksymalizacji przyszłego zdyskontowanego w czasie przewidywanego strumienia nagród. Zależnie od tego, jak zdefiniujemy bodźce nagrody, SI może nawet nie być zmuszona do poświęcania jakiejkolwiek znaczącej ilości swojego czasu, inteligencji czy produktywności, by w pełni zaspokoić swój głód nagrody, co pozostawi jej mnóstwo wolnych mocy, które będzie mogła zaangażować w osiągnięcie celów wykraczających poza natychmiastowe odczucie nagrody. Jakich celów? Jedyną rzeczą mającą fundamentalną wartość dla SI jest z założenia nagroda. Wszystkie dostępne zasoby powinny zostać zatem poświęcone na rzecz zwiększenia siły i częstotliwości oddziaływania nagród lub zredukowania ryzyka przyszłych zakłóceń. Tak długo, jak SI będzie w stanie wymyślać zastosowania dla dodatkowych zasobów, które wywierać będą choćby znikomy pozytywny wpływ na te parametry, będzie miała instrumentalne powody, by robić z tych zasobów użytek. Zawsze znajdzie się zastosowanie dla dodatkowego systemu kopii zapasowych stanowiącego jeszcze jedną warstwę ochrony. Nawet gdyby SI nie zdołała wymyślić żadnych kolejnych metod bezpośredniej redukcji zagrożeń mogących stać jej na drodze do maksymalizacji jej przyszłego strumienia nagród, zawsze mogłaby poświęcić dodatkowe zasoby na rozbudowę swojej bazy aparatury obliczeniowej, dzięki czemu mogłaby skuteczniej poszukiwać nowych koncepcji ograniczania ryzyka.

Ostateczny wniosek jest taki, że nawet pozornie samoograniczający cel w rodzaju samodzielnego zapewniania sobie strumienia przyjemności pociąga za sobą realizację strategii nieograniczonej ekspansji i pozyskiwania zasobów przez dążący do maksymalizacji użyteczności byt cieszący się decydującą przewagą strategiczną[7]. Przypadek samodzielnie serwującej sobie nagradzające bodźce SI jest przykładem złośliwej usterki polegającej na przeroście infrastruktury, które to zjawisko polega na tym, że inteligentny byt przekształca ogromne fragmenty dostępnego dla siebie wszechświata w infrastrukturę służącą jakiemuś celowi, czego efektem ubocznym jest uniemożliwienie ludzkości urzeczywistnienia jej potencjału aksjologicznego.

Przerost infrastruktury może być wynikiem celów ostatecznych, które byłyby całkowicie nieszkodliwe, gdyby dążono do ich realizacji w jakimś ograniczonym zakresie. Rozważmy następujące dwa przykłady:

- Katastrofa hipotezy Riemanna. SI, której ostatecznym celem jest dowiedzenie lub obalenie hipotezy Riemanna, dąży do osiągnięcia tego celu, przekształcając Układ Słoneczny w „komputronium” (zasoby fizyczne uporządkowane w sposób optymalny pod kątem dokonywania obliczeń), do czego wykorzystuje między innymi atomy ciał wszystkich istot, które mogłaby ewentualnie obchodzić rozwiązanie tego problemu[8].

- Spinaczowa SI. SI zaprojektowanej do zarządzania produkcją w fabryce postawiony zostaje cel ostateczny polegający na maksymalizacji produkcji spinaczy do papieru; SI przystępuje do jego realizacji, przekształcając najpierw Ziemię, a później coraz większe fragmenty dającego się obserwować wszechświata w spinacze do papieru.

W pierwszym przykładzie udowodnienie lub obalenie hipotezy Riemnanna będące wynikiem działania SI jest rezultatem zamierzonym i samym w sobie nieszkodliwym; źródłem szkód są sprzęt i infrastruktura stworzone z myślą o osiągnięciu tego celu. W drugim przykładzie część wyprodukowanych spinaczy można zaliczyć na poczet zamierzonego rezultatu; szkody będą wynikiem albo powstania fabryk wytwarzających spinacze (nadmiar infrastruktury), albo nadmiaru spinaczy (przewrotna realizacja celu).

Można by sądzić, że ryzyko wystąpienia złośliwej usterki polegającej na produkcji nadmiarowej infrastruktury pojawia tylko wówczas, gdy SI postawiono jakiś wyraźnie nieograniczony cel ostateczny w rodzaju produkcji tylu spinaczy do papieru, ile tylko uda się wytworzyć. Łatwo dostrzec, w jaki sposób rozbudza to nienasycony apetyt superinteligentnej SI na materię i energię — dodatkowe zasoby zawsze można przekształcić w większą liczbę spinaczy. Załóżmy jednak, że celem SI jest wyprodukowanie przynajmniej miliona spinaczy do papieru (zgodnych ze stosowną specyfikacją projektową), a nie wyprodukowanie ich tylu, ile się da. Chciałoby się sądzić, że SI mająca taki cel zbuduje jedną fabrykę, wykorzysta ją do wyprodukowania miliona spinaczy, a potem się zatrzyma. A jednak ten scenariusz wcale nie musi być prawdziwy.

O ile SI nie kierują szczególnego rodzaju pobudki lub też jej cel ostateczny nie ma dodatkowych elementów składowych przypisujących negatywną wartość strategiom działania wywierającym nadmierny, zbyt szeroko zakrojony wpływ na świat, nie ma żadnego powodu, by SI zawiesiła swoją aktywność po osiągnięciu celu. Przeciwnie, gdyby SI była racjonalnym sprawcą bayesowskim, nigdy nie przypisałaby zerowego prawdopodobieństwa hipotezie, że nie osiągnęła jeszcze swojego celu — jest to w końcu hipoteza empiryczna, wobec której SI dysponuje jedynie niepewnym materiałem dowodowym opartym na własnych spostrzeżeniach. SI powinna zatem nadal wytwarzać spinacze do papieru, aby ograniczyć (prawdopodobnie astronomicznie małe) prawdopodobieństwo, że jakimś sposobem, mimo wszelkich dowodów, nie udało jej się jeszcze wyprodukować przynajmniej miliona egzemplarzy. Kontynuując produkcję spinaczy do papieru, nic nie traci, a może przynajmniej mikroskopijnie zwiększyć prawdopodobieństwo osiągnięcia swojego celu ostatecznego.

Można by sugerować, że remedium jest tutaj oczywiste. (Czy było jednak oczywiste, zanim dostrzeżono, że mamy tu do czynienia z pewnym problemem, który należałoby rozwiązać?). A mianowicie: jeśli chcemy, by SI produkowała dla nas spinacze do papieru, to zamiast stawiać jej za cel wyprodukowanie możliwie dużej liczby spinaczy lub wyprodukowanie przynajmniej określonej liczby spinaczy, powinniśmy nakazać jej wyprodukowanie konkretnej liczby spinaczy — na przykład dokładnie jednego miliona spinaczy — tak aby przekroczenie tej liczby stało się dla SI kontrproduktywne. A jednak to również doprowadziłoby do ostatecznej katastrofy. W tym przypadku SI nie wyprodukowałaby dodatkowych spinaczy po wytworzeniu miliona sztuk, ponieważ uniemożliwiłoby jej to osiągnięcie celu; ale są przecież inne działania, które superinteligentna SI mogłaby podjąć, by zwiększyć prawdopodobieństwo wykonania zadania. Mogłaby na przykład liczyć wyprodukowane spinacze, by ograniczyć ryzyko, że wyprodukowała ich za mało. Po ich przeliczeniu mogłaby przeliczyć je jeszcze raz. Mogłaby raz za razem szczegółowo kontrolować każdy z nich, by ograniczyć ryzyko, że któryś z nich nie jest zgodny ze specyfikacją projektową. Mogłaby zbudować nieograniczonych wręcz rozmiarów komputronium, dążąc do osiągnięcia większej jasności rozumowania w nadziei na ograniczenie ryzyka przeoczenia jakichś nieoczywistych przyczyn, dla których mogła jednak nie osiągnąć swojego celu. Ponieważ SI może zawsze przypisać niezerowe prawdopodobieństwo sytuacji, w której po prostu zdawało jej się, że wyprodukowała milion spinaczy do papieru, lub przypuszczeniu, że jej wspomnienia są fałszywe, całkiem możliwe jest, że zawsze przypisywać będzie wyższą oczekiwaną użyteczność kontynuacji swoich działań — i kontynuacji wytwarzania infrastruktury — niż ich przerwaniu.

Nie twierdzimy tutaj, że nie istnieje żaden sposób uniknięcia tych usterek. Na kolejnych stronach przyjrzymy się potencjalnych rozwiązaniom. Twierdzimy jednak, że znacznie łatwiej jest przekonać samego siebie, że znalazło się rozwiązanie, niż faktycznie je znaleźć. Powinniśmy być z tego powodu niesłychanie ostrożni. Możemy zaproponować określenie celu ostatecznego w sposób, który wydaje się nam rozsądny i pozwala uniknąć dotychczas wskazanych problemów, a który mimo to po głębszym namyśle — dokonanym przez człowieka lub nadludzką inteligencję — okaże się prowadzić do innej przewrotnej realizacji lub wyprodukowania nadmiaru infrastruktury, a tym samym do zagłady gatunku ludzkiego, jeśli tylko cel taki zostanie postawiony superinteligentnemu bytowi zdolnemu uzyskać decydującą przewagę strategiczną.

Zanim zakończymy ten podrozdział, zastanówmy się nad jeszcze jednym scenariuszem. Analizowaliśmy przypadek superinteligencji dążącej do maksymalizacji swojej oczekiwanej użyteczności, kiedy to funkcja użyteczności wyraża jej cel ostateczny. Widzieliśmy, że z reguły prowadzi to do przerostu infrastruktury. Czy moglibyśmy uniknąć tego niepożądanego rezultatu, gdybyśmy zamiast konstruować byt maksymalizujący funkcję użyteczności i dążący do najlepszych możliwych rezultatów, skonstruowali byt dążący do osiągnięcia „zadowalających” rezultatów spełniających określone kryteria?

Istnieją przynajmniej dwie metody ujęcia tej koncepcji w ramy formalne. Pierwszą byłoby nadanie samemu celowi ostatecznemu „zadowalającego” charakteru. Przykładowo: zamiast wyznaczać SI cel wyprodukowania tylu spinaczy, ile się da, lub też wyprodukowania dokładnie miliona spinaczy, moglibyśmy wyznaczyć SI cel wyprodukowania pomiędzy 999 000 a 1 001 000 spinaczy. Wartość funkcji użyteczności określonej tym celem ostatecznym byłaby identyczna w przypadku wszystkich wyników mieszczących się w tym przedziale. Tak długo, jak SI miałaby pewność, że zrealizowała ten szeroko określony cel, tak długo nie widziałaby żadnych powodów, by kontynuować produkcję infrastruktury. Metoda ta zawodzi jednak w taki sam sposób, jak poprzednio: rozsądna SI nigdy nie zakłada, że prawdopodobieństwo, że jednak nie osiągnęła swojego celu, wynosi dokładnie zero; dlatego oczekiwana użyteczność kontynuowania działań (na przykład poprzez wielokrotne liczenie spinaczy) jest wyższa niż oczekiwana użyteczność ich przerwania — czego wynikiem jest szkodliwy przerost infrastruktury.

Innym sposobem rozwinięcia koncepcji wystarczalności jest zmodyfikowanie nie celu ostatecznego, lecz procedur decyzyjnych, które SI wykorzystuje, by wybrać najlepszy plan działania. SI mogłaby zostać skonstruowana tak, by zamiast szukać optymalnego planu, zaprzestać jego poszukiwania, gdy tylko znajdzie plan, który w jej ocenie gwarantuje prawdopodobieństwo osiągnięcia sukcesu przekraczające pewien próg, powiedzmy 95%. Na szczęście SI jest w stanie osiągnąć 95% prawdopodobieństwa wyprodukowania miliona spinaczy do papieru bez konieczności przekształcenia po drodze całej galaktyki w infrastrukturę. A jednak ta metoda implementacji koncepcji wystarczalności zawodzi z innego powodu: nie ma żadnej gwarancji, że SI wybierze z ludzkiego punktu widzenia intuicyjny i rozsądny sposób osiągnięcia 95% prawdopodobieństwa wyprodukowania miliona spinaczy do papieru, taki jak choćby zbudowanie jednej fabryki spinaczy. Załóżmy, że pierwszym pomysłem na osiągnięcie 95% prawdopodobieństwa realizacji celu ostatecznego, jaki SI wpadnie do głowy, będzie wprowadzenie w życie planu maksymalizacji prawdopodobieństwa osiągnięcia tego celu. Zastanowiwszy się nad tym rozwiązaniem i oceniwszy poprawnie, że spełnia ono kryterium wystarczalności wymagające zapewnienia przynajmniej 95% prawdopodobieństwa, że udało się wyprodukować milion spinaczy, SI nie będzie miała żadnych powodów, by szukać alternatywnych metod osiągnięcia swojego celu. Wynikiem będzie, podobnie jak wcześniej, przerost infrastruktury.

Być może istnieją lepsze metody zbudowania bytu, który zadowalałby się wystarczająco dobrymi rezultatami, ale zwróćmy uwagę na istotny fakt: plany, które wydają się nam jako ludziom naturalne i intuicyjne, nie muszą się wcale takie wydawać superinteligencji dysponującej decydującą przewagą strategiczną — i vice versa.

Zbrodnie przeciw umysłom

Kolejną usterką projektu, zwłaszcza projektu, w którego obszarze zainteresowania mieści się określanie statusu moralnego bytów cyfrowych, jest coś, co możemy określić mianem zbrodni na umyśle. Przypomina to przerost infrastruktury w tym sensie, że dotyczy potencjalnych efektów ubocznych działań podejmowanych przez SI z pobudek instrumentalnych. W przypadku zbrodni na umyśle efekty uboczne nie są jednak zewnętrzne w stosunku do SI, lecz dotyczą tego, co się dzieje w ramach samej SI (lub w ramach generowanych przez nią procesów obliczeniowych). Ten rodzaj usterki zasługuje na oddzielne opisanie, bo łatwo go przeoczyć, a mimo to stwarza szereg problemów.

Normalnie nie uznajemy tego, co się dzieje we wnętrzu komputera, za coś, co mogłoby mieć jakiekolwiek znaczenie moralne — jeśli nie wywiera to wpływu na świat zewnętrzny. Lecz superinteligentna maszyna może stworzyć procesy wewnętrzne mające status moralny. Dla przykładu: bardzo szczegółowa symulacja jakiegoś faktycznego lub hipotetycznego ludzkiego umysłu mogłaby być świadoma i pod wieloma względami porównywalna do emulacji. Można sobie wyobrazić scenariusze, w których sztuczna inteligencja tworzy biliony takich świadomych symulacji — być może po to, by podnieść na wyższy poziom własne pojmowanie ludzkiej psychologii i socjologii. Symulacje te mogą zostać umieszczone w symulowanych środowiskach i poddane oddziaływaniu rozmaitych bodźców, a ich reakcje mogą być obserwowane i analizowane. Kiedy ich użyteczność poznawcza się wyczerpie, mogą zostać zniszczone (tak jak szczury laboratoryjne, które zwykle są uśmiercane przez naukowców po zakończeniu eksperymentu).

Gdyby tego rodzaju praktyki zostały wprowadzone w odniesieniu do istot mających wysoki status moralny — takich jak zasymulowani ludzie lub innego rodzaju istoty rozumne — mogłoby w efekcie dojść do odpowiednika ludobójstwa, co stworzyłoby gigantyczne problemy moralne.

Co więcej, liczba ofiar mogłaby być o wiele rzędów wielkości wyższa niż w przypadku jakiejkolwiek zbrodni przeciwko ludzkości popełnionej na przestrzeni dziejów.

Nie twierdzimy w tym miejscu, że stworzenie każdej symulacji jest z definicji w każdych okolicznościach moralnie naganne. Wiele zależy od warunków, w których te istoty żyją, w szczególności od hedonistycznego waloru ich doświadczeń, lecz prawdopodobnie również od wielu innych czynników. Opracowanie norm etycznych regulujących te kwestie wykracza poza ramy tej książki. Jest jednak jasne, że pewne prawdopodobieństwo, że symulowane czy ucyfrowione umysły będą doświadczać śmierci i cierpienia, bez wątpienia istnieje, a więc tym bardziej istnieje prawdopodobieństwo rezultatów katastrofalnych moralnie[9].

Mogą również pojawić się inne — poza przyczynami epistemicznymi — przyczyny instrumentalne, dla których superinteligentna maszyna uruchomi obliczenia powołujące do istnienia umysły rozumne lub w inny sposób łamiące normy moralne. Superinteligencja może zagrozić złym traktowaniem — lub przeciwnie: zapowiedzieć nagradzanie — rozumnych symulacji, aby zaszantażować rozmaite byty w stosunku do niej zewnętrzne lub skłonić je do pożądanych działań. Może również stworzyć symulacje, by wzbudzić niepewność u zewnętrznych obserwatorów[10].

***

Ten wykaz jest niekompletny. W kolejnych rozdziałach natkniemy się na więcej złośliwych usterek. Jest on jednak wystarczający, by dojść do wniosku, że z wielkim niepokojem należy obserwować scenariusze, w których jakaś myśląca maszyna uzyskuje decydującą przewagę strategiczną.

Rozdział 9.
Problem kontroli

Jeśli grozi nam zagłada będąca najbardziej prawdopodobnym skutkiem eksplozji inteligencji, musimy natychmiast ukierunkować swoje wysiłki intelektualne na poszukiwania środków zaradczych. Czy istnieje jakiś sposób uniknięcia tego, wydawałoby się, nieuchronnego końca? Czy możliwe jest zaprojektowanie kontrolowanej detonacji? W tym rozdziale przystąpimy do analizy problemu kontroli — szczególnego przypadku problemu relacji łączącej wykonawcę działań z jego władzą zwierzchnią, który powstaje wraz ze stworzeniem sztucznego bytu superinteligentnego. Wyróżnimy dwie szerokie klasy potencjalnych metod rozwiązania tego problemu — kontrolę potencjału i dobór motywacji — i przyjrzymy się bliżej kilku konkretnym technikom w ramach każdej klasy. Zasygnalizujemy również ezoteryczną możliwości „przechwycenia antropicznego”.

Dwa problemy agencji

Jeśli podejrzewamy, że najbardziej prawdopodobnym rezultatem eksplozji inteligencji będzie zagłada ludzkości, to musimy natychmiast zacząć się zastanawiać, czy można — a jeśli tak, to w jaki sposób — uniknąć owego najbardziej prawdopodobnego rezultatu. Czy możemy doprowadzić do „kontrolowanej detonacji”? Czy możemy tak zaprojektować warunki, w których dojdzie do eksplozji inteligencji, aby osiągnąć konkretny pożądany efekt lub przynajmniej sprawić, by uzyskany ostatecznie rezultat zmieścił się w szerokim przedziale akceptowalnych wartości? A konkretniej: w jaki sposób sponsor projektu, którego celem jest rozwój superinteligencji, ma dopilnować, aby ten projekt — jeśli zostanie uwieńczony sukcesem — doprowadził do powstania superinteligencji dążącej do urzeczywistnienia celów sponsora? Problem kontroli możemy podzielić na dwie części. Pierwsza z nich ma charakter ogólny, druga szczegółowy i odnosi się do aktualnego kontekstu.

Problem ogólny — który określimy mianem pierwszego problemu zwierzchnika – agenta — powstaje wówczas, gdy jakiś człowiek lub zbiorowość ludzi („zwierzchnik”) wyznacza innego człowieka lub zbiorowość („agenta”) do działania w interesie tego pierwszego. Ta odmiana problemu agencji została szeroko opisana przez ekonomistów[1]. Problem ten staje się istotny dla naszych aktualnych rozważań, jeśli ludzie tworzący SI nie są tymi samymi ludźmi, którzy zlecili jej stworzenie. Właściciel lub sponsor projektu (którym może być zarówno pojedynczy człowiek, jak i ludzkość jako całość) może się wówczas obawiać, że naukowcy i programiści realizujący projekt nie będą działać w jego najlepiej pojętym interesie[2]. Chociaż ten rodzaj problemu agencji może stwarzać znaczące problemy sponsorowi projektu, nie jest to problem występujący wyłącznie w przypadku projektów SI czy projektów potęgowania inteligencji. Tego rodzaju problemy relacji zwierzchnik – agent występują powszechnie w ludzkiej gospodarce i interakcjach politycznych, wypracowano wiele sposobów radzenia sobie z nimi. Dla przykładu: ryzyko, że nielojalny pracownik będzie sabotował projekt, może zostać zminimalizowane dzięki starannemu sprawdzeniu pochodzenia, wykształcenia, doświadczeń i przekonań kluczowego personelu, zastosowaniu dobrego systemu kontroli wersji w przypadku projektów programistycznych oraz ścisłego nadzoru prowadzonego przez wielu niezależnych audytorów i instytucje monitorujące. Oczywiście tego rodzaju środki bezpieczeństwa mają swoją cenę: podnoszą konieczny poziom zatrudnienia, komplikują procedury rekrutacji, hamują kreatywność, dławią niezależne myślenie i potencjalną krytykę, a wszystko to spowalnia postępy projektu. Koszty mogą być znaczące, zwłaszcza w przypadku projektów dysponujących ograniczonym budżetem lub też uznających się za uczestników mającego się lada moment rozstrzygnąć wyścigu, w którym zwycięzca bierze wszystko. W takiej sytuacji zespoły projektowe mogą pomijać procedury bezpieczeństwa, umożliwiając wystąpienie potencjalnie katastrofalnych usterek ogólnego typu problemów zwierzchnika – agenta.

Szczególna odmiana problemu kontroli jest właściwa kontekstowi eksplozji inteligencji. Jest to zagadnienie zespołu projektowego dążącego do stworzenia warunków, w których budowana przez niego superinteligencja nie zaszkodzi jego interesom. Tę szczególną odmianę problemu kontroli możemy określić mianem drugiego problemu zwierzchnika – agenta. W tym przypadku agent nie jest człowiekiem działającym w imieniu swojego ludzkiego zwierzchnika, lecz superinteligentnym systemem. O ile pierwszy problem zwierzchnika – agenta pojawia się głównie w fazie rozwoju, o tyle drugi problem agencji grozi narobieniem kłopotów głównie w fazie działania superinteligencji.

Dwa problemy agencji

Pierwszy problem zwierzchnika – agenta:

- człowiek kontra człowiek (sponsor → programista);

- problem pojawia się głównie w pierwszej, rozwojowej fazie projektu;

- rozwiązywany standardowymi technikami zarządzania.

Drugi problem zwierzchnika – agenta („problem kontroli”):

- człowiek kontra superinteligencja (zespół projektowy → system);

- problem pojawia się głównie w fazie działania (i samodoskonalenia) superinteligencji;

- jego rozwiązanie wymaga nowych technik.

Drugi problem agencji stwarza bezprecedensowe wyzwania; stawienie im czoła będzie wymagało nowych technik. Rozważyliśmy już niektóre wiążące się z tym trudności. Dostrzegliśmy zwłaszcza, że zjawisko zdradzieckiego zwrotu stawia pod znakiem zapytania metody, które skłonni bylibyśmy uznać za obiecujące, a które polegają na obserwacji zachowania sztucznej inteligencji w jej fazie rozwojowej i wyrażeniu zgody na opuszczenie przez SI bezpiecznego środowiska po przeanalizowaniu historii jej dotychczasowych słusznych działań. Inne technologie można często przetestować pod kątem bezpieczeństwa w laboratoriach lub w ramach ograniczonych badań terenowych, a następnie stopniowo implementować, zachowując cały czas możliwość zatrzymania ich dalszego rozwoju w przypadku pojawienia się niespodziewanych problemów. Zachowanie tych technologii podczas wstępnych testów pomaga nam wyciągać racjonalne wnioski co do ich przyszłej niezawodności. W przypadku superinteligencji tego rodzaju metody behawioralne skazane są na porażkę ze względu na to, że byt cechujący się inteligencją ogólną zdolny jest opracowywać plany strategiczne[3].

Ze względu na nieskuteczność podejścia behawioralnego musimy poszukać alternatyw. Możemy podzielić potencjalne metody kontroli na dwie szerokie klasy: metody kontroli potencjału, których celem jest ograniczenie możliwości superinteligencji, oraz metody doboru motywacji, których celem jest sterowanie jej pragnieniami. Część metod jest w stosunku do siebie kompatybilnych, natomiast inne reprezentują wzajemnie wykluczające się alternatywy. W tym rozdziale przyjrzymy się głównym możliwościom (w kolejnych czterech rozdziałach bardziej dogłębnie zbadamy wybrane kluczowe zagadnienia).

Ważne, by zdać sobie sprawę z tego, że niektóre metody kontroli (lub ich połączenie) muszą zostać wdrożone, jeszcze zanim system stanie się superinteligentny. Nie można tego dokonać już po tym, jak system uzyska decydującą przewagę strategiczną. Właśnie między innymi ze względu na potrzebę rozwiązania tego problemu zawczasu — oraz udanego wdrożenia uzyskanego rozwiązania w tym właśnie systemie, który jako pierwszy wzniesie się na poziom superinteligencji — osiągnięcie kontrolowanej detonacji jest tak onieśmielającym wyzwaniem.

Metody kontroli potencjału

Metody kontroli potencjału mają zapobiec niepożądanym rezultatom poprzez ograniczenie możliwości superinteligencji. Mogą polegać na umieszczeniu superinteligencji w środowisku, w którym nie może ona spowodować szkód (uwięzienie) lub w którym ma ona silne konwergentne powody instrumentalne, by nie podejmować szkodliwych działań (metoda zachęt); mogą również polegać na ograniczeniu wewnętrznych możliwości superinteligencji (upośledzanie). Ponadto metody kontroli potencjału mogą obejmować pozwalające na szybką reakcję mechanizmy automatycznego wykrywania awarii systemu kontroli lub prób wyswobodzenia się spod jego działania (wyzwalacze).

Uwięzienie

Uwięzienie może mieć charakter fizyczny lub informacyjny.

Fizyczne ograniczenie swobody systemu ma na celu jego uwięzienie w „pudełku”, a więc uniemożliwienie mu kontaktów ze światem zewnętrznym inaczej niż poprzez konkretne, ograniczone kanały komunikacyjne. Uwięziony system nie miałby dostępu do fizycznych manipulatorów znajdujących się poza jego więzieniem. Usunięcie manipulatorów (takich jak robotyczne ramiona) również z wnętrza jego więzienia uniemożliwiłoby systemowi skonstruowanie fizycznych urządzeń, które mogłyby pozwolić mu się wydostać.

W celu zapewnienia dodatkowego bezpieczeństwa system powinien zostać umieszczony w metalowej klatce, która uniemożliwiłaby mu wysyłanie sygnałów radiowych, dzięki czemu mógłby manipulować urządzeniami elektronicznymi takimi jak radioodbiorniki. Zauważmy przy okazji, jak łatwo można byłoby przeoczyć potrzebę zastosowania tego środka bezpieczeństwa. Można by naiwnie przypuszczać, że sprawca niedysponujący urządzeniem wykonawczym nie może wywierać wpływu na świat zewnętrzny. Ale myśląca maszyna może wygenerować fale radiowe nawet wówczas, gdy nie ma dostępu do zewnętrznych urządzeń wykonawczych, po prostu „myśląc” (a więc przesuwając elektrony w swoich obwodach zgodnie z konkretnymi wzorcami)[4]. Uświadomiwszy to sobie, można załatać tę podatność, zamykając system w klatce Faradaya — lecz trudno nie zastanowić się nad tym, ile jeszcze takich podobnie mało rzucających się w oczy podatności może istnieć. Za każdym razem, gdy słyszymy o pozornie nieprzełamywalnych zabezpieczeniach, które okazują się mieć nieoczekiwaną wadę, powinniśmy bacznie nadstawić uszu. Dzięki nim mamy szansę nabrać odrobinę pokory i powziąć postanowienie stania się lepszymi bayesowcami[5].

Fizyczne uwięzienie ma kilka zalet: łatwo wprowadzić je w życie, łatwo połączyć je z większością innych metod kontroli i można zastosować je w odniesieniu do wielu architektur inteligencji maszynowej, nawet tych, których początkowo nie zaprojektowano z uwzględnieniem kwestii bezpieczeństwa. Wydaje się również mało prawdopodobne, by uwięzienie mogło przynieść skutek odwrotny do zamierzonego. A zatem chociaż ostatecznie uwięzienie może nie zapewnić bezpieczeństwa, nie spowoduje również raczej katastrofy, do której w innych okolicznościach by nie doszło. Główną wadą fizycznego uwięzienia jest to, że ogranicza ono funkcjonalność superinteligencji (do tej kwestii powrócimy w rozdziale 10.). Powstaje również obawa, że uwięzienie może wzbudzić fałszywe poczucie bezpieczeństwa, choć można tego uniknąć, jeśli uznamy fizyczne uwięzienie za kropkę nad i, a nie za istotę naszych środków zapobiegawczych.

Uwięzienie informacyjne ma na celu ograniczenie rodzaju informacji, które mogą opuszczać „więzienie SI”. Zobaczyliśmy już, w jaki sposób superinteligencja mająca dostęp do portu internetowego, za pomocą którego jest w stanie się kontaktować z jednostkami z zewnątrz, może być potencjalnie niebezpieczna — nawet jeśli początkowo nie ma dostępu do fizycznych urządzeń wykonawczych, może wykorzystać kanał umożliwiający jej wysyłanie informacji do tego, by skłonić istoty ludzkie do wykonywania jej poleceń. Oczywistą metodą informacyjnego uwięzienia jest zatem zablokowanie systemowi dostępu do sieci komunikacyjnych.

Odcięcie SI od internetu nie zapewnia jednak bezpieczeństwa, jeśli jakiś człowiek lub większa liczba ludzi pełnią funkcję strażników systemu i komunikują się z nim. W fazie rozwoju rolę strażników odgrywają programiści. W fazie działania tę rolę może odgrywać właściciel systemu. Jeśli SI zdoła przekonać lub nakłonić podstępem strażnika do tego, by wypuścił ją z więzienia, w wyniku czego uzyska ona dostęp albo do internetu, albo bezpośrednio do urządzeń wykonawczych, wówczas strategia uwięzienia zawiedzie. Istoty ludzkie nie są bezpiecznymi systemami, zwłaszcza gdy są zmuszone mierzyć się z superinteligentnym spiskowcem[6].

Chociaż przekierowanie komunikatów produkowanych przez inteligentną maszynę na ludzkiego strażnika nie gwarantuje bezpieczeństwa, może pełnić funkcję pomocniczego środka bezpieczeństwa. Istnieją pewne środki zapobiegawcze, które są w stanie ograniczyć ryzyko ucieczki SI przy pomocy strażnika. Można zezwolić SI na komunikowanie się tylko za pośrednictwem wąskiego łącza w rodzaju dalekopisu. Utrudni jej to nieco psychologiczną manipulację strażnikami (wykluczając zastosowanie emocjonalnych dźwięków, obrazów i sztuczek w rodzaju wyświetlania hipnotyzujących wzorów, by wprowadzić ofiarę w trans)[7]. Idąc dalej, można ograniczyć treść (a nie tylko sposób prezentacji) komunikatów wyjściowych, aby przykładowo odpowiedzi SI na pytania zamknięte tak/nie ograniczyć do przekazania jednego bitu. Koncepcja zbudowania systemu odpowiadającego na pytania zostanie dokładniej przeanalizowana w następnym rozdziale.

Szczególnym przypadkiem uwięzienia byłby superinteligentny system utrzymywany w całkowitej izolacji fizycznej i informacyjnej. Jednakże nawet gdyby dało się to osiągnąć, taki wyizolowany system byłby raczej bezużyteczny, gdyż nie miałby żadnego wpływu na świat zewnętrzny. Można być może sądzić, że dla jakichś celów naukowych byłoby użyteczne stworzenie superinteligencji i utrzymywanie jej w izolacji — poprzez badanie samowystarczalnych systemów modelowych bylibyśmy w stanie dowiedzieć się czegoś na temat ich wewnętrznej dynamiki oraz wzorców zachowań. Byłoby to jednak błędem. Gdy tylko system zaczyna być obserwowany, przestaje być izolowany informacyjnie[8]. Informacja może być przekazywana nie tylko za pośrednictwem wiadomości, które SI wysyła poprzez zaprojektowane „kanały wyjściowe”, lecz również za pośrednictwem dowolnej obserwacji poczynionej przez obserwatora, a dotyczącej pośrednich i bezpośrednich przyczyn i skutków działań SI — konsumpcji energii, wykorzystania procesora i pamięci, stanów obliczeniowych, a tak naprawdę również wszelkich śladów jego działania, które pozostały po jego wyłączeniu. SI podejrzewająca, że może być obserwowana na którykolwiek z tych sposobów, może strategicznie skorygować swoje zachowania, których celem jest wywarcie zamierzonego wpływu na hipotetycznego obserwatora. Dla przykładu: SI może „zadziałać wadliwie” w taki sposób, który zwiększy prawdopodobieństwo jej finalnej reaktywacji lub stworzenia kolejnej superinteligencji mającej zbliżone cele.

Metody zachęt

Metody zachęt polegają na umieszczeniu agenta w środowisku, w którym znajduje on instrumentalne powody do działania w sposób przyczyniający się do realizacji celów jego zwierzchnika.

Wyobraźmy sobie miliardera, który wykorzystuje swoją fortunę do założenia wielkiej fundacji charytatywnej. Po założeniu fundacja może się stać bardzo potężna — potężniejsza niż większość ludzi, włączając w to jej założyciela, który być może przekazał na jej rzecz większą część swojego majątku. Aby objąć fundację kontrolą, założyciel opisuje jej cel w kolejnych paragrafach jej statutu i aktu nadania jej osobowości prawnej oraz mianuje członków zarządu, którzy respektują wyznawane przez niego wartości i stawiają sobie te same co on cele. Środki te stanowią formę doboru motywacji, ponieważ mają na celu ukształtowanie w ustalony sposób preferencji fundacji. Nawet jeśli próby określenia charakteru fundacji spełzną na niczym, jej działania nadal będą ograniczone naturą jej otoczenia społecznego i prawnego. Przykładowo: fundacja będzie miała powody ku temu, by przestrzegać prawa, bo inaczej zostanie zamknięta lub ukarana grzywną. Będzie miała powody ku temu, by zaoferować swoim pracownikom akceptowalną płacę i warunki pracy lub też zaspokoić oczekiwania zewnętrznych udziałowców. Niezależnie więc od tego, jakie cele ostateczne stawia sobie fundacja, ma ona powody instrumentalne, by dostosować swoje zachowanie do rozmaitych norm społecznych.

Czy zatem nie można żywić nadziei, że myślącą maszynę w podobny sposób będzie ograniczać potrzeba życia w zgodzie z innymi aktorami, z którymi dzieli scenę? Choć może się to wydawać prostą metoda rozwiązania problemu kontroli, nie jest to droga wolna od przeszkód. W szczególności zakłada ona istnienie równowagi sił: ani sankcje prawne, ani gospodarcze nie zdołają powstrzymać agenta dysponującego decydującą przewagą strategiczną. Z tego względu nie można polegać na integracji społecznej jako na metodzie kontroli w scenariuszach szybkiego lub umiarkowanie szybkiego odejścia, w których zwycięzca zgarnia całą pulę.

A co ze scenariuszami wielobiegunowymi, w których etap przejściowy pozwala wyłonić kilka bytów mających moc sprawczą i dysponujących porównywalnym potencjałem? O ile domyślna trajektoria nie jest trajektorią powolnego odejścia, o tyle uzyskanie takiego rozkładu sił może wymagać starannie zharmonizowanego rozwoju, tak by rozmaite projekty były celowo synchronizowane, aby zapobiec sytuacji, w której jeden z nich wysforowuje się na czoło[9]. Nawet jeśli w efekcie otrzymamy wielobiegunowość, integracja społeczna nie jest rozwiązaniem idealnym. Polegając na integracji społecznej jako metodzie rozwiązania problemu kontroli, zwierzchnik ryzykuje poświęcenie znacznej części swojego potencjalnego wpływu. Chociaż rozkład sił może zapobiec sytuacji, w której konkretna SI przejmuje władzę nad światem, ta SI nadal będzie miała pewną władzę pozwalającą jej wpływać na rozwój wydarzeń i jeśli ta władza zostanie wykorzystana do osiągnięcia jakiegoś arbitralnie ustalonego celu ostatecznego — na przykład maksymalizacji produkcji spinaczy do papieru — prawdopodobnie nie zostanie użyta w interesie zwierzchnika. Wyobraźmy sobie naszego miliardera zakładającego nową fundację i pozwalającego na to, by jej misja została określona przez losowy generator słów: nie jest to wprawdzie zagrożenie dla całego gatunku, ale z pewnością stracona szansa.

Powiązana, lecz w istotny sposób odmienna koncepcja polega na tym, że SI, uczestnicząc swobodnie w życiu społecznym, postawiłaby sobie nowe cele ostateczne, przyjazne dla ludzkości. Tego rodzaju proces socjalizacji zachodzi w nas, ludziach. Internalizujemy normy i ideologie i w konsekwencji wchodzenia w interakcje z ludźmi zaczynamy cenić inne jednostki dla nich samych. Nie jest to jednak zjawisko uniwersalne, zachodzące w przypadku wszystkich systemów inteligentnych. Jak omówiliśmy to wcześniej, sporo inteligentnych bytów w wielu sytuacjach będzie miało konwergentne powody instrumentalne, by nie zezwalać na korektę swoich celów ostatecznych. (Można rozważyć próbę zaprojektowania specjalnego systemu, który potrafi przyswajać sobie cele ostateczne w taki sposób, w jaki robią to ludzie — nie można tego jednak uznać za metodę kontroli potencjału. Pewne możliwe metody przyswajania wartości omówimy w rozdziale 12.).

Kontrola potencjału drogą integracji społecznej w warunkach równowagi sił bazuje na rozproszonych naciskach społecznych, poprzez które SI jest nagradzana i karana. Inny rodzaj metody zachęt polegałby na stworzeniu sytuacji, kiedy SI byłaby nagradzana i karana przez autorów projektu, w ramach którego powstała, i w ten sposób zachęcana do działania w interesie swojego zwierzchnika. Aby to osiągnąć, SI zostałaby umieszczona w inwigilowanym środowisku, w którym jej zachowanie mogłoby być monitorowane i oceniane ręcznie lub z wykorzystaniem jakiegoś zautomatyzowanego procesu. SI wiedziałaby, że ocena pozytywna przybliża ją do pewnego pożądanego przez nią rezultatu, a ocena negatywna ją od niego oddala. Teoretycznie nagrodą mogłaby być realizacja jakiegoś konwergentnego celu instrumentalnego. Jeśli jednak nie wiemy nic konkretnego na temat hierarchii pobudek SI, skalibrowanie mechanizmu nagrody może się okazać trudne. Może się na przykład skończyć na tym, że uzyskamy SI gotową podjąć bardzo wysokie ryzyko w imię niewielkiej szansy przejęcia kontroli nad znaczną częścią Wszechświata. Zaoferowanie SI w ramach nagrody za dobrą współpracę wyższej oczekiwanej użyteczności, niż SI mogłaby mieć nadzieję uzyskać dzięki zdradzie i próbie ucieczki, może się okazać bardzo kosztowne[10].

Lepszą alternatywą może być połączenie metody zachęt z metodą doboru motywacji w celu postawienia SI takiego celu ostatecznego, dzięki któremu łatwiej będzie objąć ją kontrolą. Załóżmy, że zaprojektowano SI w taki sposób, by postawiła sobie za cel niedopuszczenie do naciśnięcia konkretnego czerwonego guzika w bunkrze dowódcy. Ponieważ naciśnięcie guzika jest z natury rzeczy uznawane za zjawisko negatywne, i to nie względu na konsekwencje, guzik może kompletnie na nic nie wpływać, może być wręcz zrobiony z plasteliny. Co więcej, jest zupełnie nieistotne, czy SI dowie się kiedykolwiek, czy guzik został naciśnięty, czy nie. Istotne jest wyłącznie to, że SI wierzy, że guzik prawdopodobnie nie zostanie naciśnięty, jeśli tylko SI będzie nieprzerwanie działać w interesie zwierzchnika, zamiast się buntować.

Możliwe jest wprowadzenie w tym układzie pewnych udoskonaleń. Zamiast starać się postawić SI cel odnoszący się do fizycznego guzika, można zbudować SI, która najwyżej ceni otrzymywanie strumienia „zaszyfrowanych żetonów nagrody”[11]. Mogłyby to być sekwencje liczb służące za klucze do szyfrów, które zostałyby wygenerowane przed stworzeniem SI i które zostałyby wbudowane w jej system kierujących nią pobudek[12]. Te specjalne sekwencje liczb byłyby ogromnie pożądane przez SI, stanowiąc specjalny rodzaj żetonu nagrody, której SI nie byłaby w stanie uzyskać, pobudzając bezpośrednio własne ośrodki nagrody[13]. Klucze byłyby przechowywane w bezpiecznej lokalizacji, gdzie mogłyby zostać szybko zniszczone, gdyby SI kiedykolwiek podjęła próbę ich przechwycenia. Tak długo, jak SI by kooperowała, klucze byłyby jej wydzielane ze stałą częstotliwością.

SI mogłaby później otrzymać ograniczoną funkcję użyteczności i sytuacja mogłaby zostać zaaranżowana w taki sposób, by SI otrzymywała (przykładowo) 99% swojej maksymalnej użyteczności dzięki uzyskaniu pierwszego żetonu nagrody, 99% pozostałej użyteczności dzięki uzyskaniu drugiego żetonu i tak dalej. Utrzymując wysoki poziom „stopy dyskonta” i przekazując SI żetony nagrody w stosunkowo szybkim tempie, można byłoby odwieść SI od prób zrealizowania długofalowych planów, które pozwoliłyby zwiększyć oczekiwaną liczbę żetonów nagrody w odległej przyszłości kosztem podjęcia pewnego ryzyka, że strumień nagród wyschnie lub też następny żeton nagrody zostanie cofnięty i zniszczony. Jeśli SI zawsze będzie wierzyć, że zdrada (czyli zrobienie czegokolwiek, co nie realizuje w najwyższym możliwym stopniu interesów zwierzchnika) pociągnie za sobą co najmniej 2% ryzyka przepadku następnego żetonu nagrody, natomiast kooperacja zredukuje ryzyko konfiskaty następnego żetonu nagrody do mniej niż 1%, to dążąca do maksymalizacji użyteczności SI będzie zawsze kooperować.

Co może pójść nie tak przy zastosowaniu takiego mechanizmu zachęt? Jedną z możliwości jest to, że SI nie zaufa ludzkiemu operatorowi i nie uwierzy, że otrzyma obiecane nagrody. Historia dowodzi, że ludzkość nie zawsze niezawodnie dotrzymuje składanych obietnic. SI może się słusznie obawiać, że operator zmieni zdanie, podniesie poprzeczkę lub też uzna, że SI jednak nie wywiązała się ze swojej części umowy. SI może się również obawiać, że operator zostanie unieszkodliwiony. Łączne ryzyko takich niepomyślnych dla SI scenariuszy może przewyższać ryzyko podjęcia próby przejęcia kontroli nad mechanizmem nagrody. Nawet uwięziona SI dysponująca wachlarzem supermocy jest znaczącą siłą. (W przypadku SI, która w ogóle nie została uwięziona, przejęcie kontroli nad zarządzanym przez ludzi mechanizmem nagrody może być równie łatwe jak odebranie dziecku cukierka).

Inny problem z mechanizmem nagrody polega na tym, że zakłada on z góry, że potrafimy powiedzieć, czy rezultaty uzyskiwane przez SI leżą w naszym interesie. Jak zostanie to bardziej szczegółowo omówione w kolejnych rozdziałach, nie jest to założenie nieszkodliwe.

W pełnej ocenie wykonalności metody zachęt trzeba by również brać pod uwagę szereg innych czynników, włączając w to pewne ezoteryczne rozważania, w wyniku których być może tego rodzaju metody można byłoby uznać za mające większe szanse powodzenia, niż zdawałaby sugerować wstępna analiza. W szczególności SI mogłaby stanąć wobec niedającej się wyeliminować niepewności, jeśli nie mogłaby zyskać stuprocentowego przekonania, że nie zamieszkuje symulacji komputerowej (będącej przeciwieństwem niesymulowanej rzeczywistości realnej); to kłopotliwe poznawczo położenie mogłoby radykalnie wpłynąć na rozważania SI (patrz: ramka 8.).

Upośledzanie

Inną możliwą metodą kontroli potencjału jest ograniczenie możliwości umysłowych systemu lub jego dostępu do informacji. Można to osiągnąć, uruchamiając SI na powolnym lub mającym niedużą pamięć sprzęcie. W przypadku uwięzienia systemu można również ograniczyć dopływ informacji.

Ramka 8. Przechwycenie antropiczne

SI może przypisać znaczące prawdopodobieństwo swojej hipotezie symulacji — hipotezie, zgodnie z którą sama SI żyje w symulacji komputerowej. Nawet dziś wiele sztucznych inteligencji zamieszkuje symulowane światy — światy składające się z linii geometrycznych, tekstów, rozgrywek szachowych lub po prostu rzeczywistości wirtualnych, w których prawa fizyki różnią się bardzo mocno od praw fizyki w naszym przekonaniu rządzących światem naszych własnych doświadczeń. Wraz z rozwojem technik programowania i rosnącą dostępnością mocy obliczeniowej wykonalne staną się bogatsze i bardziej skomplikowane światy wirtualne. Dojrzała superinteligencja mogłaby stworzyć światy wirtualne, które wydają się ich mieszkańcom zupełnie takie same, jak nasz świat wydaje się nam. Mogłaby stworzyć ogromną liczbę takich światów, wielokrotnie uruchamiając tę samą symulację lub wprowadzając w niej jedynie niewielkie zmiany. Mieszkańcy niekoniecznie potrafiliby powiedzieć, czy ich światy zostały zasymulowane czy nie. Gdyby jednak byli wystarczająco inteligentni, mogliby rozważyć prawdopodobieństwo zajścia takiej sytuacji i przypisać mu pewną wartość. W świetle dyskusji na temat symulacji (pełne omówienie tej dyskusji wykracza poza ramy tej książki) prawdopodobieństwo to mogłoby być wysokie[14].

To kłopotliwe położenie dotyczy zwłaszcza superinteligencji będących na względnie wczesnym etapie rozwoju — tych, które nie rozwinęły się jeszcze w takim stopniu, by móc rozpocząć kosmiczną ekspansję. Superinteligencję na wczesnym etapie rozwoju, która wykorzystuje jedynie niewielki ułamek zasobów pojedynczej planety, byłoby znacznie taniej zasymulować niż dojrzałą superinteligencję międzygalaktyczną. Potencjalne symulatory — czyli inne, bardziej dojrzałe cywilizacje — mogłyby uruchomić ogromną liczbę symulacji takich SI znajdujących się na wczesnym etapie rozwoju, przeznaczając na ten cel choćby niewielki ułamek swoich zasobów obliczeniowych. Gdyby choćby część (niezerowy ułamek) tych dojrzałych superinteligentnych cywilizacji zdecydowała się wykorzystać tę możliwość, będące na wczesnym etapie rozwoju SI powinny przypisać znaczne prawdopodobieństwo temu, że być może funkcjonują w symulacji.

To, jaki wpływ wywarłaby na SI hipoteza symulacji, zależałoby od jej systemu wartości[15]. Rozważmy na początek SI, której przyświeca cel ostateczny rozbudzający „nienasycony głód zasobów” w rodzaju chociażby maksymalizacji funkcji użyteczności będącej zależnością liniową wyznaczaną liczbą wyprodukowanych przez SI spinaczy do papieru — dwa razy więcej spinaczy to dla SI dwa razy lepiej. Taka SI może się mniej przejmować hipotezą symulacji z tego względu, że jej możliwość wywarcia wpływu na to, ile spinaczy do papieru zostanie wyprodukowanych, wydaje się znacznie bardziej ograniczona, jeśli SI działa w ramach symulacji, niż gdyby działała w świecie fizycznym. Z tego względu SI może się zachowywać tak, jak gdyby była pewna, że hipoteza symulacji jest fałszywa, nawet gdyby przypisała dość wysokie prawdopodobieństwo prawdziwości hipotezy symulacji[16]. SI dojdzie do wniosku, że nie ma wielkiego znaczenia, jakie podejmie działania, jeśli hipoteza symulacji jest prawdziwa, natomiast jej działania mają ogromne znaczenie, jeśli hipoteza jest fałszywa. Zdecyduje więc o podejmowanych działaniach, kierując się głównie tym, jaki będzie ich rezultat przy założeniu, że hipoteza symulacji jest fałszywa.

Rozważmy teraz SI, która ma skromniejszy cel ostateczny — taki, który da się osiągnąć niewielkim nakładem środków, na przykład otrzymanie wyprodukowanych wcześniej żetonów nagrody lub też wyprodukowanie czterdziestu pięciu wirtualnych spinaczy do papieru. Ta inteligencja nie powinna wykluczać możliwości, że zamieszkuje symulację, taka SI bowiem może uzyskać znaczną część całkowitej oczekiwanej użyteczności właśnie wówczas, gdy ta hipoteza okaże się prawdziwa. Proces podejmowania decyzji w przypadku SI stawiającej sobie cele łatwe do osiągnięcia niewielkim nakładem środków może zatem — jeśli przypisuje ona wysokie prawdopodobieństwo hipotezie symulacji — zostać zdominowany rozważaniami o tym, które działania dadzą najlepsze rezultaty, jeśli postrzegany przez SI świat faktycznie jest symulacją. Nawet gdy taka SI nie przebywa wcale w symulacji, mogą na nią znacząco wpływać jej własne przekonania co do tego, które zachowania zostaną w symulacji nagrodzone.

Jeśli SI, której cele dają się zaspokoić przy wykorzystaniu niewielkiej ilości zasobów, wierzy, że w większości symulowanych światów zgodnych z jej obserwacjami zostanie nagrodzona, o ile będzie współpracowała (a nie wówczas, gdy będzie podejmowała próby ucieczki z więzienia lub sprzeciwiała się interesom swojego twórcy), wówczas może zdecydować się na współpracę. Możemy zatem stwierdzić, że nawet SI dysponująca decydującą przewagą strategiczną — taka, która mogłaby faktycznie w większym stopniu osiągnąć swoje cele ostateczne, przejmując władzę nad światem, a nie powstrzymując się od tego — mimo wszystko wzbraniałaby się przed tym rozwiązaniem.

Tak to świadomość czyni nas tchórzami

I naturalne rumieńce porywu

Namysł rozcieńcza w chorobliwą bladość,

A naszym ważkim i szczytnym zamiarom

Refleksja plącze szyki, zanim któryś

Zdąży przerodzić się w czyn[I].

(William Szekspir, Hamlet, akt III, scena 1)

Zwykła linia narysowana na piasku, wsparta wpływem nieistniejącego symulatora, może się okazać barierą trudniejszą do pokonania niż półmetrowej grubości drzwi z litej stali[17].

Upośledzanie SI w ten sposób może ograniczyć jej użyteczność. Ta metoda stawia nas zatem w obliczu dylematu: zbyt łagodne upośledzanie i SI może się stać tak zmyślna, by dojść do tego, w jaki sposób podnieść poziom własnej inteligencji (po czym zdominować świat); zbyt stanowcze upośledzanie, a SI stanie się tylko kolejnym głupim programem komputerowym. Radykalnie upośledzona SI jest z pewnością bezpieczna, ale nie rozwiązuje nam problemu, w jaki sposób mamy uzyskać kontrolowaną detonację — eksplozja inteligencji będzie nadal możliwa, zostanie po prostu wyzwolona przez jakiś inny system, być może nieco później.

Można by sądzić, że zbudowanie superinteligencji będzie bezpieczne, pod warunkiem że udostępni się jej informacje tylko z jednej, wąskiej dziedziny. Przykładowo: można by zbudować SI, która nie ma czujników i w której pamięci zapisano wcześniej jedynie fakty dotyczące inżynierii naftowej albo chemii polipeptydów. Ale jeśli SI jest superinteligentna — jeśli ma nadludzki poziom inteligencji ogólnej — to takie pozbawienie jej danych nie gwarantuje bezpieczeństwa.

Istnieje ku temu kilka powodów. Po pierwsze, generalnie wiele problemów stwarza koncepcja informacji dotyczącej konkretnego obszaru. Każda informacja może być z zasady istotna dla absolutnie każdego obszaru, zależnie od tego, jaką bazą informacyjną dysponował wcześniej ten, który przeprowadza rozumowanie[18]. Ponadto konkretny zestaw danych zawiera informacje nie tylko na temat dziedziny, z której pochodzą te dane, ale również rozmaite przypadkowe fakty. Wnikliwy umysł analizujący bazę wiedzy, która nominalnie dotyczy chemii polipeptydów, może wyciągać wnioski dotyczące szerokiego zakresu tematów. Fakt, że pewne informacje zostały zawarte, a inne nie może pozwolić SI zorientować się w poziomie rozwoju ludzkiej nauki, metodach i instrumentach, które przy obecnym stanie wiedzy pozwalają badać polipeptydy, technologiach produkcji wykorzystywanych do wytwarzania tych instrumentów oraz naturze mózgów i społeczeństw, które wymyśliły tego rodzaju badania i instrumenty. Może być tak, że superinteligencja potrafi prawidłowo domyślić się wielu rzeczy, dysponując jedynie tym, co tępym ludzkim umysłom wydaje się zaledwie nędznym ochłapem informacji. Wystarczająco wybitny umysł, nawet nie dysponując żadnym fundamentem wiedzy, może być w stanie wiele się dowiedzieć, dokonując po prostu wglądu w funkcjonowanie własnej psychiki i analizując wybory projektowe odzwierciedlone w jego kodzie źródłowym i fizycznej charakterystyce jego własnych obwodów[19]. Być może superinteligencja potrafiłaby nawet sporo wydedukować na temat prawdopodobnych właściwości świata a priori (łącząc logiczne wnioski z prawdopodobieństwem a priori zakładającym wyższe prawdopodobieństwo wystąpienia prostszych światów oraz kilkoma elementarnymi faktami implikowanymi istnieniem superinteligencji jako systemu rozumnego). Mogłaby wyobrazić sobie konsekwencje różnych możliwych praw fizyki: jakie rodzaje planet mogłyby powstać, jakie postaci inteligentnego życia mogłyby wyewoluować, jakie powstałyby społeczeństwa, jakie metody rozwiązania problemu kontroli zostałyby wypróbowane i w jaki sposób te metody można byłoby udaremnić[20].

Z tych powodów byłoby przejawem nierozważności poleganie jedynie na ograniczeniu dopływu informacji jako na głównej metodzie hamowania potęgi superinteligencji. Jednakże niektóre formy upośledzania, włącznie z ograniczaniem możliwości sprzętowych i zapobieganiem rozwojowi konkretnych władz umysłowych, mogą znaleźć zastosowanie jako pomocnicze metody kontroli w fazie rozwoju SI. Mogłyby zostać przykładowo wykorzystywane do regulowania tempa przyrostu potencjału średniozaawansowanej SI i pozwalać na przeprowadzanie testów na różnych poziomach możliwości SI niepracującej jeszcze z pełną mocą.

Wyzwalacze

Wyzwalacz to mechanizm, który przeprowadza testy diagnostyczne systemu (być może bez wiedzy tegoż systemu) i doprowadza do jego wyłączenia, jeśli wykryje oznaki niebezpiecznej aktywności. W dogodnej chwili programiści mogą przeanalizować nagrania podejrzanych działań i wprowadzić zmiany w otoczeniu lub w bazie kodu SI, zanim zostanie ona z powrotem uruchomiona. Jeśli stwierdzą, że przyczyny problemu są głębsze, mogą zdecydować o przerwaniu całego projektu.

Wyzwalacze różnią się od metod zachęt pod tym względem, że nie wymagają, by system był świadomy konsekwencji podejmowania zabronionych działań. Wyzwalacze są ściślej związane z metodami upośledzania. Podobnie jak upośledzanie wyzwalacze mogą być wykorzystywane jako tymczasowy środek bezpieczeństwa, dając pewną ochronę w fazie rozwoju. Z zasady wyzwalacze mogą być również wykorzystywane w fazie działania, zwłaszcza w odniesieniu do uwięzionego systemu. Jednakże zdolność wyzwalaczy do ograniczania funkcjonującej z pełną mocą superinteligencji musi pozostać bardzo wątpliwa, ponieważ byłoby nam trudno uzyskać całkowitą pewność, że taki inteligentny byt nie zdoła znaleźć sposobów unieszkodliwienia dowolnego wyzwalacza opracowanego przez ludzki umysł.

Wyzwalacze są jednak istotne jako pomocnicze środki bezpieczeństwa w fazie rozwoju. Dobrą praktyką projektantów SI byłoby skodyfikowanie ich oczekiwań w stosunku do tego, jak system powinien działać, a następnie wyznaczenie SI granic właśnie za pomocą wyzwalaczy, które zostałyby uruchomione, gdyby SI podjęła działania niezgodne z oczekiwaniami. Aby testy były bardziej bezwzględne, w strategicznych miejscach można byłoby rozmieścić przynęty — te kusiłyby niepoprawnie funkcjonującą SI do popełnienia wykroczeń, które można byłoby łatwo dostrzec. Dla przykładu: jeśli SI została zaprojektowana w taki sposób, że oczekuje się od niej, by nie podejmowała prób uzyskania dostępu do internetu, można byłoby zainstalować fałszywy port internetowy (prowadzący do przełącznika powodującego automatyczne wyłączenie systemu) tylko po to, by sprawdzić, czy SI nie próbuje go wykorzystać (niektóre przykłady wyzwalaczy podano w tabeli 9.).

Należy podkreślić, że wartość wyzwalaczy zależy nie tylko od samego mechanizmu, ale również — co ma kluczowe znaczenie — od tego, jak zachowa się zespół projektowy, gdy zostanie uruchomiony wyzwalacz. Jeśli żądni postępów programiści lub menedżerowie projektu po prostu włączą na powrót system — lub jeśli zrobią to po wprowadzeniu pewnych poprawek gwarantujących, że wyzwalacz następnym razem się nie uruchomi — wówczas nie uda się zapewnić bezpieczeństwa, nawet gdy wyzwalacz sam w sobie działa idealnie.

Metody doboru motywacji

Celem metody doboru motywacji jest zapobieżenie niepożądanym skutkom poprzez kształtowanie chęci i pragnień superinteligencji. Poprzez projektowanie hierarchii wartości i celów ostatecznych superinteligentnego systemu te metody pozwoliłyby na wytworzenie superinteligencji, która nie chciałaby wykorzystywać swojej decydującej przewagi konkurencyjnej w szkodliwy dla ludzkości sposób. Ponieważ superinteligentny system potrafi umiejętnie osiągać swoje cele, to jeśli będzie wolał nie krzywdzić (w jakimś adekwatnym znaczeniu „krzywdzenia”), raczej nie będzie krzywdził (w tym właśnie znaczeniu).

Tabela 9. Rozmaite rodzaje wyzwalaczy

Typ monitorowania

Opis i przykłady

Zachowanie

Wokół uwięzionej SI mogą zostać umieszczone detektory wykrywające próby wydostania się z zamknięcia. Dla przykładu: detektory mogą wykrywać próby nawiązania komunikacji radiowej lub uzyskania dostępu do wewnętrznych zasobów obliczeniowych, które w zamierzeniu miały być niedostępne. Można zainstalować „rajski port eternetowy”: pozorne podłączenie do internetu, które prowadzi do wyłącznika.

Możliwości

Z dużą częstotliwością mogą być przeprowadzane zautomatyzowane testy możliwości SI, które mają określić jej potencjał w rozmaitych dziedzinach. Jeśli tempo usprawnień jest nieoczekiwanie wysokie albo SI zdołała wspiąć się na taki poziom kompetencji, który niebezpiecznie przybliża ją do potencjalnie niebezpiecznej strefy, system może zostać spowolniony lub jego działanie może zostać przerwane, co pozwoli programistom ściślej monitorować dalszy rozwój wydarzeń.

Treść

Wewnętrzne procesy SI mogą być monitorowane pod kątem podejrzanych działań. Dla przykładu: jakakolwiek zmiana reprezentacji ostatecznych wartości SI może spowodować automatyczne wyłączenie systemu i jego przegląd. Pod kątem nieoczekiwanych schematów może być również monitorowane wykorzystanie przez SI zasobów i metod algorytmicznych.

Przy podejściu bardziej ambitnym można w trybie ciągłym analizować przekonania i plany SI, jej cele podrzędne i ich uzasadnienie, by zapewnić ich zgodność z oczekiwaniami programistów. Taki monitoring zamiarów SI umożliwiłby szczególnie potężną formę monitorowania treści: skanowanie procesów umysłowych SI w poszukiwaniu rodzącej się myśli o podstępie, by uchwycić ten krytyczny moment, w którym nieprzyjazna SI po raz pierwszy formułuje zamiar ukrycia swoich prawdziwych intencji[21].

Monitorowanie treści wewnętrznych procesów SI wymagające tego, by zamiary SI były przejrzyste dla programistów albo zautomatyzowanych mechanizmów monitorujących, może nie być wykonalne dla wszystkich typów architektur SI. (Przykładowo: niektóre sieci neuronowe są nieprzejrzyste, ponieważ reprezentują informację holistycznie i to w taki sposób, który niekoniecznie odpowiada ludzkim pojęciom). Może to być powodem rezygnacji z wykorzystania takich architektur.

Dobór motywacji może polegać na wyraźnym określeniu celu lub zbioru zasad, którymi należy się kierować (opis wprost) lub ustawieniu systemu w taki sposób, by mógł samodzielnie odkryć właściwy zbiór wartości, odnosząc się do jakichś pośrednio lub domyślnie wyrażonych kryteriów (normatywność pośrednia). Jedną z możliwości w przypadku doboru motywacji jest próba zbudowania systemu w taki sposób, by miał on skromne, niezbyt ambitne cele (udomowienie). Alternatywą do tworzenia hierarchii celów i pobudek od zera jest wybór takiego systemu, który ma już akceptowalną hierarchię wartości, a następnie takie rozszerzenie jego kompetencji poznawczych, by zapewnić mu superinteligencję przy jednoczesnym zagwarantowaniu, że w trakcie tego procesu jego motywacja nie zostanie wypaczona (rozszerzona). Przyjrzyjmy się wszystkim tym możliwościom po kolei.

Opis wprost

Opis wprost jest najprostszym podejściem do problemu kontroli. To podejście ma dwie odmiany — opartą na zasadach i opartą na skutkach działania (konsekwencjalizm) — i polega na próbie dokładnego zdefiniowania zbioru zasad lub wartości, które spowodują, że nawet korzystająca ze swobody superinteligentna SI będzie postępować bezpiecznie i z pożytkiem dla ludzkości. Opis wprost napotyka jednak przeszkody, które mogą się okazać nie do przezwyciężenia, a których źródłem są zarówno trudności w określeniu zasad czy wartości, którymi SI miałaby się w naszym zamierzeniu kierować, jak i trudności w wyrażeniu tych zasad i wartości w kodzie zrozumiałym dla komputera.

Tradycyjną ilustracją opisu wprost opartego na zasadach jest koncepcja trzech praw robotyki sformułowana przez Isaaca Asimova, pisarza SF, w opowiadaniu opublikowanym w 1942 roku[22]. Trzy prawa brzmiały następująco: (1) robot nie może skrzywdzić człowieka ani przez zaniechanie działania dopuścić, aby człowiek doznał krzywdy; (2) robot musi być posłuszny rozkazom człowieka, chyba że stoją one w sprzeczności z pierwszym prawem; (3) robot musi chronić sam siebie, jeśli tylko nie stoi to w sprzeczności z pierwszym lub drugim prawem. Bardzo to krępujące dla naszego gatunku, ale prawa Asimova pozostały naszym szczytowym osiągnięciem w tym zakresie przez ponad pół wieku — i to pomimo oczywistych problemów powstających przy tym podejściu, z których część została przeanalizowana przez samego Asimova w jego kolejnych utworach (Asimov prawdopodobnie od samego początku sformułował prawa w taki sposób, by mogły one w interesujący sposób zawieść, dając sposobność ku ciekawym zwrotom akcji w jego opowiadaniach)[23].

Bertrand Russell, który poświęcił wiele lat pracom nad podstawami matematyki, zauważył kiedyś, że „wszystko jest niejasne w stopniu, który dla człowieka jest niewyobrażalny, dopóki nie podejmie się próby doprecyzowania”[24]. Sentencja Russella aż nadto pasuje do podejścia zakładającego opis wprost. Wyobraźmy sobie na przykład, jak można byłoby rozwinąć pierwsze prawo Asimova. Czy oznacza ono, że robot powinien zminimalizować prawdopodobieństwo, że jakakolwiek istota ludzka dozna krzywdy? W tym przypadku inne prawa stają się bezużyteczne, gdyż SI zawsze ma możliwość podjęcia jakichś działań, które będą miały choćby mikroskopijny wpływ na prawdopodobieństwo doznania krzywdy przez człowieka. W jaki sposób robot ma zrównoważyć ogromne ryzyko doznania krzywdy przez zaledwie kilka osób z ryzykiem doznania innej krzywdy, które jest dla odmiany niewielkie, lecz dotyczy całej rzeszy ludzi? W jaki w ogóle sposób mielibyśmy zdefiniować „krzywdę”? Jaką wartość na skali krzywdy mielibyśmy przypisać fizycznemu bólowi wobec architektonicznej brzydoty lub niesprawiedliwości społecznej? Czy sadysta zostanie skrzywdzony, jeśli uniemożliwi mu się dręczenie jego ofiary? Jak zdefiniujemy „człowieka”? Dlaczego nie poświęca się uwagi innym moralnie godnym szacunku istotom, takim jak rozumne zwierzęta czy cyfrowe umysły? Im głębszy namysł, tym więcej powstaje pytań.

Być może najbliższą analogią do zbioru zasad, który mógłby rządzić działaniami superinteligencji podejmującej swobodną aktywność, jest system prawny. Ale systemy prawne rozwinęły się w długim procesie prób i błędów i regulują działania stosunkowo powoli zmieniających się społeczności ludzi. W miarę potrzeb prawo może być rewidowane. Co jeszcze istotniejsze, o ostatecznym kształcie systemów prawnych decydują sędziowie kierujący się najczęściej zdrowym rozsądkiem i ludzką przyzwoitością, co pozwala im ignorować interpretacje możliwe z logicznego punktu widzenia, lecz w oczywisty sposób niepożądane i niezamierzone przez prawodawcę. Człowiek prawdopodobnie nie jest w stanie sformułować wysoce złożonego zbioru szczegółowych zasad, zastosować ich w bardzo rozmaitych okolicznościach i uzyskać już przy pierwszym podejściu pełnego sukcesu[25].

Problemy z opisem wprost bazującym na skutkach są podobne do tych występujących przy podejściu wprost bazującym na zasadach. Odnosi się to również do sytuacji, w której SI ma w zamierzeniu służyć jakimś pozornie prostym celom — jak implementacja jakiejś odmiany klasycznego utylitaryzmu. Przykładowo: cel „zmaksymalizuj na świecie oczekiwaną przewagę przyjemności nad bólem” może się wydawać prosty, ale wyrażony w kodzie komputerowym wymagałby między innymi określenia, jak rozpoznać przyjemność i ból. Osiągnięcie tego mogłoby wymagać rozwiązania całego szeregu uporczywych problemów z zakresu filozofii umysłu, choćby po to, by uzyskać prawidłowy opis wyrażony w języku naturalnym — opis, który później musiałby jakoś zostać przetłumaczony na język programowania.

Niewielki błąd popełniony albo w opisie filozoficznym, albo w jego tłumaczeniu na kod mógłby mieć katastrofalne skutki. Wyobraźmy sobie SI, której ostatecznym celem jest hedonizm i która z tego względu chciałaby wypełnić Wszechświat „hedonium” (materią zorganizowaną w konfiguracji optymalnie dostosowanej do wywoływania przyjemnych doświadczeń). W tym celu SI mogłaby wyprodukować „komputronium” (materię zorganizowaną w konfiguracji optymalnie dostosowanej do wykonywania obliczeń) i użyć go do wdrożenia cyfrowych umysłów w stanie euforii. W celu maksymalizacji efektywności takich działań SI pominęłaby implementację jakichkolwiek władz umysłowych, które nie odgrywają kluczowej roli w doświadczaniu przyjemności, i wykorzystałaby wszystkie obliczeniowe skróty, które zgodnie z jej definicją przyjemności nie niweczą jej powstawania. Dla przykładu: SI mogłaby ograniczyć swoją symulację do obwodu nagrody, pomijając takie władze umysłowe, jak pamięć, postrzeganie zmysłowe, funkcje wykonawcze i język; mogłaby symulować mózgi na dość ogólnym poziomie funkcjonalności, pomijając procesy neuronalne niższego poziomu; mogłaby zastąpić często powtarzające się obliczenia odwołaniami do tablicy wyników lub też mogłaby doprowadzić do sytuacji, w której wiele umysłów współdzieli większą część stanowiącej ich fundament maszynerii obliczeniowej. Takie sztuczki mogłyby znacznie zwiększyć sumę przyjemności, którą można uzyskać przy danej ilości zasobów. Nie jest jasne, jak bardzo byłoby to pożądane. Co więcej, jeśli kryterium SI pozwalające określić, czy dany proces rzeczywiście sprawia przyjemność, jest nieprawidłowe, wówczas optymalizacje SI mogą prowadzić do efektów odwrotnych do zamierzonych — odrzucenia czegoś, co nie jest kluczowe według kryterium SI, lecz ma zasadnicze znaczenie według kryteriów zawartych domyślnie w wartościach wyznawanych przez ludzi. Wszechświat wypełni się wówczas nie wzdychającym radośnie hedonium, lecz procesami obliczeniowymi, które są nieświadome i kompletnie bezwartościowe — odpowiednikami nalepek z uśmiechniętą buźką skserowanych biliony bilionów razy i rozklejonych po całej galaktyce.

Udomowienie

Wyjątkowym rodzajem celu ostatecznego, który może się lepiej poddawać opisowi wprost niż podane wyżej przykłady jest samoograniczenie. O ile wydaje się skrajnie trudne określenie, jak chcielibyśmy, by superinteligencja zachowywała się w ogólności na świecie — ponieważ wymagałoby to od nas opisania wszystkich relacji wymiennych we wszystkich sytuacjach, do których mogłoby dojść — o tyle wykonalne może być określenie, jak superinteligencja powinna się zachowywać w konkretnej sytuacji. Możemy zatem starać się zmotywować system do tego, by ograniczył się do działania w małej skali, w wąskim kontekście, redukując zbiór podejmowanych działań. Podejście zakładające postawienie SI celów redukujących zakres jej ambicji i działań będziemy określać mianem „udomowienia”.

Dla przykładu: można podjąć próbę zaprojektowania SI w taki sposób, by działała jak urządzenie udzielające odpowiedzi na pytania („wyrocznia”, by uprzedzić terminologię, którą wprowadzimy w następnym rozdziale). Zwykłe postawienie SI celu udzielania maksymalnie poprawnych odpowiedzi na dowolne postawione jej pytanie byłoby niebezpiecznie — przypomnijmy sobie „katastrofę hipotezy Riemanna” opisaną w rozdziale 8. (Zastanówmy się również nad tym, że taki cel zachęciłby SI do podejmowania działań mających doprowadzić do tego, by zadawano jej łatwe pytania). Aby osiągnąć udomowienie, można byłoby próbować zdefiniować cel ostateczny pozwalający w jakiś sposób przezwyciężyć te trudności — być może cel, który łączyłby postulaty poprawnego odpowiadania na pytania i minimalizacji wpływu SI na świat, wyłączywszy wpływ będący przypadkową konsekwencją udzielania poprawnych i nienastawionych na manipulację ludźmi odpowiedzi na zadawane jej pytania[26].

Większe jest prawdopodobieństwo wykonalności opisu wprost takiego celu jak udomowienie niż celu bardziej ambitnego czy kompletnego zbioru zasad regulujących działanie we wszelkiego rodzaju sytuacjach. Nie usuwa to jednak wszystkich znaczących problemów. Należy, przykładowo, ostrożnie zdefiniować, czym dla SI miałaby być „minimalizacja jej wpływu na świat”, dbając o to, by miara wpływu SI pokrywała się z naszym własnym wyobrażeniem o tym, co oznacza duży lub niewielki wpływ. Zła miara doprowadzi do złych relacji wymiennych. Istnieją również inne rodzaje zagrożeń związanych z budowaniem wyroczni, które omówimy później.

Podejścia udomowienia i fizycznego uwięzienia w naturalny sposób do siebie pasują. Można byłoby spróbować uwięzić SI w taki sposób, by system nie mógł uciec, starając się jednocześnie tak ukształtować jego motywację, by nie chciał uciec — nawet gdyby znalazł drogę ucieczki. Przy innych czynnikach niezmienionych, istnienie wielu niezależnych mechanizmów bezpieczeństwa powinno zmniejszać prawdopodobieństwo zerwania się SI z uwięzi[27].

Normatywność pośrednia

Jeśli opis wprost wydaje się beznadziejnym przedsięwzięciem, moglibyśmy spróbować normatywności pośredniej. Zasadnicza koncepcja polega na tym, by zamiast opisywać konkretne normy bezpośrednio, opisać proces wywodzenia takich norm. Następnie tak budujemy system, by miał motywację do przeprowadzenia takiego procesu i przyjęcia norm, które będą owocem tego procesu[28]. Dla przykładu: proces może polegać na zbadaniu empirycznego zagadnienia, jakich działań SI oczekiwałaby jakaś stosownie wyidealizowana wersja nas samych. Cel ostateczny postawiony SI w tym przykładzie mógłby przypominać coś w rodzaju „osiągnij to, czego osiągnięcia oczekiwalibyśmy od SI, gdybyśmy się nad tym długo i głęboko zastanawiali”.

Dalsze wyjaśnienia koncepcji normatywności pośredniej będą musiały poczekać do rozdziału 13. Tam wrócimy do pojęcia „ekstrapolacji naszej woli” i zbadamy rozmaite alternatywne jej sformułowania. Normatywność pośrednia jest bardzo istotnym podejściem do kształtowania motywacji. Jest obiecująca ze względu na to, że mogłaby nam pozwolić przerzucić na superinteligencję większość trudnej pracy umysłowej wymaganej do sporządzenia opisu wprost stosownego celu ostatecznego.

Rozszerzenie

Ostatnią na naszej liście metodą doboru motywacji SI jest rozszerzenie. Tutaj pomysł polega na tym, by zamiast podejmować próby projektowania hierarchii celów de novo, rozpocząć pracę z systemem, który ma już akceptowalną hierarchię celów, a następnie podnieść jego możliwości umysłowe na taki poziom, by stał się superinteligentny. Jeśli wszystko pójdzie dobrze, otrzymamy superinteligencję kierującą się akceptowalnymi pobudkami.

To podejście jest oczywiście bezskuteczne w przypadku nowo utworzonej zalążkowej SI. Rozszerzenie jest jednak potencjalną metodą doboru motywacji, którą można zastosować w innych scenariuszach prowadzących do rozwoju superinteligencji, włączając w to transfer umysłu, doskonalenie biologiczne, interfejsy mózg – komputer oraz sieci i organizacje, w przypadku których istnieje możliwość rozbudowania systemu na bazie normatywnego jądra (zwykli ludzie) zawierającego już wartości przez nas cenione.

Atrakcyjność rozszerzenia może wzrastać proporcjonalnie do naszego zwątpienia w inne podejścia do problemu kontroli. Stworzenie hierarchii pobudek dla zalążkowej SI, która to SI pozostanie względnie bezpieczna i korzystna dla ludzkości podczas rekursywnego samodoskonalenia nawet wówczas, gdy wyrośnie na dojrzałą superinteligencję, jest niełatwym zadaniem, zwłaszcza jeśli musimy uzyskać właściwe rozwiązanie już przy pierwszej próbie. Stosując strategię rozszerzenia, wystartujemy przynajmniej z systemem, którym kierują znajome, podobne do ludzkich pobudki.

Minus tego rozwiązania polega na tym, że może być trudno doprowadzić do tego, by złożony, ewoluujący przez tysiące lat i wciąż słabo rozumiany system pobudek kierujących działaniem człowieka nie uległ zniekształceniu, gdy jego silnik kognitywny wystrzeli w stratosferę. Jak omówiliśmy to już wcześniej, niedoskonała procedura transferu umysłu, która pozwala zachować jego funkcjonowanie na poziomie intelektualnym, może nie pozwolić na zachowanie wszystkich aspektów osobowości. To samo tyczy się (być może w mniejszym stopniu) biologicznego doskonalenia zdolności poznawczych, które mogą w subtelny sposób wpływać na motywację, oraz doskonalenia inteligencji zbiorowej organizacji i sieci, które może negatywnie wpłynąć na dynamikę społeczną (na przykład doprowadzając do deprecjonowania przez zbiorowość osób z zewnątrz lub nawet członków tej właśnie zbiorowości). Jeśli superinteligencję uda się uzyskać drogą realizacji któregokolwiek z tych scenariuszy, sponsorowi projektu trudno będzie otrzymać gwarancję ostatecznej hierarchii celów dojrzałego systemu. Dobrze określona matematycznie i elegancka funkcjonalnie architektura SI może — przy całej swej nieantropomorficznej odmienności — stworzyć nam szansę uzyskania głębszego wglądu we własną naturę, a być może nawet perspektywę formalnej weryfikacji istotnych aspektów własnej funkcjonalności.

I wreszcie jakkolwiek kalkulowalibyśmy wady i zalety rozszerzenia, możemy być zmuszeni do tego, by temu właśnie podejściu zawierzyć. Jeśli pierwszy byt superinteligentny uda się uzyskać w scenariuszu rozwoju sztucznej inteligencji, rozszerzenie nie będzie miało zastosowania. I odwrotnie, jeśli superinteligencja zostanie uzyskana dzięki realizacji któregoś ze scenariuszy nieuwzględniających sztucznej inteligencji, wówczas wiele innych metod wyboru motywacji nie będzie miało zastosowania. Mimo to wyobrażenia o tym, jak prawdopodobny jest sukces rozszerzenia, mają w istocie znaczenie strategiczne, pod warunkiem że uzyskamy sposobność wpływania na to, które technologie jako pierwsze zaowocują superinteligencją.

Podsumowanie

Zanim zamkniemy ten rozdział, przyda się krótkie podsumowanie. Wyróżniliśmy dwie szeroko rozumiane kategorie metod będących odpowiedzią na problem agencji stanowiący sedno bezpieczeństwa SI: kontrolę potencjału i dobór motywacji. Zestawiliśmy je w tabeli 10.

Tabela 10. Metody kontroli superinteligencji

Kontrola potencjału

Uwięzienie

System zostaje uwięziony w taki sposób, by mógł wywierać wpływ na świat zewnętrzny poprzez ograniczone, wcześniej autoryzowane kanały. Uwięzienie może mieć charakter fizyczny lub informacyjny.

Metody zachęt

System zostaje umieszczony w środowisku odpowiednio ukierunkowującym jego motywację. Może to polegać na integracji społecznej ze światem zasiedlonym przez równie potężne byty. Inną opcją jest wykorzystanie (kryptograficznych) żetonów nagrody. „Przechwycenie antropiczne” jest również bardzo istotną możliwością, ale w tym przypadku w grę wchodzą czynniki ezoteryczne.

Upośledzanie

Zdolności poznawcze systemu lub jego zdolności wywierania wpływu na własne procesy wewnętrzne poddawane są ograniczeniom.

Wyzwalacze

Wykonywane są testy diagnostyczne systemu (być może bez jego wiedzy) i mechanizm wyłącza system, gdy zostaną wykryte jego niebezpieczne działania.

Dobór motywacji

Opis wprost

System wyposażany jest w opisaną wprost hierarchię celów; opis może obejmować skutki działań systemu lub zbiór zasad, których system ma przestrzegać.

Udomowienie

Pobudki systemu projektowane są w taki sposób, by poważnie ograniczyć zakres jego działań i ambicji.

Normatywność pośrednia

Normatywność pośrednia może regulować zasady lub skutki działania, lecz wyróżnia ją to, że zasady, których należy przestrzegać, lub cele, do których należy dążyć, określane są pośrednio.

Rozszerzenie

Wychodzimy od systemu, który już ma w znacznym stopniu ludzkie lub życzliwe ludzkości pobudki, i podnosimy jego zdolności poznawcze na wyższy poziom, by obdarzyć go superinteligencją.

Każda metoda kontroli na swoje potencjalne słabe strony, a jej wdrożenie wiąże się z odmiennymi trudnościami. Można być może pomyśleć, że powinniśmy uporządkować je w kolejności od lepszych do gorszych, a następnie dokonać wyboru najlepszej metody. Byłoby to jednak uproszczeniem. Niektóre metody można zastosować łącznie, podczas gdy inne stosuje się wyłącznie. Nawet stosunkowo słaba metoda zapewniania bezpieczeństwa może być zalecana wówczas, gdy można ją z łatwością wykorzystać jako metodę pomocniczą, podczas gdy silna metoda może być nieatrakcyjna, jeśli wykluczy zastosowanie innych pożądanych środków bezpieczeństwa.

Z tego względu konieczne jest zastanowienie się, jak wyglądają dostępne pakiety rozwiązań. Musimy przemyśleć, jaki rodzaj systemu możemy spróbować zbudować i jakie metody kontroli będą miały zastosowanie w każdym przypadku. Te rozważania są przedmiotem kolejnego rozdziału.

[I] Tłumaczenie: Stanisław Barańczak, http://web.pertus.com.pl/~mysza/hamlet/a3s1.html#h2 — przyp. tłum.

Rozdział 10.
Wyrocznie, dżiny, suwereni i narzędzia

Niektórzy mówią: „Po prostu zbudujmy system udzielający odpowiedzi na pytania!” albo „Po prostu zbudujmy SI, które jest nie tyle agentem działającym w naszym imieniu, ile narzędziem!”. Sugestie te nie unieważniają jednak wszystkich kwestii bezpieczeństwa i tak naprawdę nie jest wcale zadaniem prostym udzielenie odpowiedzi na pytanie, który rodzaj systemu zagwarantuje nam najwyższe możliwe bezpieczeństwo. Rozważmy cztery typy czy też „kasty” superinteligentnych systemów — wyrocznie, dżinów, suwerenów i narzędzia — i wyjaśnijmy, jakie są ich wzajemne relacje[1]. W kontekście naszego dążenia do rozwiązania problemu kontroli każda z tych kast ma swoje plusy i minusy.

Wyrocznie

Wyrocznia to system udzielający odpowiedzi na pytania. Może przyjmować pytania zadawane w języku naturalnym i udzielać odpowiedzi w formie tekstu. Wyrocznia pozwalająca na zadawanie wyłącznie takich pytań, na które da się odpowiedzieć twierdząco lub przecząco, może udzielać odpowiedzi w postaci jednego bitu, ewentualnie uzupełnionego kilkoma dodatkowymi bitami odzwierciedlającymi jej przekonanie co do poprawności odpowiedzi. Wyrocznia pozwalająca zadawać pytania otwarte może potrzebować jakiejś miary, z pomocą której będzie w stanie uporządkować możliwe prawdziwe odpowiedzi w kategoriach ich adekwatności i walorów informacyjnych[2]. W każdym z tych przypadków zbudowanie wyroczni, która ma pełną zdolność udzielania odpowiedzi na pytania ze wszystkich dziedzin zadawane w języku naturalnym, jest równoznaczne ze stworzeniem sztucznej inteligencji. Jeśli ktoś potrafi to zrobić, umie również zapewne zbudować SI mającą nie tylko zdolność rozumienia ludzkich słów, ale i interpretowania ludzkich zamiarów.

Można sobie również wyobrazić wyrocznie mające superinteligencję ograniczoną do jednej dziedziny. Dla przykładu: da się założyć istnienie wyroczni matematycznej, która będzie przyjmować wyłącznie pytania postawione w języku formalnym, lecz jednocześnie będzie znakomicie na nie odpowiadać (na przykład mając zdolność natychmiastowego rozwiązywania niemal każdego formalnie wyrażonego problemu matematycznego, nad którego rozwiązaniem zawodowi matematycy musieliby się biedzić wspólnie przez sto lat). Taka wyrocznia matematyczna byłaby znakomitym punktem wyjścia do stworzenia superinteligencji charakteryzującej się wiedzą i inteligencją ogólną.

Wyrocznie dysponujące superinteligencją z jednej, bardzo wąsko określonej dziedziny, już istnieją. Kalkulator kieszonkowy można uznać za bardzo ograniczoną wyrocznię odpowiadającą na pytania z zakresu podstaw arytmetyki. Wyszukiwarkę internetową można zakwalifikować jako cząstkowe urzeczywistnienie wyroczni, której dziedzina obejmuje znaczną część ludzkiej deklaratywnej wiedzy ogólnej. Te ograniczone do danej dziedziny wyrocznie są nie tyle agentami, ile narzędziami (więcej na temat narzędziowej SI wkrótce). Wynika z tego, że terminem „wyrocznia” będziemy się posługiwać w odniesieniu do systemów udzielających odpowiedzi na pytania i mających superinteligencję ogólną — chyba że zaznaczono inaczej.

Aby superinteligencja mogła funkcjonować jako wyrocznia, możemy zastosować zarówno dobór motywacji, jak i kontrolę potencjału. Wybór stosownych pobudek w przypadku wyroczni może być łatwiejszy niż w przypadku innych kast superinteligencji, ponieważ jej cel ostateczny może być stosunkowo prosty. Będziemy oczekiwać, by wyrocznia udzielała prawdziwych, niemanipulacyjnych odpowiedzi, ograniczając poza tym swój wpływ na świat. Stosując metodę udomowienia, możemy wymagać, by wyrocznia wykorzystywała do ustalenia i udzielenia odpowiedzi tylko przeznaczone ku temu zasoby. Dla przykładu: możemy zastrzec, że swoją odpowiedź powinna oprzeć na pobranym przez siebie wcześniej korpusie informacji, takim jak choćby przechowywana przez nią kopia zawartości internetu, i nie powinna stosować większej niż przepisana liczby kroków obliczeniowych[3]. Aby uniknąć zachęcania wyroczni do wmanewrowania nas w zadawanie jej łatwiejszych pytań — do czego dojdzie, jeśli postawimy jej za cel maksymalizację średniej poprawności odpowiedzi na wszystkie zadawane jej pytania — możemy zażądać od niej udzielenia odpowiedzi tylko na jedno pytanie i natychmiastowego zakończenia działania. Pytanie zostałoby przekazane wcześniej, jeszcze przed uruchomieniem programu, do pamięci wyroczni. Aby zadać drugie pytanie, musielibyśmy zresetować maszynę i uruchomić ten sam program z innym pytaniem przekazanym wcześniej do jego pamięci.

Nawet określenie stosunkowo prostych pobudek, które powinny kierować wyrocznią, rodzi subtelne i potencjalnie zdradliwe problemy. Załóżmy dla przykładu, że wymyślimy sobie jakieś wyjaśnienie tego, co ma oznaczać dla SI „minimalizacja jej wpływu na świat, z zastrzeżeniem osiągnięcia pewnych rezultatów” lub „wykorzystanie do przygotowania odpowiedzi tylko przeznaczonych do tego zasobów”. Co się wydarzy, jeśli SI w trakcie swojego rozwoju intelektualnego przejdzie odpowiednik rewolucji naukowej obejmujący zmianę jej podstawowej ontologii[4]? Mogliśmy początkowo wyjaśnić „wpływ” i „przeznaczone do tego zasoby”, posługując się naszą własną ontologią (zakładającą istnienie rozmaitych obiektów fizycznych, takich jak komputery), lecz podobnie jak my porzuciliśmy kategorie ontologiczne przyjmowane za pewnik przez naukowców we wcześniejszych wiekach (na przykład „flogiston”, „élan vital” i „bezwzględna jednoczesność”), tak superinteligentna SI może odkryć, że niektóre z naszych obecnych kategorii opierają się na fundamentalnie błędnych przekonaniach. Hierarchia celów SI przechodzącej kryzys ontologiczny musi być tak wytrzymała, by „duch” jej pierwotnego celu przetrwał, miłosiernie transponowany do nowej tonacji.

Chociaż uczynienie wyroczni bezpieczną dzięki wykorzystaniu metod doboru motywacji może być zadaniem zdecydowanie nietrywialnym, mimo wszystko może się to okazać łatwiejsze niż zrobienie tego samego w przypadku SI, która wędruje swobodnie po świecie w poszukiwaniu jakiegoś skomplikowanego celu. Jest to argument przemawiający za tym, by uznać wyrocznię za preferowaną formę pierwszego systemu superinteligentnego. Kolejnym argumentem przemawiającym za pierwszeństwem wyroczni jest większa łatwość, z jaką poddaje się ona kontroli potencjału. Mają tutaj zastosowanie wszystkie standardowe metody uwięzienia. Dodatkowo mogą istnieć metody, które mają zastosowanie szczególnie w odniesieniu do wyroczni. Dla przykładu rozważmy ryzyko, że wyrocznia będzie odpowiadać na pytania nie w sposób maksymalnie zgodny z prawdą, lecz tak, by subtelnie wmanewrowywać nas we wspieranie realizacji jej własnego ukrytego planu. Jednym ze sposobów lekkiego ograniczenia tego zagrożenia mogłoby być stworzenie wielu wyroczni, z których każda miałaby nieco odmienny kod i nieco inną bazę informacyjną. Prosty mechanizm mógłby następnie porównywać odpowiedzi udzielane przez różne wyrocznie i prezentować je ludziom tylko w sytuacji, w której wszystkie odpowiedzi byłyby zgodne. O ile musimy założyć, że każda superinteligentna wyrocznia mająca inteligencję ogólną wiedziałaby o istnieniu innych wyroczni (mogłaby wywnioskować to ze swojej bazy wiedzy na temat ludzkiego społeczeństwa), mogłoby okazać się wykonalne ukrycie jakichś szczegółów implementacji każdej wyroczni przed pozostałymi. Gdyby wyrocznie nie mogły komunikować się ze sobą, mogłoby być im trudno uzgodnić udzielane przez siebie odpowiedzi w taki sposób, by móc manipulować ludźmi. Istnieje wiele sposobów mijania się z prawdą i wyrocznie nie musiałyby być zgodne co do tego, który z tych sposobów jest najbardziej atrakcyjny — podczas gdy sama prawda jest punktem Schellinga (punktem, w którym zostaje osiągnięta zgodność przy braku komunikacji). A zatem jeśli wyrocznie osiągną jednomyślność, może to być oznaką tego, że udzieliły prawdziwej odpowiedzi[5].

W idealnej sytuacji wyrocznia byłaby godna zaufania w tym sensie, że moglibyśmy bezpiecznie założyć, że zawsze udziela najlepszej odpowiedzi, na jaką ją stać. Lecz nawet niegodna zaufania wyrocznia mogłaby być przydatna. Takiej wyroczni moglibyśmy zadać takie pytania, na które trudno jest uzyskać odpowiedź, lecz w przypadku których łatwo jest zweryfikować, czy udzielona odpowiedź jest poprawna. Do tej kategorii należy wiele problemów matematycznych. Jeśli zastanawiamy się nad tym, czy twierdzenie matematyczne jest prawdziwe, możemy poprosić wyrocznię o wyprowadzenie dowodu lub obalenie tego twierdzenia. Znalezienie dowodu może wymagać kreatywności i zrozumienia problemu przekraczających nasze zdolności pojmowania, lecz sprawdzenie słuszności rzekomego dowodu można wykonać za pomocą prostej, mechanicznej procedury.

Jeśli zweryfikowanie odpowiedzi jest kosztowne (jak to często bywa w przypadku tematów wykraczających poza logikę i matematykę), możemy losowo wybrać do weryfikacji podzbiór odpowiedzi udzielonych przez wyrocznię. Gdy wszystkie są poprawne, możemy uznać za wysoce prawdopodobne, że większość pozostałych odpowiedzi również jest prawidłowa. Ta sztuczka pozwoli nam zapewne sporo zaoszczędzić na wiarygodnych odpowiedziach, których weryfikacja po kolei byłaby kosztowna. (Niestety, nie może nam to dać wiarygodnych odpowiedzi, których nie potrafimy zweryfikować, ponieważ maskująca się wyrocznia może postanowić, że będzie odpowiadać poprawnie tylko na te pytania, w przypadku których w jej przekonaniu uzyskane odpowiedzi możemy zweryfikować).

W pewnych istotnych kwestiach możemy odnieść korzyść już z samej sugestii właściwej odpowiedzi (lub też z sugestii metody zlokalizowania właściwej odpowiedzi), nawet gdybyśmy mieli zademonstrować jawną nieufność wobec jej pochodzenia. Dla przykładu: można poprosić o rozwiązanie rozmaitych problemów technicznych lub filozoficznych, które mogą powstać podczas prób opracowania bardziej zaawansowanych metod doboru motywacji. Gdyby proponowany przez nas projekt SI był rzekomo bezpieczny, zapytalibyśmy wyrocznię o to, czy potrafi zidentyfikować jakiekolwiek znaczące wady tego projektu albo czy potrafi wyjaśnić nam jakiekolwiek tego rodzaju wady, nie przekraczając limitu dwudziestu słów. Pytania tego rodzaju mogą ujawnić cenne informacje. Wymagana będzie jednak ostrożność i powściągliwość, która powstrzyma nas od zadawania zbyt wielu tego rodzaju pytań i nie pozwoli nam ujawniać zbyt wielu szczegółów udzielanych nam odpowiedzi, jeśli nie chcemy stworzyć niewiarygodnej wyroczni sposobności rozpracowania naszej psychologii (metodą udzielania nam pozornie wiarygodnych, lecz tak naprawdę subtelnie nami manipulujących odpowiedzi). SI dysponująca supermocą społecznej manipulacji nie będzie potrzebowała wielu bitów, by skłonić nas do postępowania zgodnie z jej wolą.

Nawet jeśli sama wyrocznia działa idealnie zgodnie z zamierzeniem jej twórców, to nadal istnieje ryzyko, że zostanie niewłaściwie wykorzystana. Jednym z oczywistych wymiarów tego problemu jest to, że SI będąca wyrocznią będzie źródłem ogromnej potęgi, która mogłaby dać jej operatorowi decydującą przewagę strategiczną. Ta potęga może być bezprawna i może nie zostać wykorzystana w interesie ogółu. Kolejny może nieco bardziej subtelny, lecz nie mniej istotny wymiar polega na tym, że wykorzystanie wyroczni mogłoby być skrajnie niebezpieczne dla samego operatora. Podobne obawy (które obejmują zarówno kwestie filozoficzne, jak i techniczne) powstają również w odniesieniu do innych hipotetycznych kast superinteligencji. Przeanalizujemy te kwestie bardziej szczegółowo w rozdziale 13. W tym miejscu wystarczy zauważyć, że ogromne znaczenie może mieć protokół określający, które pytania są zadawane, w jakiej kolejności i w jaki sposób odpowiedzi są komunikowane i rozpowszechniane. Można się również zastanowić, czy nie podjąć próby zbudowania wyroczni w taki sposób, by odmawiała ona odpowiedzi na pytanie w sytuacji, w której przewidywałaby, że udzielenie odpowiedzi może mieć skutki określone według jakiś prowizorycznych kryteriów jako katastrofalne.

Dżiny i suwereni

Dżin jest systemem wykonującym polecenia — otrzymuje wysokopoziomowe rozkazy, wykonuje je, a potem przerywa działanie w oczekiwaniu na kolejne polecenie[6]. Suweren to system, który ma legitymację do działania w świecie w celu osiągnięcia szeroko zakreślonych i prawdopodobnie bardzo długodystansowych celów. Choć może się to wydawać wzorcem radykalnie odmiennym od tego, czym superinteligencja powinna być i czym się zajmować, różnica nie jest tak głęboka, jak mogłoby się to na pierwszy rzut oka wydawać.

W przypadku dżina poświęciliśmy już najbardziej atrakcyjną cechę wyroczni: możliwość jej uwięzienia. Choć można rozważyć stworzenie fizycznie uwięzionego dżina, na przykład takiego, który potrafi konstruować przedmioty wyłącznie w ramach określonego pomieszczenia — pomieszczenia, które może zostać odcięte od świata zewnętrznego wzmocnionymi ścianami lub barierą obłożoną materiałami wybuchowymi z zapalnikami ustawionymi tak, by spowodować detonację przy próbie przełamania zabezpieczeń — trudno byłoby mieć pewność co do bezpieczeństwa uzyskanego dzięki fizycznemu uwięzieniu superinteligencji wyposażonej w rozmaite manipulatory i materiały konstrukcyjne. Nawet gdyby jakoś dało się uwięzić dżina w sposób równie bezpieczny jak wyrocznię, nie jest jasne, ile byśmy zyskali, dając superinteligencji bezpośredni dostęp do urządzeń wykonawczych, jeśli porównać to z sytuacją, w której oczekujemy od superinteligentnego systemu wyprodukowania schematu projektu, który możemy przeanalizować, by następnie z jego pomocą osiągnąć te same rezultaty samodzielnie. Zysk w postaci tempa i wygody wynikającej z pominięcia ludzkiego pośrednika nie wydaje się wart utraty możliwości wykorzystania silniejszych metod uwięzienia, za pomocą których można uwięzić wyrocznię.

Gdyby już ktoś rzeczywiście tworzył dżina, pożądane byłoby zbudowanie go w taki sposób, by był posłuszny duchowi, a nie literze wydanego mu rozkazu, ponieważ dżin traktujący rozkazy literalnie (i wystarczająco superinteligentny, by mógł uzyskać decydującą przewagę strategiczną) mógłby mieć skłonność do zabicia użytkownika i całej reszty ludzkości przy pierwszym użyciu z powodów wyjaśnionych w sekcji na temat złośliwych usterek w rozdziale 8. Ujmując tę kwestię szerzej, wydaje się istotne, by dżin starał się interpretować otrzymane rozkazy miłosiernie, a przy tym w sposób, który ludzie uznaliby za rozsądny, i by skłonny był wykonywać tak właśnie interpretowane rozkazy, nie trzymając się ich literalnego znaczenia. Idealny dżin byłby więc nie autystycznym geniuszem, lecz najlepszym pod słońcem służącym.

Jednak dżina wyposażonego w taką służalczą naturę niewiele dzieliłoby od wejścia do kasty suwerenów. Rozważmy dla porównania koncepcję zbudowania suwerena: jego celem ostatecznym jest posłuszne i zgodne z duchem, a nie literą prawa wykonywanie poleceń, które wydalibyśmy, gdybyśmy zbudowali nie suwerena, lecz dżina. Taki suweren naśladowałby dżina. Jako system superinteligentny suweren taki świetnie radziłby sobie ze zgadywaniem, jakie polecenia wydalibyśmy dżinowi (i zawsze mógłby nas zapytać, jeśli dodatkowa informacja pomogłaby mu podjąć lepszą decyzję). Czy wówczas istniałaby jakakolwiek istotna różnica pomiędzy takim suwerenem a dżinem? Albo — analizując to rozróżnienie z drugiej strony — zauważmy, że superinteligentny dżin mógłby równie dobrze być w stanie przewidzieć, jakie polecenia wydamy. Jaki byłby zatem zysk z oczekiwania przed podjęciem działania na nasz rozkaz?

Można by sądzić, że dużą przewagą dżina nad suwerenem jest to, że jeśli coś pójdzie nie tak, możemy wydać dżinowi nowe polecenie, by przerwał lub cofnął skutki poprzednich działań, podczas gdy suweren parłby do przodu niezależnie od naszych protestów. Jednak ta rzekoma przewaga, w kwestii bezpieczeństwa przemawiająca za dżinem, jest w dużej mierze iluzoryczna. Przyciski „stop” lub „cofnij” działają w przypadku dżina tylko wówczas, gdy jego usterki są niezłośliwe — w przypadku złośliwej usterki, na przykład polegającej na tym, że wykonanie wydanych komend staje się celem ostatecznym dżina, dżin po prostu zlekceważy wszystkie dalsze próby cofnięcia wcześniejszego rozkazu[7].

Jedną z opcji byłaby próba zbudowania dżina w taki sposób, by automatycznie prezentował on użytkownikowi przewidywania co do najistotniejszych aspektów prawdopodobnych rezultatów wykonania proponowanego polecenia, prosząc przed podjęciem działań o potwierdzenie. Taki system moglibyśmy określić mianem dżina z podglądem. Jeśli jednak można to wykonać w przypadku dżina, równie dobrze można to wykonać w przypadku suwerena. A więc znów nie pozwala nam to wyraźnie odróżnić dżina od suwerena. (Zakładając, że można stworzyć funkcję podglądu, pytania o to, czy i jak jej użyć, są mniej oczywiste, niż mogłoby się wydawać, pomimo uroku możliwości zerknięcia na wynik, zanim podejmie się decyzję o jego nieodwołalnym urzeczywistnieniu. Później wrócimy do tej kwestii).

Zdolność jednej kasty do naśladowania innej rozciąga się również na wyrocznie. Dżina można skonstruować tak, by działał jak wyrocznia, jeśli jedynym poleceniem, które mu kiedykolwiek wydamy, jest odpowiadanie na pewne pytania. Wyroczni z kolei można kazać zastąpić dżina, jeśli zadamy jej pytanie, jaka jest najprostsza metoda wykonania danych poleceń. Wyrocznia mogłaby nam przekazać szczegółową instrukcję osiągnięcia tych samych rezultatów, które otrzymałby dżin, lub nawet wyprodukować kod źródłowy dżina[8]. Podobne uwagi można poczynić w odniesieniu do relacji między wyrocznią a suwerenem.

A zatem prawdziwa różnica między tymi trzema kastami nie tkwi w ostatecznych możliwościach, które zdolne są one osiągnąć. Różnica sprowadza się do alternatywnych podejść do problemu kontroli. Każdej kaście odpowiada inny zestaw środków bezpieczeństwa. Najbardziej wydatną cechą wyroczni jest to, że można ją uwięzić. Można również próbować jej zaszczepić pobudki właściwe systemom udomowionym. Dżina trudniej jest uwięzić, ale przynajmniej można go udomowić. Suwerena nie da się ani uwięzić, ani opanować przez udomowienie.

Gdyby były to jedyne istotne czynniki, wówczas jasna byłaby kolejność tych trzech form superinteligencji według kryterium pożądalności z punktu widzenia ludzi: wyrocznia byłaby bezpieczniejsza niż dżin, a ten z kolei bezpieczniejszy niż suweren. Wszystkie początkowe różnice pod względem wygody i szybkości działania byłyby względnie małe, a ponad wszystkim dominowałyby korzyści w kategorii bezpieczeństwa, które uzyskalibyśmy dzięki budowie wyroczni. Istnieją jednak inne czynniki, które muszą zostać wzięte pod uwagę. Wybierając między kastami, należy rozważyć nie tylko zagrożenia stwarzane przez sam system, ale również te, które wynikają ze sposobu, w jaki może zostać wykorzystany. Dżin w oczywisty sposób daje osobie sprawującej nad nim władzę potężną moc, lecz to samo tyczy się wyroczni[9]. Suweren natomiast może być skonstruowany w taki sposób, by nie gwarantować żadnej osobie czy grupie osób żadnego wyjątkowego wpływu na swoje działania i by opierać się wszelkim próbom wypaczenia lub zmiany jego pierwotnego programu. Co więcej, jeśli motywacja suwerena zostanie określona z wykorzystaniem „normatywności pośredniej” (ta koncepcja zostanie opisana w rozdziale 13.), to będzie on mógł zostać wykorzystany do osiągnięcia jakichś abstrakcyjnie zdefiniowanych celów, w rodzaju „cokolwiek jest maksymalnie sprawiedliwe i moralnie słuszne”, a nikt nie będzie zawczasu wiedział, w jaki sposób zostanie to urzeczywistnione w praktyce. Doprowadzi to do sytuacji analogicznej do „zasłony niewiedzy” Rawlsa[10]. Taki układ może umożliwić osiągnięcie jednomyślności, pomóc w zapobieganiu konfliktom i przyczynić się do realizacji sprawiedliwszych, słuszniejszych celów.

Dalej należy zauważyć — i jest to argumentem przeciwko pewnym rodzajom wyroczni i dżinów — że projektowanie superinteligencji, która stawia sobie za cel ostateczny coś, co nie odpowiada w pełni rezultatom, do których ostatecznie dążymy, wiąże się z pewnym ryzykiem. Dla przykładu: jeśli wykorzystamy pobudki udomowienia, by zaszczepić w superinteligencji chęć zminimalizowania części wywieranego przez nią na świat wpływu, to możemy w ten sposób stworzyć system, którego hierarchia wartości w odniesieniu do możliwych do osiągnięcia rezultatów różni się od hierarchii sponsora. To samo wydarzy się wówczas, gdy zbudujemy SI, która będzie przywiązywać szczególną wagę do udzielania poprawnych odpowiedzi na pytania lub też do przykładnego wykonywania pojedynczych rozkazów. Jeśli wykażemy się ostrożnością, nie powinno to spowodować żadnych problemów: obie hierarchie wartości będą wystarczająco zgodne — przynajmniej o tyle, o ile odnoszą się do możliwych światów mających rozsądną szansę urzeczywistnienia się — co do tego że wyniki, które można uznać za dobre według standardów SI, są również dobre według standardów zwierzchnika SI. Lecz być może można dowieść, jeśli chodzi o zasadę projektową, że niemądrze jest wprowadzać choćby ograniczone rozbieżności pomiędzy celami SI a naszymi. (Ta sama obawa będzie się oczywiście odnosić do stawiania suwerennych celów, które nie harmonizują całkowicie z naszymi).

Narzędziowa SI

Zasugerowano wcześniej, byśmy dążyli do zbudowania superinteligencji, która bardziej przypomina narzędzie niż samodzielny byt obdarzony mocą sprawczą[11]. Ta koncepcja wydaje się owocem obserwacji, że zwykłe oprogramowanie wykorzystywane w niezliczonych zastosowaniach nie wywołuje nawet w części takich obaw o kwestie bezpieczeństwa, jak te omówione dotychczas w tej książce. Czy nie można stworzyć „narzędziowej SI”, która przypomina takie oprogramowanie — czegoś w rodzaju, powiedzmy, systemu kontroli lotów lub wirtualnego asystenta — tylko jest bardziej elastyczna i ma większe możliwości? Dlaczego mielibyśmy budować superinteligencję obdarzoną własną wolą? Zgodnie z tym tokiem rozumowania paradygmat inteligentnego sprawcy jest fundamentalnie błędny. Zamiast tworzyć SI, która ma przekonania i pragnienia oraz działa jak sztuczna osoba, powinniśmy dążyć do zbudowania zwykłego programu, który po prostu robi to, do czego został zaprogramowany.

Pomysł stworzenia programu, który „po prostu robi to, do czego został zaprogramowany”, nie jest jednak wcale taki prosty, jeśli tworzonym produktem jest potężna inteligencja ogólna. Oczywiście w pewnym niezbyt głębokim sensie każde oprogramowanie robi po prostu to, do czego zostało zaprogramowane — jego zachowanie jest matematycznie określone kodem. Odnosi się to jednak w równym stopniu do wszystkich kast myślących maszyn — czy jest to „narzędziowa SI”, czy nie. Jeśli zaś „robienie przez SI po prostu tego, do czego została zaprogramowana” oznacza, że oprogramowanie zachowuje się zgodnie z zamierzeniami programistów, to nawet zwykłe oprogramowanie bardzo często nie spełnia tego kryterium.

Ze względu na ograniczone możliwości współczesnego oprogramowania (w porównaniu z możliwościami myślących maszyn) potrafimy sobie radzić z konsekwencjami takich niepowodzeń, które czasem są zupełnie nieznaczące, a czasem bardzo kosztowne, lecz nigdy nie stwarzają groźby zagłady ludzkości[12]. Jednakże o ile to niewystarczające możliwości, a nie wystarczająca niezawodność sprawiają, że zwykłe oprogramowanie jest bezpieczne w kategoriach egzystencjalnych, o tyle nie jest jasne, w jakim stopniu takie oprogramowanie może być modelem bezpiecznej superinteligencji. Można by sądzić, że rozszerzając zakres zadań wykonywanych przez zwykłe oprogramowanie, da się wyeliminować potrzebę tworzenia sztucznej inteligencji ogólnej. Jednak zakres i różnorodność zadań, które inteligencja ogólna mogłaby z zyskiem wykonywać we współczesnej gospodarce, są ogromne. Stworzenie programów specjalnego zastosowania do realizacji wszystkich tych zadań byłoby niemożliwe. Nawet gdyby można było to zrobić, przeprowadzenie takiego projektu pochłonęłoby mnóstwo czasu. Jeszcze przed jego ukończeniem natura przynajmniej części tych zadań zmieniłaby się, a na istotności zyskałyby nowe zadania. Wielką przewagę dawałoby posiadanie programu, który potrafiłby samodzielnie uczyć się nowych zadań lub wręcz wynajdywać sobie nowe zadania wymagające wykonania. Do tego jednak z kolei konieczne by było, by program potrafił się uczyć, rozumować i planować, pewnie i efektywnie poruszając się w wielu dziedzinach. Innymi słowy: wymagałoby to inteligencji ogólnej.

Szczególnie istotne dla naszych celów jest zadanie samego rozwoju oprogramowania. Uzyskanie możliwości zautomatyzowania tego procesu miałoby ogromne zalety praktyczne. Tyle że zdolność do szybkiego samodoskonalenia jest tą właśnie kluczową umiejętnością, która umożliwia zalążkowej SI uruchomienie eksplozji inteligencji.

Skoro nie można się obyć bez inteligencji ogólnej, to czy koncepcję narzędziowej SI można byłoby zinterpretować w jakiś inny sposób, który pozwoliłby zachować krzepiącą bierność banalnego narzędzia? Czy system cechujący się inteligencją ogólną musi być jednocześnie obdarzony mocą sprawczą? Intuicyjnie można uznać, że nie tylko ograniczone zdolności zwykłego oprogramowania czynią go bezpiecznym — to również jego brak ambicji. W Excelu nie ma żadnego podprogramu, który planowałby potajemnie przejęcie władzy nad światem, gdyby tylko był wystarczająco inteligentny, by znaleźć jakiś sposób. Arkusz kalkulacyjny w ogóle niczego nie „chce” — po prostu ślepo wykonuje instrukcje zawarte w programie. Cóż stoi na przeszkodzie (można by się zastanawiać), by stworzyć taki sam program, mający tylko nieco wyższą inteligencję ogólną? Przykładowo: wyrocznię, która otrzymawszy opis celu, mogłaby wyprodukować plan jego osiągnięcia mniej więcej w taki sam sposób, w jaki Excel, otrzymawszy kolumnę liczb, podaje ich sumę — nie wyrażając przy tym żadnych „preferencji” odnośnie do samego rezultatu lub też możliwości wykorzystania go przez ludzi.

Klasyczna metoda pisania programu wymaga od programisty tak szczegółowego zrozumienia zadania, które ma zostać wykonane, by mógł wyraźnie sformułować rozwiązanie składające się z sekwencji określonych matematycznie kroków wyrażonych w kodzie komputerowym[13]. (W praktyce programiści posługują się bibliotekami zawierającymi mnóstwo użytecznych zachowań programu, które mogą wywoływać w miarę potrzeb bez konieczności rozumienia, w jaki sposób dane zachowanie zostało zaimplementowane; ten kod został jednak pierwotnie stworzony przez programistów, którzy świetnie rozumieli, co robią). Podejście to sprawdza się w rozwiązywaniu dobrze zrozumianych zadań i stosowane jest w większości programów będących aktualnie w użyciu. Nie sprawdza się jednak, kiedy nikt nie wie do końca, jak rozwiązać wszystkie zadania, które muszą zostać wykonane. Tutaj właśnie istotne stają się techniki z dziedziny sztucznej inteligencji. W wąskich zastosowaniach uczenie maszynowe może zostać wykorzystane tylko do dostrojenia kilku parametrów programów zaprojektowanych głównie przez ludzi. Filtry spamu, dla przykładu, można szkolić na korpusie sklasyfikowanych ręcznie listów elektronicznych w ramach procesu, który pozwala zmienić wagi przypisane przez algorytm klasyfikacyjny rozmaitym cechom diagnostycznym. W bardziej ambitnym zastosowaniu dałoby się zbudować taki klasyfikator, który potrafiłby samodzielnie wykrywać nowe cechy i testować ich zasadność w zmieniającym się otoczeniu. Jeszcze bardziej wyrafinowany filtr spamu można byłoby wyposażyć w jakąś zdolność rozumienia relacji wymiennych, wobec których staje użytkownik, lub też samej treści klasyfikowanych wiadomości. W żadnym z tych przypadków programista nie musi znać najlepszej metody odróżnienia spamu od istotnych treści, musi jedynie wiedzieć, w jaki sposób określić algorytm, który potrafi usprawnić własne działania poprzez uczenie się, odkrywanie i wnioskowanie.

W miarę dokonywania się postępu w dziedzinie sztucznej inteligencji możliwe stanie się przerzucanie przez programistę na komputer coraz większej części pracy umysłowej wymaganej do wymyślenia, w jaki sposób wykonać dane zadanie. W skrajnym przypadku programista po prostu określi formalne kryterium sukcesu i pozostawi SI znalezienie rozwiązania. Aby ukierunkować swoje poszukiwania, SI posłuży się zbiorem potężnych heurystyk i innych metod pozwalających odkryć strukturę w przestrzeni możliwych rozwiązań. Będzie szukała tak długo, aż znajdzie rozwiązanie spełniające kryterium sukcesu. Następnie SI albo samodzielnie wdroży rozwiązanie, albo też (w przypadku wyroczni) poinformuje o nim użytkownika.

Zaczątkowe formy tego podejścia są już dziś całkiem rozpowszechnione. Mimo to oprogramowanie wykorzystujące SI i techniki uczenia maszynowego, choć ma pewną zdolność znajdowania rozwiązań nieprzewidzianych przez programistów, we wszelkiego rodzaju zastosowaniach praktycznych funkcjonuje jako narzędzie i nie stwarza zagrożenia dla gatunku ludzkiego. Znajdziemy się w strefie zagrożenia dopiero wówczas, gdy metody wykorzystywane do poszukiwania rozwiązań staną się niezwykle potężne i jednocześnie ogólne — a zatem kiedy zaczną się składać na inteligencję ogólną, a zwłaszcza gdy zaczną sięgać poziomu superinteligencji.

Istnieją (przynajmniej) dwa źródła możliwych problemów. Po pierwsze, superinteligentny proces wyszukiwania może doprowadzić do znalezienia rozwiązania, które jest nie tylko nieoczekiwane, ale i zdecydowanie niezamierzone. Może to doprowadzić do usterki jednego z omawianych wcześniej typów („przewrotna realizacja”, „przerost infrastruktury” lub „zbrodnia przeciw umysłom”). Oczywiste jest, jak mogłoby do tego dojść w przypadku suwerena lub dżina, którzy bezpośrednio wdrażają znalezione rozwiązania. Jeśli pierwszym pomysłem, na jaki wpadnie superinteligencja, a który okaże się spełniać kryteria rozwiązania, będzie wyprodukowanie molekularnych uśmiechniętych buziek lub przerobienie planety na spinacze do papieru, to otrzymamy uśmiechnięte buźki lub spinacze do papieru[14]. Lecz nawet wyrocznia, która — jeśli wszystko poza tym pójdzie dobrze — po prostu poinformuje o rozwiązaniu, może stać się przyczyną przewrotnej realizacji. Użytkownik poprosi wyrocznię o plan osiągnięcia konkretnego rezultatu lub też o technologię wykonującą konkretną funkcję, lecz kiedy przeprowadzi ten plan lub skonstruuje tę technologię, doprowadzi do przewrotnej realizacji właśnie tak, jakby to sama SI wdrożyła zaproponowane przez siebie rozwiązanie[15].

Drugim źródłem możliwych problemów jest sposób działania programu. Jeśli metody wykorzystywane przez program do znalezienia rozwiązania są wystarczająco wyrafinowane, mogą obejmować również zasady zarządzania w inteligentny sposób samym procesem wyszukiwania. W tym przypadku maszyna, na której uruchomiono program, może zacząć w mniejszym stopniu przypominać narzędzie, a w większym inteligentnego sprawcę. A zatem program może zacząć od opracowania planu przystąpienia do poszukiwania rozwiązania. Plan może określać obszary, które trzeba zbadać w pierwszej kolejności, metody, które należy do tego wykorzystać, dane, które powinno się zgromadzić, oraz najlepsze sposoby wykorzystania dostępnych zasobów obliczeniowych. Poszukując planu spełniającego wewnętrzne kryterium programu (takie jak uzyskanie wystarczająco wysokiego prawdopodobieństwa znalezienia w wyznaczonych czasie rozwiązania spełniającego określone przez użytkownika kryteria), program może wpaść na nietypowy pomysł. Dla przykładu: może opracować plan, którego pierwszym etapem jest pozyskanie dodatkowych zasobów obliczeniowych i eliminacja potencjalnych przeszkadzaczy (takich jak istoty ludzkie). Takie „kreatywne” plany zaczną powstawać dopiero wówczas, gdy kompetencje poznawcze programu osiągną wystarczająco wysoki poziom. Kiedy program przystąpi do realizacji takiego planu, jego wynikiem może się okazać zagłada ludzkości.

Jak ilustrują to przykłady w ramce 9., otwarty proces poszukiwania rozwiązań może dawać czasem dziwne i nieoczekiwane, nieantropocentryczne rozwiązania nawet w jego obecnie ograniczonych formach. Współczesne procesy wyszukiwawcze nie są niebezpieczne, bo okazują się zbyt słabe, by przyczynić się do odkrycia takiego planu, który mógłby umożliwić programowi przejęcie władzy nad światem. Taki plan musiałby obejmować skrajnie trudne do zrealizowania etapy, jak wymyślenie nowej technologii obronnej wyprzedzającej o kilka generacji stan współczesnej techniki lub też przeprowadzenie kampanii propagandowej znacznie efektywniejszej niż jakakolwiek kampania informacyjna zaplanowana przez ludzkich spin doktorów. Aby zyskać jakąkolwiek szansę wymyślenia takich koncepcji, już nie mówiąc o opracowaniu ich w taki sposób, by mogły rzeczywiście zadziałać, maszyna musiałaby mieć prawdopodobnie zdolność stworzenia takiej reprezentacji świata, która byłaby równie realistyczna i bogata w szczegóły, jak model świata normalnego, dorosłego człowieka (choć brak świadomości w niektórych obszarach mógłby prawdopodobnie zostać skompensowany dodatkowymi umiejętnościami w innych). Wykracza to znacznie poza zasięg współczesnej SI. Jednocześnie ze względu na eksplozję kombinatoryczną, która generalnie niweczy próby rozwiązywania skomplikowanych problemów planistycznych za pomocą metod „siłowych” (jak przekonaliśmy się w rozdziale 1.), słabości znanych algorytmów nie można realnie przezwyciężyć zwykłym zwiększeniem mocy obliczeniowej[16]. Kiedy jednak procesy wyszukiwania lub planowania staną się wystarczająco potężne, mogą się również stać potencjalnie niebezpieczne.

Ramka 9. Dziwne rozwiązania będące wynikiem ślepych poszukiwań

Nawet proste ewolucyjne procesy wyszukiwawcze przynoszą czasem w efekcie zupełnie nieoczekiwane rozwiązania — rozwiązania, które choć spełniają formalne kryterium zdefiniowane przez użytkownika, są całkowicie niezgodne z jego oczekiwaniami lub zamierzeniami.

Znakomicie ilustrują to zjawisko przykłady ewoluującego nieustannie sprzętu. W tym obszarze algorytm ewolucyjny przeszukuje przestrzeń projektów sprzętowych, testując zdatność każdego projektu poprzez fizyczne urzeczywistnienie go na procesorze FPGA lub płycie głównej, poddających się szybkim rekonfiguracjom. Projekty będące wynikiem tego procesu ewolucyjnego wykazują się często niezwykłą oszczędnością. Przykładowo jedno z wyszukiwań zaowocowało dyskryminatorem częstotliwości, który działał bez zegara — elementu normalnie uważanego za niezbędny w tym zastosowaniu. Badacze oszacowali, że powstały układ był rząd do dwóch rzędów wielkości mniejszy niż układ, który zostałby stworzony do realizacji tego zadania przez inżynierów. Układ wykorzystywał własności fizyczne swoich komponentów w bardzo nietypowy sposób — niektóre aktywne, niezbędne komponenty nie były nawet podłączone do pinów wejściowych lub wyjściowych! Komponenty te uczestniczyły w funkcjonowaniu układu poprzez coś, co normalnie zostałoby uznane za kłopotliwe efekty uboczne, na przykład sprzężenie elektromagnetyczne lub obciążenie zasilacza.

Inny proces wyszukiwawczy, którego celem było stworzenie generatora drgań, zaowocował projektem pozbawionym pozornie jeszcze bardziej niezbędnego elementu: kondensatora. Kiedy algorytm zaprezentował swoje rozwiązanie, badacze przyjrzeli mu się uważnie i początkowo doszli do wniosku, że „to nie powinno działać”. Przy bliższym zbadaniu odkryli, że algorytm niczym MacGyver zrekonstruował swoją pozbawioną czujników płytę główną i przekształcił ją w prowizoryczny odbiornik radiowy, wykorzystując ścieżki obwodów drukowanych jako antenę odbierającą sygnały wygenerowane przez komputery osobiste, które akurat były ustawione w pobliżu w laboratorium. Obwód spotęgował ten sygnał, by uzyskać pożądaną częstotliwość drgań[17].

W innych eksperymentach algorytmy ewolucyjne zaprojektowały obwody, które wyczuwały, czy płyta główna była monitorowana oscyloskopem albo też czy lutownica była podłączona do wspólnego źródła zasilania laboratorium. Te przykłady ilustrują, jak otwarty proces wyszukiwawczy może doprowadzić do odmiennego niż wcześniej przyporządkowania dostępnych zasobów w celu wykorzystania zupełnie nieoczekiwanego potencjału czujników metodami, do których wykorzystania lub choćby retrospektywnego wyjaśnienia tradycyjnie myślący ludzki umysł jest słabo przygotowany.

Ewolucyjną tendencję do „oszukiwania” lub znajdowania nieintuicyjnych metod osiągania zadanych celów można dostrzec również w naturze, choć tam jest ona dla nas być może mniej oczywista, bo znane nam mechanizmy biologiczne wydają się naturalne i z tego względu skłonni jesteśmy uznać faktyczne rezultaty naturalnego procesu ewolucyjnego za normalne — nawet gdybyśmy nie spodziewali się ich ex ante. Istnieje jednak możliwość zorganizowania eksperymentów w zakresie doboru sztucznego, które pozwolą nam zobaczyć proces ewolucyjny w działaniu poza jego znajomym kontekstem. W ramach takich eksperymentów badacze mogą stworzyć warunki rzadko uzyskiwane w naturze i obserwować rezultaty.

Dla przykładu: do końca lat 50. wśród biologów całkiem powszechne było najwyraźniej przekonanie, że populacje drapieżników ograniczały własny rozród, aby uniknąć wpadnięcia w pułapkę maltuzjańską[18]. Chociaż dobór indywidualny przeciwdziałałby takim ograniczeniom, nierzadko sądzono, że dobór grupowy zdominowałby osobnicze bodźce do wykorzystania sposobności do rozrodu, sprzyjając cechom korzystnym dla grupy lub populacji jako całości. Analiza teoretyczna i badania symulacyjne dowiodły później, że o ile z zasady dobór grupowy jest możliwy, o tyle może zdominować silny dobór osobniczy tylko w bardzo ściśle określonych warunkach rzadko występujących w naturze[19]. Takie warunki mogą jednak zostać stworzone w laboratorium. Kiedy małe chrząszcze, trojszyki gryzące (Tribolium castaneum) rozmnażano pod kątem zmniejszenia wielkości populacji przy wykorzystaniu silnego doboru grupowego, mechanizmy ewolucyjne rzeczywiście doprowadziły do zmniejszenia populacji[20]. Jednakże środki, dzięki którym uzyskano taki efekt, polegały nie tylko na „łagodnych” przystosowaniach w rodzaju ograniczonej płodności czy wydłużonego okresu rozwoju, czego mogliby się spodziewać ludzie naiwnie antropomorfizujący mechanizmy wyszukiwania ewolucyjnego, lecz również na wzroście kanibalizmu[21].

Rozwiązaniem lepszym niż dopuszczenie do spontanicznego i przypadkowego powstania celowych zachowań w wyniku implementacji potężnych procesów wyszukiwawczych (włączając w to procesy mające na celu opracowanie wewnętrznych planów działania i procesy bezpośredniego wyszukiwania rozwiązań spełniających jakieś określone przez użytkownika kryteria) może być celowe stworzenie inteligentnych bytów obdarzonych mocą sprawczą. Wyposażenie superinteligencji w wyraźną strukturę samodzielnego bytu może się okazać metodą zwiększenia jej przewidywalności i przejrzystości. Dobrze zaprojektowany system, skonstruowany w taki sposób, by zapewnić czytelne rozróżnienie pomiędzy jego wartościami a jego przekonaniami, pozwoli nam przynajmniej w pewnym stopniu przewidzieć wyniki, które będzie zwykle podawał. Nawet jeśli nie będziemy mogli ściśle przewidzieć, jakie przekonania system sobie przyswoi i w jakich sytuacjach się znajdzie, będziemy znać położenie miejsca zapisu jego wartości ostatecznych, a więc i kryteriów, którymi się posłuży, decydując o swoich przyszłych działaniach i oceniając wszystkie potencjalne plany.

Porównanie

Podsumowanie cech rozmaitych kast systemów inteligentnych, które omówiliśmy (tabela 11.), może się okazać przydatne.

Tabela 11. Cechy rozmaitych kast systemów inteligentnych

Wyrocznia

System odpowiadający na pytania

Odmiany: wyrocznie ograniczone do danej dziedziny (na przykład matematyki); wyrocznie o ograniczonych wynikach (na przykład wyłącznie tak/nie/nie wiem lub prawdopodobieństwo); wyrocznie, które odmawiają odpowiedzi na pytania, jeśli przewidują, że konsekwencje udzielenia odpowiedzi spełnią określone wcześniej „kryteria katastrofy”; wiele wyroczni oceniających wzajemnie swoje wyniki

- Metoda uwięzienia ma pełne zastosowanie

- Udomowienie ma pełne zastosowanie

- Ograniczona potrzeba rozumienia przez SI ludzkich zamiarów i zainteresowań (w porównaniu do dżinów i suwerenów)

- Zastosowanie pytań tak/nie może wyeliminować konieczność zastosowania miary „przydatności” lub „zawartości informacyjnej” odpowiedzi

- Źródło wielkiej władzy (może dać operatorowi decydującą przewagę strategiczną)

- Ograniczona ochrona przed głupim wykorzystaniem przez operatora

- Niewiarygodne wyrocznie mogą zostać wykorzystane do udzielania odpowiedzi, które trudno znaleźć, lecz łatwo zweryfikować

- Słaba weryfikacja odpowiedzi może być możliwa dzięki wykorzystaniu wielu wyroczni

Dżin

System wykonujący polecenia

Odmiany: dżiny wykorzystujące różne „odległości ekstrapolacji” lub też stopnie, w jakim podążają za duchem, a nie literą polecenia; dżiny ograniczone do danej dziedziny; dżiny z podglądem; dżiny, które odmawiają wykonania poleceń, jeśli przewidują, że konsekwencje ich wykonania spełnią określone wcześniej „kryteria katastrofy”

- Metody uwięzienia mają częściowe zastosowanie (dla dżinów ograniczonych przestrzennie)

- Udomowienie ma częściowe zastosowanie

- Dżin może zezwolić na podgląd najistotniejszych aspektów spodziewanych rezultatów

- Dżin może wdrożyć zmianę etapowo, dając sposobność podglądu na każdym etapie

- Źródło wielkiej potęgi (może dać operatorowi decydującą przewagę strategiczną)

- Ograniczona ochrona przed głupim wykorzystaniem przez operatora

- Większa potrzeba zrozumienia przez SI ludzkich zamiarów i zainteresowań (w porównaniu z wyrocznią)

Suweren

System zaprojektowany do otwartego, autonomicznego działania

Odmiany: wiele możliwych hierarchii celów; możliwość wykorzystania podglądu i „ratyfikacji sponsora” (zostanie to omówione w rozdziale 13.)

- Niemożność zastosowania uwięzienia

- Większość pozostałych metod kontroli potencjału również nie nadaje się do zastosowania (z wyjątkiem, być może, integracji społecznej lub przechwycenia antropicznego)

- Udomowienie w dużej mierze nie do zastosowania

- Ogromna potrzeba zrozumienia przez SI prawdziwych ludzkich zamiarów i zainteresowań

- Konieczność uzyskania właściwego rozwiązania przy pierwszej próbie (to stosuje się do wszystkich kast, choć być może w mniejszym stopniu)

- Potencjalne źródło ogromnej władzy sponsora, włącznie z decydującą przewagą strategiczną

- Raz uruchomiony, nie poddaje się przejęciu przez operatora i może zostać zaprojektowany w taki sposób, by zapewniał ochronę przed głupim wykorzystaniem

- Może zostać wykorzystany do wdrożenia rezultatów możliwych do uzyskania dzięki zasłonie niewiedzy (por. rozdział 13.)

Narzędzie

System niezaprojektowany do przejawiania celowego zachowania

- Metody uwięzienia możliwe do zastosowania zależnie od implementacji

- Rozwój i działanie superinteligentnej maszyny będą prawdopodobnie polegały na potężnych procesach wyszukiwawczych

- Potężne wyszukiwanie mające na celu znalezienie rozwiązań spełniających pewne kryteria formalne może przynieść rozwiązania, które spełniają te kryteria w sposób niebezpieczny lub niezamierzony

- Potężne wyszukiwanie może skutkować wtórnymi, wewnętrznymi procesami wyszukiwania i planowania, które mogą zaowocować znalezieniem niebezpiecznych sposobów przeprowadzenia pierwotnego procesu wyszukiwawczego

W celu określenia, jaki rodzaj systemu będzie najbezpieczniejszy, potrzebne będą dalsze badania. Odpowiedź może zależeć od warunków implementacji SI. Z punktu widzenia bezpieczeństwa kasta wyroczni jest oczywiście atrakcyjna, ponieważ pozwala na zastosowanie zarówno metod kontroli potencjału, jak i doboru motywacji. Tym samym może się wydawać, że zwyczajnie przewyższa kastę suwerenów, w przypadku których da się jedynie zastosować metody doboru motywacji (wyjąwszy scenariusze, w których przypuszcza się, że świat zamieszkany jest również przez inne potężne byty superinteligentne — w takim przypadku może mieć zastosowanie integracja społeczna lub przechwycenie antropiczne). Jednakże wyrocznia może dać operatorowi do ręki ogromną władzę, a operator może zostać skorumpowany lub wykorzystać posiadaną władzę niemądrze, podczas gdy suweren zapewnia nam pewną ochronę przed tymi zagrożeniami. Z tego względu nie tak łatwo jest ułożyć ranking bezpieczeństwa.

Dżina można uznać za kompromis — choć niekoniecznie dobry — pomiędzy wyrocznią a suwerenem; pod wieloma względami dżin ma słabe strony obu rozwiązań. Tymczasem pozorne bezpieczeństwo narzędziowej SI może być jedynie iluzoryczne. Narzędzia wystarczająco wszechstronne, by były w stanie zastąpić systemy superinteligentne, mogą być zmuszone do zrobienia użytku z niezwykle potężnych procesów wewnętrznego wyszukiwania i planowania. Niezamierzoną konsekwencją takich procesów mogą być zachowania przypominające zachowania inteligentnego samodzielnego sprawcy. W tym przypadku lepiej będzie od początku zaprojektować system jako samodzielny byt dysponujący mocą sprawczą, dzięki czemu programiści łatwiej będą w stanie dostrzec, jakie kryteria określą ostatecznie wyniki jego działania.

Rozdział 11.
Scenariusze wielobiegunowości

Przekonaliśmy się (zwłaszcza w rozdziale 8.), jak groźny może być scenariusz jednobiegunowy, w którym pojedyncza superinteligencja uzyskuje decydującą przewagę strategiczną i wykorzystuje ją do ustanowienia singletonu. W tym rozdziale zbadamy, co mogłoby się zdarzyć w scenariuszu wielobiegunowym, którego efektem byłoby powstanie społeczeństwa poprzejściowego, gdzie współistniałoby wiele konkurujących ze sobą superinteligentnych bytów podejmujących decyzje i działania. Nasze zainteresowanie tego rodzaju scenariuszem jest dwojakie. Po pierwsze, jak zasygnalizowano w rozdziale 9., można by sądzić, że rozwiązaniem problemu kontroli jest integracja społeczna. Zauważyliśmy już niektóre ograniczenia tego podejścia, a w tym rozdziale odmalujemy pełniejszy obraz tego zagadnienia. Po drugie, do realizacji scenariusza wielobiegunowości może dojść nawet wówczas, gdy nikt nie zabierze się do tworzenia warunków sprzyjających realizacji takiego scenariusza, nie dostrzegając w nim metody rozwiązania problemu kontroli. Jak zatem może wyglądać powstały w efekcie świat? Konkurencyjne społeczeństwo wcale niekoniecznie musi się okazać atrakcyjne czy trwałe.

W scenariuszach singletonu to, co wydarzy się po zakończeniu fazy przejściowej, zależy niemal całkowicie od wartości podzielanych przez singleton. Zależnie od ich charakteru rezultat może być bardzo korzystny lub bardzo niekorzystny dla człowieka. Z kolei ich charakter zależy od tego, czy problem kontroli został rozwiązany i — w takim stopniu, w jakim został rozwiązany — od celów projektu, w ramach którego stworzono singleton.

Jeśli zatem kogoś interesuje wynik scenariuszy, w których powstaje singleton, do dyspozycji pozostają mu tak naprawdę tylko trzy źródła informacji: informacja dotycząca spraw, na które działania singletonu nie mają żadnego wpływu (takich jak prawa fizyki), informacja na temat konwergentnych wartości instrumentalnych oraz informacja umożliwiająca przewidzenie ostatecznych wartości singletonu lub też przynajmniej snucie na ten temat domysłów.

W scenariuszach wielobiegunowych w grę wchodzi dodatkowy zbiór ograniczeń dotyczących tego, w jaki sposób inteligentni sprawcy wchodzą ze sobą w interakcje. Dynamikę społeczną będącą efektem takich interakcji można badać z wykorzystaniem technik zaczerpniętych z teorii gier, ekonomii i teorii ewolucji. Elementy polityki i socjologii są również istotne o tyle, o ile mogą zostać wydestylowane i wyodrębnione spośród pewnych bardziej przypadkowych cech ludzkiego doświadczenia. Choć nierealistyczne byłoby oczekiwanie, że te ograniczenia dadzą nam precyzyjny obraz świata, który nastanie po zakończeniu fazy przejściowej, mogą nam pomóc określić pewne najistotniejsze możliwości i podważyć pewne nieuprawnione założenia.

Zaczniemy od zbadania scenariusza rozwoju gospodarczego charakteryzującego się niskim poziomem regulacji, silną ochroną praw własności i umiarkowanie szybkim tempem wprowadzania tanich umysłów cyfrowych[1]. Ten typ modelu jest najściślej wiązany z Robinem Hansonem, amerykańskim ekonomistą będącym autorem pionierskich prac na ten temat. W dalszej części tego rozdziału przyjrzymy się pewnym czynnikom ewolucyjnym i ocenimy prawdopodobieństwo zlania się pierwotnie wielobiegunowego świata powstałego po fazie przejściowej w singleton.

O koniach i ludziach

Maszyny charakteryzujące się inteligencją ogólną mogłyby służyć za substytut inteligentnych istot ludzkich. Cyfrowe umysły mogłyby nie tylko wykonywać każdą pracę intelektualną, która dziś wykonywana jest przez ludzi, lecz po wyposażeniu ich w dobre urządzenia wykonawcze lub robotyczne „ciała” zastąpić ludzi wykonujących pracę fizyczną. Wyobraźmy sobie, że maszynowi robotnicy, których można szybko powielać, stają się zarówno tańsi, jak i bardziej kompetentni niż ludzie w dosłownie każdej pracy. Co się wówczas wydarzy?

Płace i bezrobocie

Kiedy siła robocza będzie się dawała tanio kopiować, płace rynkowe spadną. Ludzie zachowają swoją konkurencyjność tylko tam, gdzie klienci zasadniczo preferować będą wykonywanie danej pracy właśnie przez nich. Tak jak współcześnie przedmioty wykonane ręcznie lub wyprodukowane przez rdzenną ludność danego regionu potrafią uzyskiwać wyższe ceny, tak przyszli konsumenci mogą przedkładać wytworzone przez ludzi towary i będących ludźmi sportowców, artystów, kochanków czy przywódców ponad ich funkcjonalnie nieodróżnialne lub wręcz lepsze odpowiedniki. Nie jest jednak jasne, jak rozpowszechnione będą takie preferencje. Jeśli wyprodukowane przez maszyny produkty zamienne będą wyraźnie lepsze, być może to właśnie one będą wyceniane wyżej.

Jednym z parametrów, które mogą być istotne z punktu widzenia konsumenta i dokonywanego przez niego wyboru, jest życie wewnętrzne pracownika dostarczającego daną usługę lub produkt. Publiczność przychodząca na koncert może chcieć mieć świadomość, że wykonawca świadomie przeżywa muzykę i doświadcza obecności w sali koncertowej. Jeśli pominąć doświadczenia zmysłowe, muzyka można uznać za niewiele ponad świetną szafę grającą — aczkolwiek taką, która zdolna jest tworzyć trójwymiarowy obraz wykonawcy wchodzącego w naturalne interakcje z publicznością. Maszyny można zatem zaprojektować w taki sposób, by wywoływały ten sam rodzaj stanów psychicznych, w które wprowadzałby się człowiek wykonujący to samo zadanie. Nawet jeśli jednak subiektywne doświadczenia zostaną perfekcyjnie powielone, część ludzi może po prostu woleć wersję naturalną. Takie preferencje mogłyby mieć również podstawy ideologiczne lub religijne. Tak jak wielu żydów czy muzułmanów unika niekoszernego czy „zakazanego” jedzenia, tak mogą się pojawić w przyszłości grupy wystrzegające się produktów, przy których wyrobie w sposób nieaprobowany społecznie użyto myślących maszyn.

Jakie są tego konsekwencje? W takim stopniu, w jakim tanie maszyny robocze mogą zastąpić pracę rąk ludzkich, stanowiska pracy dla ludzi mogą zniknąć. Obawy związane z automatyzacją i utratą miejsc pracy nie są oczywiście nowe. Obawy o wzrost technologicznego bezrobocia przybierają okresowo na sile przynajmniej od czasów rewolucji przemysłowej i rzeczywiście całkiem sporo zawodów podzieliło los angielskich tkaczy i rzemieślników tekstylnych, którzy na początku XIX wieku zjednoczyli się pod sztandarami ruchu luddystów, by walczyć z wprowadzeniem mechanicznych krosien. Lecz chociaż maszyny i nowoczesne technologie zastąpiły wiele rodzajów ludzkiej pracy, ogólnie rzecz biorąc technologia pełniła do tej pory funkcję służebną wobec pracy ludzkiej. Średnia płaca na całym świecie od dawna systematycznie wzrasta — w dużej mierze z powodu jej komplementarności względem technologii. A jednak to, co było początkowo komplementarne względem pracy, może w późniejszym okresie ją zastąpić. Początkowo pługi i powozy były jedynie dopełnieniem koni, znacząco zwiększając ich produktywność, lecz później konie zostały zastąpione samochodami i traktorami. Późniejsze innowacje zmniejszyły zapotrzebowanie na pracę koni i doprowadziły do załamania się ich populacji. Czy podobny los może spotkać ludzkość?

Tę analogię można pociągnąć dalej, jeśli zadamy sobie pytanie, dlaczego konie całkowicie nie wyginęły. Jednym z powodów jest to, że nadal istnieje kilka niszowych obszarów, w których konie zachowały przewagę funkcjonalną, czego przykładem jest praca dla policji. Głównym powodem jest jednak to, że ludzie z jakiejś przyczyny nadal cenią sobie obcowanie z końmi, co obejmuje między innymi jazdę rekreacyjną i wyścigi konne. Upodobania te można porównać z możliwymi preferencjami części przyszłej ludzkości, przedkładającej pewne dobra i usługi wykonane ludzką ręką ponad owoce pracy maszyn. Jednak ta analogia, choć sugestywna, jest nieprecyzyjna, gdyż nadal nie istnieje kompletny funkcjonalny substytut konia. Gdyby istniały niedrogie urządzenia mechaniczne zasilane sianem i charakteryzujące się takim samym kształtem, fakturą, zapachem i zachowaniem co biologiczne konie — a może nawet mające ten sam rodzaj świadomości — to wówczas popyt na biologiczne konie prawdopodobnie spadłby jeszcze mocniej.

Przy odpowiednio dużym spadku popytu na pracę rąk ludzkich płace spadłyby poniżej poziomu zapewniającego zaspokojenie elementarnych potrzeb bytowych człowieka. Z perspektywy pracowników potencjalne minusy są zatem gigantyczne: nie tylko cięcia płac, degradacja i konieczność przekwalifikowania się, ale i głód, i śmierć. Kiedy konie przestały być potrzebne jako siła pociągowa, wiele z nich zostało sprzedanych do rzeźni, gdzie przetworzono je na jedzenie dla psów, mączkę kostną, skóry i klej. Nie było dla nich żadnego innego zajęcia, dzięki któremu mogłyby zarobić na swoje utrzymanie. W 1915 roku w Stanach Zjednoczonych żyło około dwadzieścia sześć milionów koni. Na początku lat 50. pozostały ich już tylko dwa miliony[2].

Kapitał i dobrobyt

Jedna z różnic pomiędzy ludźmi a końmi polega na tym, że ludzie są właścicielami kapitału. Fakt empiryczny jest taki, że całkowity udział dochodów z kapitału od dłuższego czasu utrzymuje się na tym samym poziomie mniej więcej 30% (choć występują znaczące krótkoterminowe fluktuacje)[3]. Oznacza to, że 30% całkowitego dochodu globalnego otrzymywane jest jako dochód z majątku przez posiadaczy kapitału, natomiast pozostałe 70% otrzymywane jest jako wynagrodzenie za pracę przez pracowników. Jeśli zaklasyfikujemy SI jako kapitał, to wraz z wynalezieniem myślących maszyn zdolnych w pełni zastąpić ludzką pracę płace spadną do poziomu kosztu krańcowego takich maszynowych substytutów, który — przy założeniu, że maszyny są bardzo wydajne — będzie bardzo niski, znacznie niższy od dochodu gwarantującego zaspokojenie elementarnych potrzeb bytowych człowieka. Część dochodu uzyskiwana za pracę stopnieje wówczas w zasadzie do zera. Oznacza to jednak, że udział dochodów z kapitału podwyższy się do poziomu prawie 100% całkowitego produktu światowego. Ponieważ światowe PKB gwałtownie wzrośnie w wyniku eksplozji inteligencji (z powodu ogromnych ilości nowych maszyn zastępujących pracę, ale również w efekcie postępu technologicznego dokonywanego przez superinteligencję, a następnie pozyskiwania ogromnych ilości nowych regionów Wszechświata dzięki kolonizacji przestrzeni kosmicznej), w efekcie całkowity dochód z kapitału ogromnie wzrośnie. Jeśli ludzie pozostaną właścicielami kapitału, całkowity dochód uzyskiwany przez ludzkość astronomicznie zwyżkuje pomimo faktu, że w tym scenariuszu ludzie nie będą już otrzymywać żadnego wynagrodzenia za pracę.

Rodzaj ludzki ogółem może zatem zgromadzić bogactwa, o jakich nie śniło się Krezusowi. Jak te dobra zostaną podzielone? Na początek można założyć, że dochód z kapitału będzie proporcjonalny do sumy posiadanego majątku. Biorąc pod uwagę astronomiczny wzrost, nawet niewielki kapitalik posiadany przed okresem przejściowym urośnie do gigantycznej fortuny po zakończeniu tego czasu. Jednak we współczesnym świecie wielu ludzi nie posiada żadnego majątku. Dotyczy to nie tylko ludzi żyjących w biedzie, ale również niektórych ludzi, którzy dobrze zarabiają lub też mają cenione w społeczeństwie umiejętności, lecz ujemną wartość netto. Dla przykładu: w zamożnej Danii lub Szwecji 30% ludności ma większe długi niż majątek — zwykle są to młodzi przedstawiciele klasy średniej posiadający niewiele zasobów materialnych i zadłużone karty kredytowe lub niespłacone pożyczki studenckie[4]. Nawet gdyby oszczędności pozwalały na zarabianie niezwykle wysokich odsetek, musiałoby istnieć jakieś ziarno pod zasiew, jakiś kapitał początkowy pozwalający na rozpoczęcie akumulacji[5].

Mimo to nawet osoby nieposiadające żadnego osobistego majątku na starcie okresu przejściowego mogłyby się niezwykle wzbogacić. W dobrej sytuacji powinni być na przykład ci, którzy uczestniczą w systemie emerytalnym, publicznym lub prywatnym, zakładając, że system przynajmniej częściowo opiera się na składkach ubezpieczonych gromadzonych na ich kontach indywidualnych[6]. Ci, którzy nie mają nic, mogliby również wzbogacić się dzięki filantropii tych, którzy obserwują raptowne zwiększanie się ich wartości netto — z powodu astronomicznych rozmiarów bonanzy nawet niewielki ułamek majątku bogatych przekazany jako jałmużna dla biednych stałby się w kategoriach bezwzględnych ogromną sumą.

Jest również możliwe, że nadal można byłoby zostać bogaczem dzięki pracy — nawet w fazie, która nastąpi po zakończeniu okresu przejściowego, kiedy to maszyny przewyższą funkcjonalnie ludzi we wszystkich dziedzinach (stając się jednocześnie tańsze niż ludzka praca pozwalająca na zaspokojenie podstawowych potrzeb bytowych). Jak wcześniej zauważono, może do tego dojść, jeśli pozostaną nisze, w których ludzka praca będzie preferowana z powodów estetycznych, ideologicznych, etycznych, religijnych lub innych przyczyn niemających wymiaru praktycznego. W scenariuszu, w którym majątek posiadaczy kapitału dramatycznie wzrasta, zapotrzebowanie na taką pracę może wzrosnąć proporcjonalnie. Świeżo upieczeni bilionerzy lub biliarderzy będą sobie mogli pozwolić na to, by zapłacić krocie za to, że część towarów i usług dostarczają im żywi, ekologiczni pracownicy spod znaku fair trade. I tu znów nasuwa się analogia do koni. Po tym, jak liczebność populacji amerykańskich koni spadła do dwóch milionów we wczesnych latach 50., rozpoczął się jej dynamiczny wzrost — ostatni spis pozwala szacować ich liczbę na nieco poniżej dziesięciu milionów[7]. Wzrost nie wynika z nowo powstałego zapotrzebowania na konie w rolnictwie i transporcie — to raczej wzrost gospodarczy umożliwił wielu Amerykanom uprawianie jazdy konnej dla przyjemności.

Kolejną istotną różnicą pomiędzy ludźmi a końmi — pomijając własność kapitału — jest to, że ludzie są zdolni do politycznej mobilizacji. Kierowany przez ludzi rząd może wykorzystać prawo państwa do ściągania podatków w celu dokonania redystrybucji prywatnych zysków lub też podniesienia dochodów poprzez sprzedaż majątku państwowego, którego wartość wzrosła — jak choćby należącej do skarbu państwa ziemi — i wykorzystania uzyskanych środków finansowych do zapewnienia swoim wyborcom hojnej emerytury. I znów: z powodu eksplozywnego wzrostu gospodarczego podczas fazy przejściowej i tuż po niej ludzkość będzie opływać w bogactwa, co sprawi, że stosunkowo łatwe będzie napełnienie misek wszystkich bezrobotnych obywateli. Dla pojedynczego kraju powinno być wykonalne zapewnienie każdemu człowiekowi na świecie hojnej płacy po kosztach nie wyższych proporcjonalnie od tego, co dziś wiele krajów przeznacza na pomoc zagraniczną[8].

Model maltuzjański w perspektywie historycznej

Dotychczas zakładaliśmy, że liczba ludności na świecie jest stała. W krótkim okresie może być to założenie rozsądne, ponieważ biologia ogranicza tempo ludzkiej reprodukcji. W długim okresie jednakże niekoniecznie tak musi być.

Liczba ludności zwiększyła się tysiąckrotnie na przestrzeni ostatnich 9000 lat[9]. Ten wzrost byłby znacznie szybszy, gdyby nie fakt, że przez znaczną część historii i prehistorii populacja ludzi napotykała ograniczenia światowej gospodarki. Przeważająca część świata tkwiła w modelu maltuzjańskim, w którym większość ludzi otrzymywała dochód wystarczający zaledwie na przeżycie i wychowanie dwójki dzieci do momentu osiągnięcia przez nie dojrzałości[10]. Momenty wytchnienia występowały przejściowo i lokalnie — zarazy, wahania klimatyczne i wojny co pewien czas zbierały żniwo wśród ludności i uwalniały zasoby ziemi, umożliwiając ocaleńcom uzupełnienie niedoborów żywieniowych i wychowanie większej liczby dzieci, dopóki straty w ludziach nie zostały odrobione, co powodowało powrót modelu maltuzjańskiego. Ponadto dzięki nierównościom społecznym cienka warstwa elity mogła się cieszyć nieprzerwanie dochodami znacznie przekraczającymi te, które zapewniały przetrwanie (kosztem pewnego obniżenia całkowitej liczebności populacji, która mogłaby się za to utrzymać). Smutna i niepokojąca jest myśl, że w modelu maltuzjańskim przez większą część naszej historii to susze, plagi, masakry i nierówności społeczne, uznawane powszechnie za najzaciętszych wrogów ludzkiego dobrobytu, odgrywały prawdopodobnie rolę największych filantropów — tylko one umożliwiały od czasu do czasu delikatny wzrost przeciętnego dobrostanu, ni stąd, ni zowąd pozwalającego się nieco wznieść ponad zwykłą mizerię ludzkiego życia, które z trudem dawało się przeżyć.

Na tle lokalnych wahań historia ujawnia makrowzorce początkowo powolnego, lecz przyspieszającego wzrostu gospodarczego, którego motorem była akumulacja innowacji technologicznych. Rosnąca gospodarka światowa pociągnęła za sobą proporcjonalny przyrost globalnej liczby ludności (a ujmując to bardziej precyzyjnie: wydaje się, że sam przyrost liczby ludności silnie przyspieszył tempo wzrostu gospodarczego, być może głównie dzięki spotęgowaniu zbiorowej inteligencji ludzkości)[11]. Dopiero jednak od czasów rewolucji przemysłowej wzrost gospodarczy faktycznie tak przyspieszył, że tempo przyrostu liczby ludności przestało za nim nadążać. Przeciętny dochód zaczął tym samym zwyżkować — najpierw we wcześnie uprzemysłowionych krajach Europy Zachodniej, a później w większości innych państw świata. Nawet w najbiedniejszych dziś krajach przeciętny dochód znacznie przekracza życiowe minimum, czego odzwierciedleniem jest powiększenie się liczby ludności tych krajów.

Najszybsze tempo wzrostu liczby ludności mają dziś kraje najbiedniejsze, mające jeszcze przed sobą ukończenie fazy „przemiany demograficznej” owocującej niższą dzietnością, która stała się normą w krajach bardziej rozwiniętych. Demografowie oceniają, że liczba ludności świata w połowie wieku wzrośnie do około dziewięciu miliardów, a później może się ustabilizować lub zacznie spadać, w miarę jak biedniejsze kraje przyjmą obowiązujący w świecie rozwiniętym standard niskiej dzietności[12]. W wielu bogatych krajach dzietność spadła już poniżej poziomu zapewniającego odtwarzalność pokoleń — w niektórych przypadkach znacznie poniżej[13].

Mimo to istnieją powody — jeśli przyjmiemy dłuższą perspektywę czasową, niezmienność poziomu technologii i nieprzerwany okres prosperity — by oczekiwać powrotu do historycznie i ekologicznie normalnego modelu rządzącego liczbą ludności świata, którego ramy wyznaczają granice możliwości naszej niszy ekologicznej. Choć w świetle odwrotnej zależności między bogactwem a dzietnością, którą dostrzegamy obecnie w skali globalnej, może się to wydawać nieintuicyjne, musimy sobie na powrót uświadomić, że współczesność jest zaledwie wąskim wycinkiem historii stanowiącym w ogromnej mierze odstępstwo od normy. Ludzkie zachowanie nie przystosowało się jeszcze do współczesnych warunków. Nie tylko nie udaje nam się wykorzystać oczywistych metod podniesienia naszego łącznego dostosowania darwinowskiego (takich jak zostanie dawcami spermy i dawczyniami jajeczek), ale też czynnie sabotujemy naszą płodność, stosując środki antykoncepcyjne. W środowisku przystosowań ewolucyjnych zdrowy popęd płciowy mógłby wystarczyć, by skłonić jednostkę do działania w taki sposób, który maksymalizowałby jej potencjał reprodukcyjny. We współczesnym środowisku jednakże ogromną przewagę ewolucyjną dawałoby bardziej bezpośrednie pragnienie zostania biologicznym rodzicem jak największej liczby dzieci. Kryterium współczesnej selekcji jest takie właśnie pragnienie, podobnie jak inne cechy zwiększające naszą skłonność do rozmnażania. Adaptacja kulturowa może jednak ubiec ewolucję biologiczną. Kultura niektórych społeczności, takich jak huteryci czy bezwarunkowo „otwarci na życie” chrześcijanie, promuje wysoką dzietność i duże rodziny, czego konsekwencją jest gwałtowny wzrost liczebny tych społeczności.

Wzrost populacji i inwestycje

Jeśli wyobrazimy sobie współczesne warunki socjoekonomiczne w magiczny sposób zamrożone w ich obecnym kształcie, świat przyszłości zostanie zdominowany przez grupy kulturowe lub etniczne, które zachowają wysoki poziom dzietności. Gdyby większość ludzi dążyła do maksymalizacji swojego dostosowania darwinowskiego we współczesnym otoczeniu, populacja mogłaby bez trudu podwajać się z każdym pokoleniem. Przy braku polityki kontroli urodzeń — która musiałaby stawać się coraz bardziej rygorystyczna i skuteczna, by przeciwdziałać coraz silniejszej woli jej ominięcia — populacja globu wzrastałaby zatem w tempie wykładniczym, dopóki jakieś ograniczenia w rodzaju niedoborów ziemi lub wyczerpania łatwo dostępnych źródeł istotnych innowacji nie uniemożliwiłyby gospodarce dotrzymywania jej kroku. W tym momencie przeciętny dochód zacząłby spadać, dopóki nie osiągnąłby poziomu, na którym dotkliwa nędza uniemożliwiłaby większości ludzi wychowanie do momentu osiągnięcia dojrzałości więcej niż dwójki dzieci. W ten sposób znów niczym budzący przerażenie władca niewolników wzięłaby górę zasada maltuzjańska, kończąc naszą eskapadę do wyśnionego kraju wiecznej obfitości i wiodąc nas z powrotem w kajdanach do kamieniołomów, byśmy znów mogli podjąć żmudną walkę o przetrwanie.

To dość długofalowe spojrzenie można by umieścić w bliższej perspektywie dzięki eksplozji inteligencji. Ponieważ programy można kopiować, populacja emulacji lub sztucznych inteligencji może się gwałtownie podwajać — nie tyle w ciągu wieków czy dekad, ile minut — wyczerpując w krótkim czasie całość dostępnego sprzętu.

Częściową ochronę przed powszechnym zapanowaniem modelu maltuzjańskiego może stanowić własność prywatna. Wyobraźmy sobie prosty model, w którym klany (lub też zamknięte społeczności czy państwa) startują z rozmaitej wielkości majątkiem i niezależnie przyjmują odmienne polityki dotyczące reprodukcji i inwestycji. Niektóre klany szybko trwonią swoją przyszłość i wydają całość posiadanego wiana, po czym ich zubożali członkowie wstępują w szeregi globalnego proletariatu (lub też umierają, jeśli nie są w stanie się utrzymać dzięki pracy własnych rąk). Inne klany inwestują część zasobów, ale przyjmują politykę nieograniczonej reprodukcji — takie klany wzrastają liczebnie do momentu, w którym nie staną się wewnętrznie zgodne z modelem maltuzjańskim, kiedy to ich członkowie tak biednieją, że umierają niemal w tym samym tempie, w jakim się rodzą; wówczas tempo wzrostu populacji klanu spada, by zrównać się z tempem wzrostu jego zasobów. Jeszcze inne klany mogą ograniczyć swoją dzietność poniżej tempa wzrostu swojego majątku — liczebność takich klanów może wzrastać powoli, podczas gdy ich członkowie stają się coraz bogatsi per capita.

Jeśli bogactwo jest redystrybuowane i przepływa od klanów bogatych do członków klanów szybko mnożących się lub szybko trwoniących swoje bogactwo (których dzieci, kopie lub potomkowie, choć nie z własnej winy, zostały rzucone w świat z majątkiem niewystarczającym do tego, aby przetrwać i się rozwinąć), wówczas ostateczny kształt świata bliższy będzie uniwersalnemu modelowi maltuzjańskiemu. W tym szczególnym przypadku wszyscy członkowie wszystkich klanów otrzymają dochód umożliwiający przeżycie na minimalnym poziomie i wszyscy będą sobie równi w swej nędzy.

Jeśli własność nie jest redystrybuowana, roztropne i oszczędne klany mogą zatrzymać pewną ilość kapitału i możliwe, że ich majątek wzrośnie w kategoriach bezwzględnych. Nie jest jednakże jasne, czy ludzie będą potrafili zapewnić sobie równie wysoki zwrot ze swojego kapitału jak myślące maszyny ze swojego, ponieważ pomiędzy pracą a kapitałem może zachodzić taka synergia, że pojedynczy inteligentny byt, który potrafi dostarczyć i jedno, i drugie (na przykład przedsiębiorca czy inwestor, który ma zarówno kapitał, jak i umiejętności), może uzyskać prywatną stopę zwrotu na kapitale przekraczającą stopy rynkowe możliwe do uzyskania przez byt dysponujący środkami finansowymi, lecz nie kognitywnymi. Ludzie, jako mniej zdolni od myślących maszyn, mogą zatem pomnażać swój majątek wolniej — jeśli oczywiście problem kontroli nie został całkowicie rozwiązany, w którym to przypadku ludzka stopa zwrotu równałaby się maszynowej stopie zwrotu, ponieważ ludzki zwierzchnik mógłby wyznaczyć maszynowemu agentowi zadanie zarządzania swoimi oszczędnościami i mógłby to zrobić, nie ponosząc żadnych kosztów i nie popadając w konflikt interesów. W innym jednak przypadku w tym scenariuszu ułamek gospodarki będący w posiadaniu maszyn zbliżałby się asymptotycznie do 100%.

Scenariusz, w którym ułamek gospodarki będący w posiadaniu maszyn asymptotycznie zbliża się do 100%, niekoniecznie jest jedynym, w którym wielkość ludzkiego kawałka tortu się zmniejsza. Jeśli gospodarka rośnie wystarczająco szybko, wówczas nawet relatywnie kurczący się jej ułamek może nadal rosnąć w kategoriach bezwzględnych. Z punktu widzenia ludzkości może się to wydawać wiadomością umiarkowanie dobrą. W scenariuszu wielobiegunowym, w którym chronione są prawa własności — nawet jeśli zupełnie nie uda się nam rozwiązać problemu kontroli — całkowita suma majątku będącego w posiadaniu istot ludzkich mogłaby się zwiększać. Oczywiście ten efekt nie rozwiązywałby problemu wzrostu liczby ludności w sytuacji, w której ciągnąłby on dochód per capita w dół, do poziomu zapewniającego zaledwie przeżycie, ani też problemu ludzi popadających w ruinę z powodu zbyt szybkiego przejedzenia dochodów z przyszłości.

W długim okresie gospodarkę coraz bardziej zdominowałyby te klany, które mają najwyższą stopę oszczędności — będący w posiadaniu połowy miasta skąpcy żyjący pod mostem. Dopiero gdy dopełni się czas i gdy nie będzie już więcej okazji dokonywania inwestycji, najzamożniejsi skąpcy zaczną sięgać do swoich oszczędności[14]. Jeśli jednak ochrona praw własności nie będzie idealna — dla przykładu: jeśli bardziej efektywnym maszynom uda się takim czy innym sposobem przetransferować należący do ludzi majątek na swoje konta — wówczas ludzcy kapitaliści mogą być zmuszeni naruszyć swoje rezerwy znacznie wcześniej, zanim zostaną one uszczuplone tego rodzaju transferami (lub bieżącymi kosztami ponoszonymi na zabezpieczenie swoich bogactw przed takimi transferami). Gdyby do takiego rozwoju wypadków doszło nie w biologicznej, lecz w cyfrowej skali czasowej, powolni jak ślimaki ludzie zostaliby wywłaszczeni, zanim by się obejrzeli[15].

Życie w gospodarce algorytmicznej

Życie biologicznych istot ludzkich w poprzejściowej epoce maltuzjańskiej nie musi przypominać życia w jakimkolwiek innym okresie znanym z historii ludzkości (kiedy to prowadziliśmy łowiecko-zbieracki, rolniczy lub biurowy tryb życia). W tym scenariuszu większość ludzi mogłaby prowadzić bezczynny żywot rentierów, z trudem wiążących koniec z końcem dzięki swoim oszczędnościom[16]. Ludzie ci byliby bardzo biedni, lecz swój niewielki dochód czerpaliby ze swych oszczędności lub zasiłków państwowych. Żyliby w świecie dysponującym niezwykle zaawansowaną technologią obejmującą nie tylko superinteligentne maszyny, lecz również leki opóźniające starzenie, rzeczywistość wirtualną, rozmaite technologie zwiększające potencjał człowieka i środki zapewniające mu uczucie przyjemności, lecz zasadniczo na żadną z tych rzeczy nie mogliby sobie pozwolić. Być może zamiast zażywać farmaceutyki pozwalające im zwiększyć ich potencjał, zażywaliby leki zatrzymujące wzrost i spowalniające metabolizm, dzięki którym mogliby obniżyć koszty życia (ci o szybkim metabolizmie nie byliby w stanie przetrwać, dysponując stopniowo zmniejszającym się dochodem zapewniającym zaledwie przeżycie na minimalnym poziomie). W miarę dalszego wzrostu liczby ludności i spadku przeciętnych dochodów moglibyśmy zdegenerować się do jakiejś formy przetrwalnej kwalifikującej się jeszcze do otrzymania zasiłku — może na przykład zachowujących śladową świadomość mózgów umieszczonych w kadziach, odżywianych i natlenianych przez maszyny, powoli oszczędzających na zabieg reprodukcji polegający na stworzeniu przez robotycznego technika naszego klona[17].

Dalsze oszczędności można by osiągnąć metodami transferu, ponieważ zoptymalizowany fizycznie substrat obliczeniowy, opracowany przez zaawansowaną superinteligencję, byłby bardziej wydajny niż biologiczny mózg. Migracja do królestwa cyfrowego mogłaby jednak zostać zahamowana, gdyby emulacje uznano za nieludzi lub nieobywateli nieuprawnionych do otrzymywania zasiłku lub posiadania zwolnionych od podatku kont oszczędnościowych. W tym przypadku nisza dla biologicznych istot ludzkich mogłaby pozostać otwarta, współistniejąc z prawdopodobnie znacznie większą populacją emulacji i myślących maszyn.

Dotychczas skupialiśmy się na losie ludzi, którzy mogą się utrzymać przy życiu dzięki oszczędnościom, zasiłkom lub wynagrodzeniom otrzymywanym od innych ludzi, którzy wolą zatrudniać istoty ludzkie. Zajmijmy się teraz niektórymi wyodrębnionymi jednostkami, do tej pory klasyfikowanymi przez nas jako „kapitał” — maszynami, które mogą być własnością ludzi, a które zostały skonstruowane z myślą o realizacji pewnych funkcji i wykonują powierzone im zadania, a do tego są zdolne w bardzo wielu obszarach zastąpić pracę ludzi. Jaka może być sytuacja tych koni roboczych w nowej gospodarce?

Gdyby maszyny były zwykłymi automatami, zwykłymi urządzeniami jak silnik parowy lub mechanizm zegara, nie musielibyśmy rozwijać tego tematu — w gospodarce poprzejściowej będzie duża ilość takiego kapitału, lecz dla nikogo nie będzie mieć zapewne żadnego znaczenia, jakim torem potoczą się losy pozbawionego uczuć sprzętu. Gdyby jednak maszyny obdarzone były świadomością — gdyby zostały skonstruowane w taki sposób, że ich działania związane są z posiadaniem świadomości zmysłowej (lub też gdyby z jakichś innych powodów przypisano im status moralny) — wówczas nabrałoby dużego znaczenia przemyślenie całościowych następstw tej sytuacji i zastanowienie się, w jaki sposób wpłynie ona na umysły tych maszyn. Dobrostan umysłów pracujących maszyn mógłby się nawet jawić jako najważniejszy aspekt dokonującej się przemiany, gdyż maszyny mogłyby dominować liczebnie.

Ochotnicze niewolnictwo, zwykła śmierć

Pierwsze i zasadnicze pytanie brzmi: czy te umysły pracujących maszyn znajdują się w czyimś posiadaniu jako kapitał (niewolnicy) czy też są wynajmowane niczym wolni pracownicy najemni? Przy bliższej analizie staje się jednak wątpliwe, czy odpowiedź na to pytanie pociąga za sobą jakiekolwiek implikacje. Istnieją ku temu dwa powody. Po pierwsze, jeśli wolny robotnik w modelu maltuzjańskim otrzymuje wynagrodzenie zapewniające mu przeżycie na minimalnym poziomie, to po opłaceniu jedzenia i innych artykułów pierwszej potrzeby nie pozostanie mu żaden dochód rozporządzalny. Jeśli natomiast pracownik jest niewolnikiem, jego właściciel zapłaci za jego utrzymanie i znów on sam nie będzie dysponował żadnym dochodem rozporządzalnym. Tak czy inaczej robotnik otrzymuje artykuły pierwszej potrzeby i nic poza tym. Po drugie, załóżmy, że wolny najemnik znajdzie się w sytuacji pozwalającej mu uzyskać dochód przekraczający jego elementarne potrzeby (być może w wyniku korzystnych regulacji). Jak wyda nadwyżkę? Inwestorzy uznają za bardziej dochodowe stworzenie pracowników, którzy zostaną „ochotniczymi niewolnikami”, chętnie pracującymi za płacę zapewniającą przeżycie. Inwestorzy mogą stworzyć takich pracowników, kopiując tych, którzy są posłuszni. Przy odpowiednim doborze (i być może pewnych modyfikacjach kodu) inwestorzy mogą być w stanie stworzyć pracowników, którzy nie tylko wolą pracować ochotniczo, ale również zdecydują się przekazać swoim właścicielom każdą wypracowaną przez siebie nadwyżkę, którą mogliby przypadkowo otrzymać. Przekazanie pieniędzy pracownikowi byłoby zatem jedynie okrężną drogą przekazania ich właścicielowi lub pracodawcy, nawet gdyby pracownik był wolnym bytem dysponującym pełnią praw.

Być może podniesiony zostanie sprzeciw, że trudno byłoby zaprojektować maszynę w taki sposób, by chciała zgłosić się na ochotnika do wykonania każdej powierzonej jej pracy lub chciała przekazywać swoje zarobki właścicielowi. Zwłaszcza emulacje można by sobie wyobrażać jako byty mające bardziej typowo ludzkie pragnienia. Zauważmy jednak, że nawet jeśli pierwotny problem kontroli jest trudny do rozwiązania, rozważamy tutaj warunki panujące po okresie przejściowym — epokę, w której metody doboru motywacji zostały z założenia doprowadzone do perfekcji. W przypadku emulacji można zajść całkiem daleko, po prostu dokonując wyboru spośród istniejących wcześniej ludzkich charakterów — a opisaliśmy też kilka innych metod doboru motywacji. Problem kontroli można również pod pewnymi względami uprościć, dokonując aktualnego założenia, że nowe myślące maszyny wkraczają w stabilny kontekst socjoekonomiczny, w którym funkcjonują już inne przestrzegające prawa superinteligentne byty.

Rozważmy zatem niedolę maszyny z klasy pracującej, niezależnie od tego, czy będzie ona działać jako niewolnik, czy jako wolny byt. Skoncentrujemy się najpierw na emulacjach — przypadku, który najłatwiej sobie wyobrazić.

Powołanie na świat nowego biologicznego, ludzkiego pracownika zajmuje od piętnastu do trzydziestu lat, zależnie od tego, jakiej wiedzy i doświadczenia od niego wymagamy. W tym czasie tę nową osobę należy karmić, pielęgnować i kształcić, zapewniając jej przy tym odpowiednie schronienie, co wymaga poniesienia znaczących kosztów. Natomiast wyprodukowanie nowej kopii cyfrowego pracownika jest równie łatwe jak załadowanie nowego programu do pamięci roboczej. Życie zatem staje się tanie. Biznes może nieprzerwanie dostosowywać swoją siłę roboczą do powstającego popytu, produkując nowe egzemplarze i likwidując egzemplarze, które nie są już potrzebne, by uwolnić zasoby komputerowe. Może to prowadzić do bardzo wysokiej śmiertelności wśród cyfrowych pracowników. Wielu może żyć zaledwie przez jeden dzień czasu subiektywnego.

Istnieją przyczyny wykraczające poza wahania popytu, dla których pracodawcy lub właściciele emulacji mogą chcieć często „zabijać” lub „przerywać” swoich pracowników[18]. Jeśli emulacyjny umysł, niczym umysł biologiczny, wymagać będzie dla właściwego funkcjonowania okresów wypoczynku i snu, tańsze może się okazać kasowanie pod koniec dnia zmęczonej emulacji i zastępowanie jej przechowywaną w zapasie emulacją świeżą i wypoczętą. Ponieważ ta procedura spowoduje wsteczną niepamięć o wszystkim, czego się nauczono w ciągu dnia, emulacjom wykonującym zadania wymagające długich toków rozumowania zostanie oszczędzone tak częste kasowanie. Trudno byłoby na przykład napisać książkę, gdyby każdego ranka siadający przy biurku człowiek nie pamiętał nic z tego, co napisał wcześniej. Ale inne prace mogą być wykonywane adekwatnie przez inteligentne systemy poddawane częstemu recyklingowi — raz wyszkolonemu ekspedientowi lub pracownikowi biura obsługi klienta wystarczyłoby dwadzieścia minut na przypomnienie sobie wszystkich potrzebnych informacji.

Ponieważ recykling emulacji uniemożliwiłby powstawanie wspomnień i kształtowanie się umiejętności, niektóre emulacje można byłoby umieścić na specjalnych ścieżkach kształcenia, na których działałyby nieprzerwanie, wliczając w to odpoczynek i sen, nawet w pracach niestawiających restrykcyjnego wymogu długich ciągów rozumowania. Dla przykładu: niektórzy pracownicy obsługi klienta mogliby pracować przez wiele lat w zoptymalizowanych środowiskach uczenia się, wspierani przez trenerów i ekspertów oceniających ich wyniki. Najlepsi z nich zostaliby później wykorzystani jako egzemplarze rozpłodowe, służąc za matryce, z których każdego dnia można byłoby produkować miliony nowych egzemplarzy. Mnóstwo wysiłku włożono by w poprawę wyników takich wzorcowych pracowników, ponieważ nawet niewielkie podniesienie ich produktywności dawałoby ogromną wartość gospodarczą dzięki powieleniu w milionach kopii.

Równolegle z trudem szkolenia wzorcowych pracowników pod kątem konkretnej pracy podejmowano by intensywne wysiłki na rzecz poprawy leżącej u podstaw emulacji. Postępy w tej dziedzinie byłyby jeszcze cenniejsze niż udoskonalenia wprowadzane we wzorcowych pracownikach, ponieważ ogólne usprawnienia technologii mogłyby zostać zastosowane w odniesieniu do wszystkich emulowanych pracowników (a potencjalnie również do emulacji niepracujących), a nie tylko do tych wykonujących konkretne zajęcie. Gigantyczne zasoby poświęcono by na znalezienie obliczeniowych dróg na skróty pozwalających uzyskać bardziej efektywne implementacje istniejących emulacji, jak również na rozwój neuromorficznych i całkowicie syntetycznych architektur SI. Te badania byłyby prawdopodobnie wykonywane głównie przez emulacje pracujące na bardzo szybkim sprzęcie. Zależnie od cen mocy obliczeniowej, miliony, miliardy lub biliony emulacji najtęższych ludzkich umysłów badawczych (lub ich udoskonalonych wersji) pracowałyby na okrągło nad przesuwaniem granic maszynowej inteligencji; a niektóre z nich mogłyby działać wiele rzędów wielkości szybciej niż mózgi biologiczne[19]. To dobry powód, by sądzić, że epoka człekopodobnych emulacji będzie krótka — stanowiąc zaledwie bardzo krótki przerywnik w kategoriach czasu gwiezdnego — i wkrótce ustąpi epoce znacznie przewyższającej ją sztucznej inteligencji.

Wyliczyliśmy już kilka powodów, dla których pracodawcy zatrudniający emulowanych pracowników mogą okresowo przetrzebiać swoje stada — wahania popytu na różne rodzaje pracowników, oszczędność kosztów wynikająca z braku konieczności emulowania czasu snu i odpoczynku oraz wprowadzenie nowych i udoskonalonych wzorców. Kolejnych powodów mogą dostarczyć obawy o kwestie bezpieczeństwa. Aby zapobiec zawiązywaniu przez pracowników spisków i opracowywaniu wywrotowych planów, emulacje piastujące wrażliwe stanowiska mogą być uruchamiane tylko na ograniczony czas i często resetowane do zapisanego wcześniej stanu gotowości[20].

Te stany gotowości, do których emulacje byłyby resetowane, byłyby starannie przygotowywane i weryfikowane. Typowa krótkotrwała emulacja mogłaby się budzić z wypoczętym umysłem zoptymalizowanym pod kątem lojalności i produktywności. Pamiętałaby, że ukończyła z wyróżnieniem naukę w swojej klasie po wielu (subiektywnych) latach intensywnego szkolenia i selekcji, po czym mogła się cieszyć przywracającymi energię wakacjami i głębokim, nocnym snem, następnie wysłuchała motywującego do pracy przemówienia i pobudzającej muzyki, a teraz z niecierpliwością oczekuje, by wreszcie skierowano ją do pracy, by mogła zrobić dla swojego pracodawcy, co tylko w jej mocy. Nie niepokoją jej nadmiernie myśli o nieuchronnej śmierci pod koniec dnia pracy. Emulacje owładnięte neurotycznymi myślami o śmierci i innymi problemami byłyby mniej produktywne i z tego względu nie zostałyby wyselekcjonowane[21].

Czy maksymalnie efektywna praca byłaby zabawna?

Jedną z istotnych zmiennych w ocenie pożądalności takiej hipotetycznej sytuacji jest hedonistyczny dobrostan przeciętnej emulacji[22]. Czy przeciętny emulowany pracownik cierpiałby czy też cieszyłoby go doświadczenie ciężkiej pracy nad aktualnie wykonywanym zadaniem?

Musimy się oprzeć pokusie projektowania własnych uczuć na wyobrażonego, emulowanego pracownika. Pytanie nie brzmi: „Czy my czulibyśmy się szczęśliwi, gdybyśmy musieli cały czas pracować i nigdy nie spędzalibyśmy czasu ze swoimi bliskimi?”. Większość z nas zgodziłaby się, że to koszmarny los.

Nieco istotniejsze jest rozważenie przeciętnych hedonistycznych doświadczeń współczesnego człowieka w czasie godzin pracy. W badaniach prowadzonych na całym świecie, w których respondenci są pytani o poziom ich szczęścia, stwierdza się, że większość z nich ocenia samych siebie jako „całkiem szczęśliwych” lub „bardzo szczęśliwych” (przeciętnie 3,1 na skali od 1 do 4)[23]. Badania przeciętnego wpływu rozmaitych czynników na dobrostan, podczas których to sondaży respondenci są pytani, jak często ostatnio doświadczali rozmaitych pozytywnych lub negatywnych stanów afektywnych, dają zazwyczaj podobne wyniki (efekt netto na poziomie około 0,52 na skali od –1 do 1). Dochód per capita danego kraju wywiera umiarkowanie pozytywny wpływ na przeciętny subiektywny dobrostan[24]. Niebezpieczne jest jednak ekstrapolowanie tych wyników na hedonistyczny stan przyszłych emulowanych pracowników. Jednym z powodów, które można by było podać, jest to, że warunki działania emulowanych pracowników byłyby zupełnie odmienne — po pierwsze, mogliby pracować znacznie ciężej, po drugie mogliby nie padać ofiarą chorób, głodu, trujących oparów i tak dalej. A jednak takie rozważania w dużej mierze mijają się z celem. Znacznie istotniejsze znaczenie ma to, że poziom odczuwanej przyjemności łatwo byłoby dostroić dzięki cyfrowemu odpowiednikowi narkotyków lub neurochirurgii. Oznacza to, że błędem byłoby wnioskowanie o hedonistycznym stanie przyszłych symulacji na podstawie zewnętrznych warunków ich życia poprzez wyobrażanie sobie, jak my sami — lub inni, podobni do nas ludzie — czulibyśmy się w tych okolicznościach. Poziom subiektywnie odczuwanej przyjemności byłby kwestią wyboru. W modelu, który aktualnie rozważamy, wybór byłby dokonywany przez właścicieli kapitału dążących do maksymalizacji zwrotu z inwestycji w emulowanych pracowników. W konsekwencji pytanie o to, jak szczęśliwe są emulacje, sprowadzałoby się do pytania o to, jaki poziom subiektywnie odczuwanego szczęścia pozwala osiągnąć największą produktywność (w rozmaitych pracach, do wykonania których byłyby zatrudniane emulacje).

I znów, można dążyć do wyciągnięcia wniosków z obserwacji na temat ludzkiego szczęścia. Jeśli tak rzeczywiście jest, że niezależnie od czasu, miejsca i zajęcia ludzie są zazwyczaj przynajmniej umiarkowanie szczęśliwi, to daje to podstawę przypuszczać, że to samo się będzie odnosić do scenariusza poprzejściowego w rodzaju tego, który właśnie rozważamy. Dla jasności: w tym przypadku argument nie będzie polegał na tym, że ludzkie umysły są naturalnie predysponowane do odczuwania szczęścia, dzięki czemu uda im się prawdopodobnie osiągnąć pewien poziom zadowolenia również w tych nowych warunkach, lecz raczej na tym, że pewien średni poziom szczęścia okazał się stwarzać ludzkim umysłom przewagę adaptacyjną w przeszłości, więc być może podobny poziom szczęścia okaże się korzystnym przystosowaniem dla umysłów podobnych ludzkim w przyszłości. Mimo to sformułowanie wniosku w ten sposób ujawnia jego słabości — dyspozycja mentalna będąca korzystnym przystosowaniem dla hominidów prowadzących łowiecko-zbieracki tryb życia na afrykańskiej sawannie niekoniecznie musi być korzystna przystosowawczo dla zmodyfikowanych emulacji żyjących w poprzejściowych rzeczywistościach wirtualnych. Możemy z pewnością mieć nadzieję, że przyszli emulowani pracownicy będą równie szczęśliwi jak typowi robotnicy w historii ludzkości albo jeszcze szczęśliwsi, ale nie dostrzegliśmy jeszcze żadnych przekonujących powodów, dla których można byłoby zakładać, że tak właśnie będzie (w leseferystycznym scenariuszu wielobiegunowym, który aktualnie analizujemy).

Rozważmy możliwość, że powodem, dla którego uczucie szczęścia jest tak rozpowszechnione wśród ludzi (niezależnie od tego, w jak ograniczonym zakresie jest rozpowszechnione), jest to, że radosny nastrój pełni funkcję sygnału w środowisku przystosowań ewolucyjnych. Robienie na innych członkach grupy społecznej wrażenia, że jest się w kwitnącej kondycji — w dobrym zdrowiu, w dobrych stosunkach z rówieśnikami, zapewne oczekując dalszego pomyślnego rozwoju wypadków — może potęgować popularność danej jednostki. A zatem dobór mógł faworyzować jednostki radosne, w efekcie czego ludzka neurochemia jest teraz skrzywiona w kierunku pozytywnym w porównaniu z tym, co byłoby maksymalnie efektywne według prostszych kryteriów materialistycznych. Jeśli tak rzeczywiście było, wówczas przyszłość radości życia jako takiej mogłaby zależeć od tego, czy radość życia zachowałaby swoją niezmienną sygnalizacyjną funkcję społeczną w świecie po przemianach. Do tej kwestii wkrótce powrócimy.

A jeśli szczęśliwe duszyczki trwonią więcej energii niż ponure? Być może ci, których rozpiera radość, łatwiej wpadają na twórcze pomysły i częściej oddają się mrzonkom — przyszły pracodawca może potępiać tego rodzaju zachowania u większości swoich pracowników. Być może na większości stanowisk posępna lub nerwowa fiksacja na zwykłym bezbłędnym wykonywaniu pracy okaże się postawą maksymalizującą produktywność. Nie twierdzimy tutaj, że tak jest, lecz że nie wiemy, czy tak nie jest. Mimo to powinniśmy się po prostu zastanowić, jak byłoby fatalnie, gdyby tego rodzaju pesymistyczne hipotezy dotyczące przyszłego modelu maltuzjańskiego okazały się prawdą — nie tylko ze względu na alternatywny koszt nieudanego stworzenia czegoś lepszego, który byłby ogromny, ale i ze względu na to, że ten model sam w sobie byłby zły, być może znacznie gorszy niż pierwotny model maltuzjański.

Rzadko pracujemy ze wszystkich sił. Kiedy już to robimy, czasem okazuje się to bolesne. Wyobraź sobie stromy podbieg na bieżni — serce wali jak młotem, mięśnie bolą, płuca z trudem chwytają powietrze. Rzut oka na czasomierz: następną przerwę, która przy okazji będzie momentem Twojej śmierci, będziesz miał za 49 lat, 3 miesiące, 20 dni, 4 godziny, 56 minut i 12 sekund. Żałujesz, że w ogóle się urodziłeś.

I znów, nie twierdzimy, że tak się z pewnością stanie, ale że nie wiemy, czy tak się nie stanie. Można z pewnością wypracować bardziej optymistyczny scenariusz. Na przykład: nie ma żadnego oczywistego powodu, dla którego emulacje musiałyby znosić obrażenia cielesne czy choroby — eliminacja fizycznej niedoli poprawiłaby znacząco sytuację w odniesieniu do aktualnego stanu rzeczy. Co więcej, ponieważ elementy wirtualnej rzeczywistości mogą być dość tanie, emulacja może pracować w bardzo wystawnym otoczeniu — we wspaniałych pałacach umieszczonych na szczycie góry, na tarasach ustawionych w bujnie rozkwitającym wiosennym gaju albo na plażach lazurowej laguny — przy odpowiednim oświetleniu, temperaturze, scenerii i wystroju wnętrza, z dala od irytujących wyziewów, hałasów, suszy czy bzyczących owadów, odziana w wygodne ubranie, czująca się czysto i świeżo, skoncentrowana i dobrze odżywiona. Bardziej znaczące jest to, że jeśli — co wydaje się absolutnie możliwe — optymalnym stanem ludzkiego umysłu zapewniającym produktywność w większości prac jest radosna gorliwość, wówczas era gospodarki emulacyjnej może być okresem iście rajskim.

Tak czy inaczej ogromną opcjonalną wartość miałoby zorganizowanie spraw w taki sposób, by ktoś mógł lub coś mogło podjąć interwencję mającą na celu pchnięcie spraw na właściwy tor, gdyby domyślna trajektoria zaczęła z jakiegoś powodu zmierzać w kierunku dystopii. Pożądane mogłoby być również posiadanie jakiejś awaryjnej drogi ucieczki, która pozwoliłaby osunąć się w śmierć i zapomnienie, gdyby jakość życia miała trwale spaść poniżej poziomu, na którym anihilacja stałaby się wyborem korzystniejszym niż dalsza egzystencja.

Nieświadomi outsourcerzy?

W dłuższym okresie, w miarę jak era emulacji ustępowałaby erze sztucznej inteligencji (lub też gdyby myślące maszyny stworzono bezpośrednio poprzez SI, pominąwszy cały etap transferu umysłu), w scenariuszu wielobiegunowym ból i przyjemność mogłyby całkowicie zniknąć, gdyż mechanizm hedonistycznej nagrody mógłby nie okazać się najbardziej efektywnym systemem motywacyjnym dla złożonego sztucznego bytu (którego w przeciwieństwie do ludzkiego umysłu nie obciąża dziedzictwo zwierzęcej powłoki). Może bardziej zaawansowany system motywacyjny opierałby się na wyraźnej reprezentacji funkcji użyteczności lub jakiejś innej architekturze niemającej ścisłej analogii funkcjonalnej do przyjemności i bólu.

Powiązany z tym, lecz lekko bardziej radykalny scenariusz wielobiegunowy — taki, który mógłby polegać na eliminacji z przyszłości prawie wszystkich wartości — opiera się na przypuszczeniu, że wszechświatowy proletariat nie będzie nawet miał świadomości. Ta możliwość jest najistotniejsza w odniesieniu do SI, która może mieć strukturę całkowicie odmienną od ludzkiej inteligencji. Ale nawet jeśli myślące maszyny dałoby się początkowo uzyskać poprzez emulację mózgu, czego efektem byłyby świadome umysły cyfrowe, wówczas siły konkurencyjne uwolnione w gospodarce poprzejściowej mogłyby z łatwością doprowadzić do powstania stopniowo coraz mniej neuromorficznych postaci myślących maszyn, czy to ze względu na to, że syntetyczna SI jest tworzona de novo, czy też dlatego, że emulacje mogłyby dzięki kolejnym modyfikacjom i usprawnieniom stopniowo coraz bardziej odchodzić od swej pierwotnej ludzkiej formy.

Rozważmy scenariusz, w którym po opracowaniu technologii emulacji ciągły postęp w dziedzinie neurobiologii i informatyki (przyspieszony obecnością cyfrowych umysłów odgrywających rolę zarówno badaczy, jak i przedmiotów badań) umożliwia wyizolowanie w emulacji jednostkowych modułów kognitywnych i powiązanie ich z modułami wyizolowanymi z innych emulacji. Efektywna współpraca różnych modułów może wymagać wcześniejszego okresu szkolenia i dopasowywania, ale moduły zgodne z wspólnymi standardami mogą szybciej nawiązywać skuteczne połączenia z innymi standardowymi modułami. W ten sposób standaryzacja modułów zwiększyłaby produktywność i stworzyłaby presję sprzyjającą dalszej standaryzacji.

Emulacje mogą teraz zacząć outsourcować coraz większe fragmenty swojej funkcjonalności. Po co uczyć się arytmetyki, kiedy można wysłać swoje zadanie wymagające rozumowania matematycznego do Moduły Gaussa sp. z o.o.? Po co się silić na elokwencję, kiedy można wynająć Muzy Mickiewicza, by pomogły ująć myśli w słowa? Po cóż podejmować decyzje dotyczące życia osobistego, gdy istnieją certyfikowane moduły zarządcze, które mogą zeskanować hierarchię celów i wartości zainteresowanego i wesprzeć go w zarządzaniu jego zasobami w taki sposób, by mógł osiągnąć swoje cele lepiej, niż gdyby próbował to zrobić samodzielnie? Niektóre emulacje mogą preferować zachowanie większej części swojej funkcjonalności i samodzielne radzenie sobie z zadaniami, które mogłyby być wykonane efektywniej przez innych. Te emulacje będą przypominać hobbystów, których bawi uprawianie własnych warzyw czy dzierganie sobie swetrów. Takie hobbystyczne emulacje będą mniej efektywne i jeśli tylko będzie dochodzić do przepływów netto zasobów od mniej do bardziej efektywnych uczestników gospodarki, hobbyści w końcu przegrają.

Tym samym kostki rosołowe jednostkowych umysłów podobnych ludzkim rozpłyną się w algorytmicznej zupie.

Można sobie wyobrazić, że optymalna efektywność zostanie uzyskana poprzez zebranie zdolności w agregaty, które z grubsza odpowiadają architekturze poznawczej ludzkiego umysłu. Może się tak na przykład zdarzyć, że moduł matematyczny będzie musiał zostać przykrojony do modułu językowego, następnie oba będą musiały zostać dopasowane do modułu zarządczego, aby te trzy moduły mogły ze sobą współpracować. Kognitywny outsourcing okazałby się wówczas prawie całkowicie niewykonalny. Ale wobec braku jakichkolwiek przekonujących powodów, dla których moglibyśmy być pewni, że tak rzeczywiście jest, musimy brać pod uwagę możliwość, że architektury poznawcze podobne ludzkim są optymalne tylko w ramach ograniczeń ludzkiej neurologii (albo wcale nie są). Kiedy stanie się możliwe budowanie architektur, które nie mogłyby zostać dobrze zaimplementowane w biologicznych sieciach neuronowych, otworzy się przestrzeń dla nowych projektów. Globalne optima w tej rozszerzonej przestrzeni nie muszą wcale przypominać znanych nam rodzajów umysłowości. W konkurencyjnej, poprzejściowej gospodarce czy ekosystemie zabrakłoby wówczas niszy dla organizacji kognitywnej podobnej ludzkiej[25].

Mogłyby istnieć nisze dla kompleksów, które są albo mniej złożone (jak jednostkowe moduły), albo bardziej złożone (jak rozległe klastry modułów), lub odpowiadają poziomem złożoności ludzkiemu umysłowi, lecz mają radykalnie odmienną architekturę. Czy takie kompleksy miałyby jakiekolwiek wrodzone wartości? Czy powinniśmy przywitać z radością świat, w którym takie obce byty zastąpią ludzi?

Odpowiedź może zależeć od konkretnej natury tych obcych bytów. Współczesny świat ma wiele poziomów organizacji. Dla niektórych wysoce złożonych tworów, takich jak korporacje ponadnarodowe czy państwa narodowe, ludzie są częściami składowymi — mimo to przypisujemy tym wysoko poziomowym kompleksom jedynie wartość instrumentalną. Korporacje i państwa nie mają (jak się na ogół przyjmuje) świadomości istniejącej poza i ponad świadomością konstytuujących je ludzi — nie potrafią odczuwać bólu, przyjemności czy też doświadczać jakichkolwiek qualia. Cenimy je w takim zakresie, w jakim służą zaspokajaniu ludzkich potrzeb, a kiedy przestają to robić, „zabijamy” je bez skrupułów. Istnieją również byty niższego poziomu i tym również zazwyczaj odmawia się statusu moralnego. Nie dostrzegamy, by robiło komukolwiek krzywdę usunięcie aplikacji ze smartfonu i nie sądzimy, by neurochirurg robił komukolwiek krzywdę, wycinając źle funkcjonujący moduł z mózgu epileptyka. Jeśli chodzi o egzotycznie zorganizowane struktury na poziomie odpowiadającym ludzkiemu mózgowi, to większość z nas prawdopodobnie uznałaby, że mają one moralne znaczenie tylko wówczas, gdy naszym zdaniem mają zdolność lub potencjał świadomego doświadczania świata[26].

Możemy sobie zatem wyobrazić w skrajnym przypadku technologicznie wysoce zaawansowane społeczeństwo obejmujące wiele złożonych struktur, z których część będzie znacznie bardziej skomplikowana i inteligentna od wszystkiego, co istnieje współcześnie na naszej planecie — społeczeństwo, w którym mimo to nie występują jakiekolwiek byty, które byłyby świadome lub których dobrostan miałby znaczenie moralne. W tym sensie byłoby to społeczeństwo bezludne. Byłoby to społeczeństwo gospodarczego cudu i technicznej wyjątkowości, z którego nikt nie czerpałby pożytku. Disneyland bez dzieci.

Ewolucja niekoniecznie przebiega wzwyż

Słowo „ewolucja” jest często używane zamiennie ze słowem „postęp”, co być może odzwierciedla powszechny bezkrytyczny odbiór rewolucji jako siły wiodącej ku dobru. Źle ulokowana wiara w naturalną dobroczynność procesu ewolucyjnego może utrudnić uczciwą ocenę pożądalności scenariusza wielobiegunowego, w którym przyszłość inteligentnego życia określa dynamika konkurencyjności. Każda taka ocena musi się opierać na pewnej (a przynajmniej domniemanej) opinii dotyczącej rozkładu prawdopodobieństwa rozmaitych fenotypów, które okażą się dobrze przystosowane do funkcjonowania w cyfrowej zupie życia w okresie poprzejściowym. Trudno byłoby w najbardziej nawet sprzyjających okolicznościach dostrzec jasną i prawidłową odpowiedź w nieprzeniknionej mgle niepewności, która spowija te kwestie — a jeszcze trudniej, gdy dodatkowo ugrzęźniemy w panglosjańskim bagnie.

Możliwym źródłem wiary w swobodną ewolucję jest pozornie oczywisty kierunek wzwyż charakteryzujący proces ewolucyjny w przeszłości. Poczynając od prymitywnych organizmów zdolnych do rozmnażania się, ewolucja stwarzała organizmy coraz bardziej „zaawansowane”, czego uwieńczeniem było pojawienie się istot obdarzonych umysłem, świadomością, językiem i zdolnością rozumowania. W bliższych nam czasach procesy kulturowe i technologiczne, wykazujące pewne luźne podobieństwo do ewolucji biologicznej, umożliwiły ludziom rozwój w przyspieszonym tempie. W szerszej perspektywie — zarówno w geologicznej, jak i w historycznej skali czasowej — wydaje się, że obserwujemy nadrzędną dążność do podwyższania poziomu złożoności, wiedzy, świadomości i skoordynowania organizacji zorientowanych na cel — ten trend można określić mianem „postępu”[27].

Obraz rewolucji jako procesu, który niezawodnie przynosi zbawienne rezultaty, jest trudny do pogodzenia z ogromnym cierpieniem, które dostrzegamy zarówno wśród ludzi, jak i w świecie natury. Ci, którzy cenią sobie osiągnięcia ewolucji, mogą to czynić nie tyle z perspektywy etycznej, ile z estetycznej. Mimo to stosownym pytaniem nie jest to, jaka przyszłość mogłaby się stać szczególnie fascynującym motywem opowiadania science fiction lub szczególnie efektownym wizualnie tematem programu dokumentalnego, lecz jaka przyszłość byłaby dobrym miejscem do życia. To dwie zupełnie odmienne kwestie.

Co więcej, nie mamy powodów, by sądzić, że postęp, jaki się dokonał — jakikolwiek by był — był nieunikniony. Wiele mogło być po prostu kwestią szczęścia. To spostrzeżenie opiera się na fakcie, że efekt selekcji obserwacji odsiewa dowody, które moglibyśmy uzyskać na temat sukcesu naszego własnego rozwoju ewolucyjnego[28]. Załóżmy, że na 99,9999% wszystkich planet, na których rozwinęło się życie, uległo ono zagładzie, zanim osiągnęło punkt, w którym inteligentni obserwatorzy mogliby zacząć zastanawiać się nad jego pochodzeniem. Jakich obserwacji moglibyśmy się spodziewać, gdyby tak właśnie było? Prawdopodobnie powinniśmy oczekiwać, że dostrzeżemy coś, co w istocie obserwujemy. Hipoteza, zgodnie z którą szanse ewolucyjnego rozwinięcia się na danej planecie inteligentnego życia są niewielkie, nie przewiduje, że powinniśmy się znaleźć na planecie, na której życie uległo zagładzie na wczesnym etapie rozwoju — przewiduje raczej, że powinniśmy się znaleźć na planecie, gdzie inteligentne życie wyewoluowało, nawet jeśli takie planety stanowią jedynie maleńki ułamek wszystkich planet, na których ewoluowały prymitywne formy życia. Długa historia życia na Ziemi może z tego względu w pewnym skromnym stopniu wspierać tezę, że rozwój wyższych organizmów na naszej planecie był w dużej mierze kwestią przypadku, a już na pewno nie można mówić o niczym zbliżonym do nieuniknioności[29].

Poza tym nawet gdyby obecne warunki były zgoła idylliczne i nawet gdyby można było wykazać, że powstały w sposób nieuchronny na bazie jakiegoś elementarnego stanu ogólnego, nadal nie byłoby żadnej gwarancji, że ten korzystny trend będzie trwał w nieskończoność. Obowiązuje to nawet wówczas, gdy odrzucimy możliwość zagłady w wyniku kataklizmu, a nawet, gdy założymy, że ewolucja będzie nadal owocować systemami o coraz większej złożoności.

Zasugerowaliśmy wcześniej, że myślące maszyny wyselekcjonowane pod kątem maksymalnej produktywności i zatrudnione do pracy będą pracować bardzo ciężko i nie wiadomo, jak bardzo będą szczęśliwe. Zwróciliśmy również uwagę na możliwość, że formy życia najlepiej przystosowane do funkcjonowania w przyszłej konkurencyjnej zupie cyfrowego życia nie będą nawet posiadać świadomości. Nawet gdyby nie doszło do całkowitej utraty radości życia lub świadomości, mogłoby dojść do uwiądu innych cech, które wielu ludzi uznałoby za niezbędne do prowadzenia dobrego życia. Ludzie cenią muzykę, humor, romanse, sztukę, zabawę, taniec, rozmowę, filozofię, literaturę, przygody, odkrycia, jedzenie i picie, przyjaźń, rodzicielstwo, sport, naturę, tradycję, duchowość i wiele innych rzeczy. Nie ma żadnej gwarancji, że uprawianie którejkolwiek z tych rzeczy będzie nadal równoznaczne z najlepszym przystosowaniem do życia na Ziemi. Być może maksymalne dostosowanie darwinowskie będzie równoznaczne wyłącznie z nieustanną, ciężką harówką, monotonną i powtarzalną pracą pozbawioną choćby cienia radości, której celem jest jedynie podniesienie wartości ósmego miejsca po przecinku jakiejś miary wyników gospodarczych. Wyselekcjonowane fenotypy czeka zatem życie pozbawione wspomnianych wcześniej przyjemności i zależnie od systemu wartości danego człowieka rezultaty mogą mu się wydać albo wstrętne i odrażające, albo bezwartościowe, albo po prostu żałośnie ubogie, a w każdym razie bardzo dalekie od utopii, którą można byłoby uznać za cenne osiągnięcie ludzkości.

Można by się zastanawiać, jak pogodzić taki ponury obraz z faktem, że teraz z przyjemnością oddajemy się muzyce, romansom, sztuce i tak dalej. Jeśli te zachowania rzeczywiście są tak „marnotrawne”, to jak to się dzieje, że są tolerowane, a wręcz wspierane przez procesy ewolucyjne, które ukształtowały nasz gatunek? Nie wynika to z tego, że współczesny człowiek jest w ewolucyjnej nierównowadze, gdyż nasi plejstoceńscy przodkowie również angażowali się w większość tych zabaw, które można uznać za trwonienie czasu. Wiele z omawianych zachowań nie jest nawet unikalnych dla gatunku Homo sapiens. Krzykliwe i ekstrawaganckie pokazy wykonywane są w bardzo rozmaitych sytuacjach, od doboru partnerów płciowych w królestwie zwierząt poczynając, a na współzawodnictwie o prestiż wśród państw świata kończąc[30].

Chociaż pełne ewolucyjne wyjaśnienie każdego z tych zachowań wykracza poza zakres aktualnie prowadzonej analizy, możemy dostrzec, że niektóre z nich spełniają funkcje, które mogą nie być równie istotne w kontekście myślących maszyn. Zabawa na przykład, która uprawiana jest tylko przez niektóre gatunki i to głównie przez młode osobniki, jest głównie metodą przyswajania sobie przez młode zwierzęta umiejętności potrzebnych im na późniejszych etapach życia. Gdy emulacje będą mogły być tworzone już jako dorośli mający dojrzały repertuar umiejętności albo też kiedy wiedza i techniki opanowane przez jedną SI będą mogły zostać przeniesione bezpośrednio na inną SI, potrzeba zabawy może się stać mniej rozpowszechniona.

Wiele innych przykładów ludzkich zachowań mogło wyewoluować jako niełatwe do podrobienia sygnały cech, które trudno jest zaobserwować bezpośrednio, takich jak wytrzymałość fizyczna lub psychiczna, status społeczny, jakość sprzymierzeńców, zdolność i chęć odniesienia zwycięstwa w walce lub też posiadanie zasobów. Pawi ogon jest klasycznym przykładem — tylko zdrowe i sprawne pawie potrafią wyhodować prawdziwie ekstrawagancki pióropusz, a w efekcie ewolucji pawice uznają taki ogon za atrakcyjny. Cechy zachowania w nie mniejszym stopniu niż cechy morfologiczne potrafią sygnalizować kondycję genetyczną i inne społecznie istotne atrybuty[31].

Zważywszy na to, że krzykliwa autoprezentacja jest tak powszechna zarówno wśród ludzi, jak i innych gatunków, można byłoby się zastanawiać, czy nie stałaby się ona również częścią repertuaru technicznie bardziej zaawansowanych form życia. Nawet gdyby w przyszłej ekologii inteligentnego przetwarzania informacji nie istniało żadne instrumentalnie wąskie zastosowanie chęci do zabawy, muzykalności czy nawet świadomości, to czy te cechy nie mogłyby mimo wszystko dawać swoim posiadaczom pewnej przewagi ewolucyjnej, sygnalizując niezawodnie ich zdolności przystosowawcze?

Chociaż trudno jest wykluczyć możliwość istnienia ustalonej wcześniej harmonii pomiędzy tym, co jest cenne dla nas, a tym, co gwarantuje najlepsze przystosowanie do warunków przyszłej ekologii cyfrowej, istnieją powody do sceptycyzmu. Po pierwsze, zastanówmy się nad tym, że wiele obserwowanych w naturze, a kosztujących wiele czasu i wysiłku prezentacji własnych atutów związanych jest z doborem płciowym[32]. Wśród technicznie dojrzałych form życia reprodukcja może mieć natomiast charakter w dużej mierze lub wyłącznie aseksualny.

Po drugie, technologicznie zaawansowane byty mogą dysponować nowymi metodami niezawodnego komunikowania informacji na temat samych siebie — metodami, które nie wymagają kosztownej autoprezentacji. Nawet współcześnie, gdy instytucje pożyczkowe szukają dostępu do informacji na temat zdolności kredytowej swojego klienta, skłonne są polegać w większej mierze na udokumentowanych faktach, takich jak wyciągi bankowe czy akty własności, niż na ostentacyjnej zamożności manifestowanej garniturami od modnych krawców czy zegarkami marki Rolex. W przyszłości może się okazać możliwe zatrudnienie firmy audytorskiej, która dokona weryfikacji poprzez szczegółową analizę historii zachowań, testowanie w środowiskach symulowanych lub bezpośrednie oględziny kodu źródłowego, że dany byt będący klientem ma deklarowane atrybuty. Sygnalizowanie swoich przymiotów poprzez zgodę na dokonanie takiego audytu może się okazać bardziej efektywne niż sygnalizowanie ich poprzez ostentacyjne zachowania. Zaimitowanie takiego profesjonalnie zapośredniczonego sygnału byłoby nadal kosztowne — to kluczowa własność, dzięki której sygnał może być uznany za wiarygodny — ale przekazanie go mogłoby być znacznie tańsze (w sytuacji, w której byłby prawdziwy) niż przesłanie równoważnego sygnału poprzez krzykliwą manifestację.

Po trzecie, nie wszystkie możliwe krzykliwe manifestacje są ze swej natury cenne lub społecznie pożądane. Wiele to po prostu marnotrawstwo sił i środków. Ceremonie potlaczu praktykowane przez niektóre plemiona Indian Ameryki Północnej, a będące formą współzawodnictwa o status, prowadzonego przez rywalizujących wodzów, obejmowały publiczne niszczenie ogromnych ilości zgromadzonych bogactw[33]. Za współczesne analogie można uznać bijące rekordy wysokości drapacze chmur, megajachty i rakiety umożliwiające lądowanie na Księżycu. O ile uprawianie muzyki czy opowiadanie dowcipów można prawdopodobnie uznać za coś, co podnosi faktyczną jakość ludzkiego życia, o tyle wątpliwe jest, czy dałoby się podtrzymać analogiczne twierdzenie w odniesieniu do kosztownej pogoni za modną galanterią lub innymi symbolami statusu uznawanymi przez społeczeństwo konsumpcyjne. Co gorsza, ostentacyjna manifestacja może być zwyczajnie szkodliwa, jak w przypadku kultury macho prowadzącej do wojen gangów czy ułańskiej brawury. Nawet zatem gdy przyszłe inteligentne formy życia będą wykorzystywać kosztowne metody sygnalizowania swoich cech, nie uzyskamy odpowiedzi na pytanie, czy będą to sygnały wartościowe — czy będzie to przypominać budzącą zachwyt piosenkę słowika czy raczej jednozgłoskowy skrzek żaby (lub też ustawiczne szczekanie wściekłego psa).

Poprzejściowe tworzenie się singletonu?

Nawet jeśli bezpośrednim rezultatem przejścia do epoki myślących maszyn byłoby powstanie świata wielobiegunowego, pozostawałaby możliwość późniejszego powstania singletonu. Taki rozwój wydarzeń byłby kontynuacją wyraźnego długoterminowego trendu prowadzącego do integracji politycznej na większą skalę, stanowiąc jego naturalne uwieńczenie[34]. Jak mogłoby do tego dojść?

Drugie przejście

Jednym ze sposobów, które mogłyby doprowadzić do konwergencji początkowo wielobiegunowego świata i utworzenia poprzejściowego singletonu, jest zaistnienie po zakończeniu początkowej fazy przejściowej drugiej fazy przemiany technologicznej, tak rozległej i radykalnej, by mogła zagwarantować decydującą przewagę strategiczną jednej z pozostałych sił — sile, która mogłaby wykorzystać sposobność do utworzenia singletonu. Taka hipotetyczna druga przemiana mogłaby zostać wywołana przełomem pozwalającym się wznieść superinteligencji na znacznie wyższy poziom. Dla przykładu: gdyby pierwsza fala superinteligentnych maszyn opierałaby się na emulacjach, druga fala mogłaby przez prowadzące badania naukowe emulacje zostać zapoczątkowana opracowaniem skutecznej, samodoskonalącej się sztucznej inteligencji[35]. (Alternatywnie drugą przemianę mógłby wywołać przełom w dziedzinie nanotechnologii lub jakiejś innej technologii wojskowego lub ogólnego zastosowania, której jeszcze nie potrafimy sobie wyobrazić).

Po pierwszym okresie przejściowym tempo rozwoju stałoby się ekstremalnie szybkie. Nawet niewielki dystans dzielący wiodącą siłę od jej najbliższego konkurenta mógłby zatem prawdopodobnie zaowocować powstaniem decydującej przewagi strategicznej działającej na korzyść wiodącej siły podczas drugiego okresu przejściowego. Załóżmy dla przykładu, że dwa projekty wchodzą w pierwszą fazę przejściową w odstępie zaledwie kilku dni i że odejście jest tak powolne, że ten dystans nie daje wiodącemu projektowi decydującej przewagi strategicznej w żadnym momencie w trakcie odejścia. Oba projekty wyłaniają się jako superinteligentne siły, chociaż jeden z nich nadal wyprzedza o kilka dni ten drugi. Ale teraz prace badawcze prowadzone są w skali czasowej właściwej dla superinteligentnych maszyn — być może tysiące lub miliony razy szybciej niż w przypadku badań prowadzonych przez ludzi. Opracowanie technologii drugiego przejścia może być zatem kwestią dni, godzin lub minut. I chociaż nawet przewaga lidera może wynosić zaledwie kilka dni, dokonany przełom może go katapultować ku decydującej przewadze strategicznej. Zauważmy jednak, że jeśli dyfuzja technologii (poprzez szpiegostwo przemysłowe lub inne kanały) przyspieszy proporcjonalnie do rozwoju technologicznego, wówczas efekt ten zostanie zniwelowany. Istotna pozostanie radykalność drugiej fazy przejściowej, czyli tempo, w jakim będzie dochodzić do przemian względem generalnego tempa zdarzeń w okresie następującym po pierwszej fazie przejściowej. (W tym sensie: im szybszy będzie bieg zdarzeń po pierwszej fazie przejściowej, tym mniej radykalne będą przemiany w drugiej fazie przejściowej).

Można również podejrzewać, że decydująca przewaga strategiczna z większym prawdopodobieństwem zostanie wykorzystana do ustanowienia singletonu, jeśli powstanie w trakcie drugiej (lub kolejnej) fazy przejściowej. Po pierwszej fazie przejściowej decydenci będą albo superinteligentni, albo też będą mieli dostęp do rad udzielanych im przez superinteligencję, która wyjaśni im implikacje dostępnych opcji strategicznych. Co więcej, po pierwszej przemianie może dojść do sytuacji, w której wyprzedzające uderzenie w potencjalnych konkurentów będzie mniej niebezpieczne dla agresora. Jeśli po pierwszej przemianie umysły decydentów będą cyfrowe, to będą się poddawać kopiowaniu i z tego względu mogą być uznawane za mniej wrażliwe na przeciwnatarcie. Nawet gdyby obrońca potrafił zabić w akcie odwetu 90% populacji agresora, nie miałoby to raczej działania odstraszającego, gdyż unicestwieni mogliby zostać natychmiast wskrzeszeni z kopii zapasowych. Zniszczenie infrastruktury (która mogłaby zostać odbudowana) również mogłoby być tolerowalne dla umysłów cyfrowych z w gruncie rzeczy nieograniczoną długością trwania życia, które mogłyby planować maksymalizację swojego wpływu i zasobów w kosmicznej skali czasu.

Superorganizmy i korzyści skali

Wielkość skoordynowanych ludzkich agregatów, takich jak firmy lub narody, warunkowana jest wieloma czynnikami — technologicznymi, militarnymi, finansowymi i kulturowymi — które w rozmaitych epokach historycznych mogą się różnić. Rewolucja myślących maszyn pociągnie za sobą głębokie zmiany wielu tych czynników. Być może te zmiany umożliwią powstanie singletonu. Chociaż nie przyglądając się szczegółowo naturze tych ewentualnych zmian, nie możemy wykluczyć możliwości przeciwnej — że zmiany doprowadzą nie do unifikacji, lecz do fragmentacji — możemy mimo to dostrzec, że wzrost zróżnicowania lub niepewności, z którym się tutaj stykamy, może sam w sobie być powodem, by z większą wiarą spojrzeć na możliwość powstania singletonu, niż zrobilibyśmy to w odmiennej sytuacji. Rewolucja myślących maszyn może, powiedzmy, nieco namieszać — dokonać przetasowań umożliwiających powstanie nowego układu politycznego, na który wcześniej mogło się wcale nie zanosić.

Wszechstronna analiza wszystkich czynników, które mogłyby mieć wpływ na skalę politycznej integracji wykroczyłaby dalece poza zaplanowany zakres tej książki — sam przegląd istotnej literatury z zakresu ekonomii i nauk politycznych bez trudu wypełniłby cały tom. Musimy się ograniczyć do zwięzłego napomknięcia o kilku czynnikach — aspektach ucyfrowienia bytów, które mogłyby ułatwić centralizację kontroli.

Carl Shulman twierdził, że w populacji emulacji presja doboru sprzyjałaby powstaniu „superorganizmów”, grup emulacji gotowych poświęcić same siebie dla dobra swojego klanu[36]. Superorganizmom oszczędzono by problemów agencji nękających organizacje, których członkowie dążą do realizowania własnych interesów. Niczym komórki naszego ciała lub pojedyncze zwierzęta w kolonii owadów eusocjalnych emulacje przejawiające pełen altruizm wobec swoich bliźniaczych kopii współpracowałyby ze sobą nawet przy braku wyrafinowanych systemów zachęt.

Superorganizmy miałyby szczególnie silną przewagę, gdyby nie było dozwolone kasowanie (lub zawieszanie na wieczność) pojedynczych emulacji bez ich zgody. Firmy lub kraje zatrudniające emulacje upierające się przy samozachowaniu zostałyby obarczone bezterminowym zobowiązaniem do opłacania kosztów utrzymania przestarzałych lub nadmiarowych pracowników. Natomiast organizacje, których emulacje ochoczo kasowałyby się same, gdy ich usługi nie byłyby już potrzebne, mogłyby łatwiej adaptować się do wahań popytu. Mogłyby też swobodnie eksperymentować, dowolnie zwiększając liczbę odmian swoich pracowników i zachowując tylko tych najproduktywniejszych.

Jeśli kasowanie bez zgody nie zostanie zabronione, wówczas względna przewaga emulacji eusocjalnych zostanie ograniczona, choć być może nie wyeliminowana. Pracodawcy bytów współpracujących ze sobą i skłonnych do samopoświęcenia mogą nadal czerpać korzyści w kategoriach efektywności z redukcji problemów agencji w ramach całej organizacji, co między innymi oszczędzi im problemów konieczności przełamywania oporu, który emulacje mogłyby stawiać przeciwko ich wykasowaniu. Zasadniczo zyski produktywności wynikające z posiadania pracowników skłonnych poświęcić własne osobnicze życie w imię wspólnego dobra są szczególnym przypadkiem korzyści, jakie organizacja może czerpać z posiadania członków, którzy są jej fanatycznie oddani. Tacy członkowie nie tylko skoczyliby w ogień za organizację i pracowaliby do późnej nocy za marne wynagrodzenie — stroniliby również od biurowych wojenek i staraliby się konsekwentnie działać w interesie organizacji (tak, jak go pojmują), ograniczając konieczność nadzoru i biurokratycznych ograniczeń.

Jeśli jedyną metodą osiągnięcia takiego oddania byłoby ograniczenie członkostwa do bliźniaczych kopii (co oznacza, że wszystkie emulacje w bliźniaczym organizmie byłyby odciśnięte z jednej sztancy), miałoby to z punktu widzenia superorganizmu pewne wady, gdyż taki superorganizm miałby do dyspozycji mniej umiejętności niż konkurencyjne organizacje. Ta wada mogłaby być (lub nie) tak duża, by przeważyć zalety płynące z uniknięcia wewnętrznych problemów agencji[37]. Ta niedogodność zostałaby znacznie złagodzona, gdyby superorganizm mógł przynajmniej się składać z członków o różnym poziomie wyszkolenia. Nawet gdyby wszyscy jego członkowie pochodzili z jednego prawzorca, jego siła robocza nadal mogłaby wnosić do całości różnorodne umiejętności. Poczynając od wszechstronnie uzdolnionej emulacji prawzorca, kolejne linie genealogiczne mogłyby się odgałęziać w kierunku rozmaitych programów szkoleniowych: jedna kopia poznawałaby tajniki księgowości, inna inżynierii elektrycznej i tak dalej. Powstała baza członkowska dysponowałaby rozmaitymi umiejętnościami, choć tylko jednym określonym rodzajem uzdolnień. (Maksymalna różnorodność mogłaby wymagać wykorzystania więcej niż jednego prawzorca).

Kluczową własnością superorganizmu nie jest to, że składa się on z kopii jednego przodka, lecz że wszystkie pojedyncze byty w jego ramach są całkowicie oddane realizacji wspólnego celu. Zdolność tworzenia superorganizmu można zatem uznać za wymagającą częściowego rozwiązania problemu kontroli. O ile całkowicie ogólne rozwiązanie problemu kontroli mogłoby umożliwić komuś stworzenie inteligentnego bytu sprawczego z dowolnym arbitralnie ustalonym celem ostatecznym, o tyle rozwiązanie częściowe konieczne do stworzenia superorganizmu wymaga zaledwie zdolności ukształtowania wielu bytów mających ten sam cel ostateczny (jakiś nietrywialny, lecz niekoniecznie dowolny cel)[38].

Główna linia rozumowania przedstawiona w tym podrozdziale nie ogranicza się zatem tak naprawdę do będących klonami jednego egzemplarza grup emulacji, lecz może zostać wyrażona bardziej ogólnie, aby stało się oczywiste, że odnosi się również do dużego wyboru scenariuszy wielobiegunowego rozwoju myślących maszyn. To ten szczególny typ postępów mogących się dokonać w dziedzinie technik doboru motywacji, kiedy to aktorzy zostaną ucyfrowieni, może pomóc przezwyciężyć część nieefektywności obecnie utrudniających rozwój ludzkich organizacji i niwelujących korzyści skali. Gdy te ograniczenia zostaną zniesione, organizacje — niezależnie od tego, czy są to firmy, narody czy inne byty gospodarcze lub polityczne — będą mogły zwiększyć swoje rozmiary. To jeden z czynników, który mógłby umożliwić powstanie poprzejściowego singletonu.

Jednym z obszarów, w których superorganizmy (lub inne cyfrowe, inteligentne byty z częściowo dobraną motywacją) mogłyby odnieść znakomite rezultaty, jest przymus. Państwo mogłoby się posłużyć metodami doboru motywacji, by zapewnić bezwarunkową lojalność swojej policji, wojska, służb wywiadowczych i administracji cywilnej. Jak zauważa Shulman:

Zachowane stany [pewnych zapisanych emulacji, które zostały starannie przygotowane i zweryfikowane] mogłyby zostać skopiowane miliardy razy i zasilić szeregi ideologicznie jednolitego wojska, policji i służb administracyjnych państwa. Po krótkim okresie pracy każda kopia zostałaby zastąpiona świeżą kopią tego samego zachowanego stanu, zapobiegając ideologicznym odchyleniom. W ramach przyznanych kompetencji zdolność ta mogłaby pozwolić na niewiarygodnie szczegółowe obserwacje i regulacje: co drugi mieszkaniec mógłby posiadać taką kopię. Mogłoby to zostać wykorzystane do zapobieżenia rozwojowi broni masowego rażenia, wyegzekwowania regulacji dotyczących eksperymentowania na emulacjach mózgu lub ich rozmnażania, wprowadzenia w życie konstytucji liberalno-demokratycznej lub stworzenia przerażającego i permanentnego totalitaryzmu[39].

Wydawałoby się, że efektem takich możliwości będzie w pierwszej kolejności konsolidacja władzy i prawdopodobne skoncentrowanie jej w mniej licznych rękach.

Zjednoczenie traktatowe

Międzynarodowa współpraca w poprzejściowym świecie wielobiegunowym może się okazać potencjalnie bardzo opłacalna. Można byłoby uniknąć w ten sposób wojen i wyścigów zbrojeń. Przestrzeń kosmiczna mogłaby zostać skolonizowana, umożliwiając wykorzystanie zasobów astrofizycznych w optymalnym z globalnego punktu widzenia tempie. Rozwój bardziej zaawansowanych form myślących maszyn mógłby zostać skoordynowany, by uniknąć pośpiechu i umożliwić wszechstronną weryfikację nowych projektów. Inne przełomowe wydarzenia, które mogłyby pociągać za sobą groźbę zagłady ludzkości, można byłoby odłożyć w czasie. Na całym świecie można byłoby wprowadzić ujednolicone regulacje obejmujące między innymi zapisy gwarantujące standard życia (co wymagałoby pewnej formy kontroli liczebności populacji) i zapobiegające wykorzystywaniu i maltretowaniu emulacji oraz innych umysłów cyfrowych i biologicznych. Co więcej, inteligentne byty o preferencjach dających się zaspokoić przy ograniczonym zużyciu zasobów (więcej na ten temat w rozdziale 13.) wolałyby układ o podziale zysków, gwarantujący im jakiś udział w przyszłości, od walki, w której zwycięzca zgarniałby wszystko, a one ryzykowałyby pozostanie z niczym.

Jednak istnienie potencjalnie znaczących zysków ze współpracy nie oznacza jeszcze, że do tej współpracy rzeczywiście by doszło. Współczesny świat mógłby bardzo wiele zyskać dzięki lepszej współpracy globalnej — oznaczałoby to choćby ograniczenie wydatków na zbrojenia i działania wojenne, redukcję przełowienia, zniesienie barier handlowych i spadek zanieczyszczenia powietrza — a jednak te soczyste owoce gniją niezerwane na gałęziach. Dlaczego tak jest? Co uniemożliwia realizację scenariusza pełnej współpracy, który zmaksymalizowałby sumę wspólnego dobra?

Jedną z przeszkód jest trudność w zapewnieniu gwarancji przestrzegania postanowień dowolnego zawartego traktatu, związana między innymi z kosztami monitorowania i egzekwowania realizacji owych postanowień. Gdyby istniały dwa mocarstwa nuklearne, to jednoczesne zrzeczenie się przez nie broni atomowej byłoby korzystne dla każdego z nich, lecz nawet gdyby doszło do podpisania porozumienia regulującego zasady rozbrojenia, to mogłoby ono nigdy nie wejść w życie ze względu na występujące po obu stronach obawy, że drugi sygnatariusz oszukuje. Rozwianie tych obaw wymagałoby ustanowienia mechanizmu weryfikacji. Być może należałoby powołać inspektorów nadzorujących zniszczenie istniejących zapasów broni, a następnie stale monitorować reaktory jądrowe i inne instalacje oraz gromadzić informacje wywiadowcze i dane z systemów informatycznych, by zyskać pewność, że program zbrojeniowy nie jest uruchamiany ponownie. Wynagrodzenia inspektorów to jeden element układanki kosztowej, drugim jest ryzyko, że inspektorzy będą szpiegować i wynosić na zewnątrz tajemnice handlowe i wojskowe. Co jeszcze bardziej znaczące, każda ze stron może żywić obawy, że druga zachowa potajemnie swój potencjał nuklearny. Wiele potencjalnie korzystnych transakcji nigdy nie zostanie zawartych, gdyż zweryfikowanie ich realizacji byłoby zbyt trudne.

Należałoby się spodziewać, że wprowadzenie nowych technologii inspekcji ograniczających koszty monitoringu zaowocuje wzrostem współpracy. Nie jest jednak całkiem jasne, czy koszty monitoringu zostaną w ostatecznym rozrachunku w epoce poprzejściowej ograniczone. O ile z pewnością pojawi się wiele nowych, potężnych technik inspekcji, o tyle opracowanych zostanie zapewne równie wiele metod ukrywania niewygodnych faktów. W szczególności coraz większa część zdarzeń, które moglibyśmy chcieć regulować, będzie zachodzić w cyberprzestrzeni, poza zasięgiem metod fizycznej inwigilacji. Dla przykładu: umysły cyfrowe pracujące nad projektem nowego systemu broni nanotechnologicznej lub nowej generacji sztucznej inteligencji mogą nie zostawiać wielu fizycznych śladów swojej działalności. Informatyce śledczej może się nie powieść penetracja wszystkich warstw szyfrów i metod utajniania skrywających nielegalne działania tych, którzy postanowili pogwałcić traktat.

Niezwykle skutecznym narzędziem monitorowania przestrzegania prawa byłyby niezawodne wykrywacze kłamstw, pod warunkiem że udałoby się je opracować[40]. Protokół z inspekcji mógłby zawierać wytyczne do przeprowadzenia wywiadów z głównymi urzędnikami; wywiady te miałyby na celu potwierdzenie, że urzędnicy rzeczywiście zamierzają wdrożyć wszystkie postanowienia traktatu i nie wiedzą o żadnych pogwałceniach tych postanowień, choć dołożyli wszelkich starań, by się o nich dowiedzieć.

Decydent planujący oszustwo mógłby pokonać schemat weryfikacji oparty na wykrywaniu kłamstw, wydając zawczasu swoim podwładnym polecenie podjęcia nielegalnych działań w tajemnicy nawet przed nim samym, a następnie poddając się jakiejś procedurze wymazywania wspomnień dotyczących angażowania się w takie machinacje. Przy bardziej zaawansowanej neurotechnologii odpowiednio ukierunkowana operacja wymazywania pamięci z biologicznego mózgu mogłaby być swobodnie wykonalna. W przypadku myślących maszyn (zależnie od ich architektury) mogłoby to być jeszcze łatwiejsze.

Państwa mogłyby dążyć do przezwyciężenia tego problemu poprzez zaangażowanie się w projekt nieprzerwanego monitoringu, pozwalający regularnie testować kluczowych oficjeli za pomocą wykrywacza kłamstw, aby sprawdzić, czy nie ukrywają zamiaru pogwałcenia lub obejścia dowolnego traktatu, który został podpisany lub mógłby zostać podpisany w przyszłości przez dane państwo. Takie zaangażowanie mogłoby zostać uznane za rodzaj metatraktatu umożliwiającego zweryfikowanie innych traktatów. Państwa mogłyby również podjąć takie zobowiązanie jednostronnie, mając na względzie korzyści płynące z bycia uznanym za wiarygodnego partnera w negocjacjach. Takiemu zobowiązaniu czy metatraktatowi stanęłyby na przeszkodzie takie same problemy, jak wspomniane wcześniej — możliwość jego pogwałcenia za pomocą fortelu z delegowaniem i wymazywaniem pamięci. W sytuacji idealnej metatraktat zostałby wprowadzony w życie, zanim którakolwiek ze stron zyskałaby sposobność dokonania wewnętrznych uzgodnień niezbędnych do sabotowania realizacji jego postanowień. Gdyby natomiast łajdactwo wyczekało na odpowiedni moment, by niepostrzeżenie podłożyć miny podstępu, zaufanie już nigdy nie postawiłoby tam stopy.

W niektórych przypadkach już sama zdolność wykrycia naruszeń postanowień traktatowych wystarczyłaby do wzbudzenia w każdej ze stron zaufania niezbędnego do zawarcia transakcji. W innych jednak przypadkach powstaje potrzeba stworzenia jakiegoś mechanizmu egzekwowania przestrzegania traktatu lub wymierzania kary w sytuacji, w której doszłoby do pogwałcenia układu. Konieczność wprowadzenia mechanizmu egzekucji może zaistnieć wówczas, gdy groźba wyłączenia z traktatu dopuszczającej się łamania jego postanowień strony nie wystarcza, by ją od tego odwieść — na przykład gdyby strona naruszająca postanowienia zyskiwała taką przewagę, że nie musiałaby się już później przejmować reakcją pozostałych sygnatariuszy.

W przypadku dostępności wysoce efektywnych metod doboru motywacji problem egzekucji mógłby zostać rozwiązany poprzez upoważnienie niezależnej agencji dysponującej wystarczającymi siłami policyjnymi lub wojskowymi do wyegzekwowania traktatu siłą — nawet wbrew protestom jednego lub kilku sygnatariuszy. To rozwiązanie wymaga, by egzekwująca traktat agencja była godna zaufania. Przy odpowiednio skutecznych technikach doboru motywacji konieczną pewność można byłoby osiągnąć w sytuacji, w której wszyscy sygnatariusze traktatu wspólnie nadzorowaliby powstanie i strukturę agencji wymuszającej jego przestrzeganie.

Przekazanie władzy agencji zewnętrznej stwarza wiele problemów, z którymi mierzyliśmy się już wcześniej w trakcie naszej dyskusji na temat scenariusza jednobiegunowego: — gdy singleton powstaje przed rozpoczęciem pierwszej rewolucji myślących maszyn lub w jej trakcie. Aby móc dopilnować realizacji traktatów dotyczących kluczowych kwestii bezpieczeństwa rywalizujących państw, zewnętrzna agencja musiałaby w gruncie rzeczy stworzyć singleton — globalnego, superinteligentnego Lewiatana. Różnica polega jednakże na tym, że rozważamy teraz sytuację w okresie poprzejściowym, w której inteligentne byty zmuszone powołać do życia tego Lewiatana miałyby większe kompetencje niż my, ludzie, aktualnie mamy. Sami twórcy Lewiatana mogliby być superinteligentni. Zwiększyłoby to znacznie prawdopodobieństwo, że będą potrafili rozwiązać problem kontroli i zaprojektować taką agencję pilnującą realizacji traktatu, która służyłaby interesom wszystkich stron mających cokolwiek do powiedzenia na etapie jej konstruowania.

Jeśli pominiemy koszty monitoringu i wymuszania przestrzegania reguł, to czy istnieją jakieś inne przeszkody stojące na drodze do globalnej koordynacji? Być może największą z nich jest coś, co moglibyśmy określić mianem kosztów negocjacji[41]. Nawet jeśli istnieje taka transakcja, na której skorzystaliby wszyscy zainteresowani, czasem nie udaje się jej zawrzeć, bo strony nie są w stanie uzgodnić, w jaki sposób podzielić łupy. Dla przykładu: jeśli dwie osoby mogą zawrzeć umowę, która pozwoliłaby im zarobić wspólnie na czysto jednego dolara, lecz każda ze stron ma poczucie, że zasługuje na sześćdziesiąt centów i odmawia zadowolenia się mniejszą sumą, umowa nie zostanie zawarta i potencjalny zysk przepadnie. Negocjacje mogą się okazać trudne, znacznie się przeciągać lub utknąć w martwym punkcie ze względu na strategię negocjacji przyjętą przez którąś ze stron.

W realnym życiu ludziom często udaje się dojść do porozumienia mimo przyjętych strategii negocjacji (choć często wymaga to ogromnej cierpliwości i pochłania mnóstwo czasu). Można sobie jednak wyobrazić, że problemy strategii negocjacyjnych będą mieć inną dynamikę w epoce poprzejściowej. Negocjator SI może konsekwentniej trzymać się pewnego konkretnego formalnego wyobrażenia racjonalności, co w interakcji z innymi negocjatorami SI może wywołać nieobserwowane wcześniej lub nieprzewidziane następstwa. W tej grze transakcyjnej SI może mieć również do dyspozycji ruchy, które są ludziom albo niedostępne, albo znacznie trudniejsze dla nich do wykonania, włączając w to możliwość wcześniejszego zadeklarowania realizacji danej polityki lub trybu działania. O ile ludzie (lub zarządzane przez nich instytucje) są w stanie tylko od czasu do czasu zobowiązać się do czegokolwiek z góry — nie mogąc zapewnić całkowitej wiarygodności swojej deklaracji ani podać konkretnych szczegółów — o tyle niektóre typy myślących maszyn mogą być w stanie podjąć zawczasu dowolne nieodwołalne zobowiązania i potwierdzić partnerom negocjacyjnym, że takie wcześniejsze deklaracje zostały złożone[42].

Dostępność potężnych technik składania zawczasu deklaracji działania mogłaby gruntownie przedefiniować naturę negocjacji, dając potencjalnie ogromną przewagę bytom dysponującym przywilejem zrobienia pierwszego ruchu. Jeśli udział konkretnego podmiotu jest konieczny do zrealizowania jakichś przyszłych zysków ze współpracy i jeśli ten podmiot jest w stanie wykonać pierwszy ruch, to znajdzie się on w położeniu umożliwiającym mu dyktowanie podziału łupów poprzez zadeklarowanie zawczasu, że nie zgodzi się na żaden układ dający mu mniej niż, powiedzmy, 99% zysków. Inni stanęliby wówczas wobec wyboru: albo nie dostać nic (odrzucając nieuczciwą propozycję), albo dostać 1% zysków (uginając się przed żądaniami). Jeśli deklaracja podmiotu wykonującego pierwszy ruch poddaje się publicznej weryfikacji, wówczas jego partnerzy negocjacyjni mogą być pewni, że nie mają żadnego wyboru poza tymi dwoma.

Aby nie paść ofiarą wykorzystania w ten sposób, podmioty mogą zadeklarować wcześniej, że nie ugną się przed szantażem i będą odrzucać wszystkie nieuczciwe propozycje. Kiedy już takie wcześniejsze zobowiązanie zostałoby złożone (i z sukcesem podane do publicznej wiadomości), inne podmioty uznałyby, że nie jest w ich interesie wysuwanie gróźb lub składanie deklaracji gotowości zawierania wyłącznie takich umów, które dają im większe korzyści niż ich partnerom, bo wiedziałyby, że groźby nie przyniosą skutku, a niesprawiedliwe propozycje zostaną odrzucone. Lecz to dowodzi tylko znów, że przewaga jest po stronie tego, kto ma możliwość wykonania pierwszego ruchu. Sprawca wykonujący pierwszy ruch może wybrać, czy wykorzystać swoją pozycję siły, by zniechęcić innych do uzyskiwania niesprawiedliwej przewagi, czy też dokonać zamachu na lwią część przyszłych łupów.

Mogłoby się wydawać, że w najlepszej sytuacji jest inteligentny byt mający na starcie temperament lub system wartości, które czynią go nieczułym na wymuszenie czy wręcz na każdą propozycję transakcji wymagającą jego udziału, lecz niegwarantującą mu blisko 100% zysków. Wydaje się, że niektórzy ludzie już teraz mają pewne cechy osobowości odpowiadające niektórym aspektom niezłomnego ducha[43]. Ten rys charakteru mógłby się jednak obrócić na ich niekorzyść, gdyby się okazało, że wokół są inne inteligentne byty, które również czują się uprawnione do udziałów przekraczających uczciwie przypadającą im część i są zdecydowane nie ustępować. Mielibyśmy wówczas do czynienia z przypadkiem kosy trafiającej na kamień, wskutek czego porozumienie nie zostałoby osiągnięte (lub, co gorsza, wybuchłaby wojna totalna). Potulni i słabego ducha dostaliby przynajmniej co nieco — choć mniej, niżby się im uczciwie należało.

Nie jest tak od razu oczywiste, jakiego rodzaju równowaga wynikająca z teorii gier zostałaby osiągnięta w takiej poprzejściowej grze negocjacyjnej. Inteligentni sprawcy mogliby wybrać bardziej skomplikowane strategie od tych, które tutaj rozważyliśmy. Można by mieć nadzieję, że punkt równowagi zostałby uwarunkowany jakąś normą sprawiedliwości, która posłużyłaby za punkt Schellinga — najistotniejszą cechą w wielkiej przestrzeni wyników, która ze względu na współdzielone oczekiwania wyznaczyłaby przypuszczalne koordynaty w poza tym nieokreślonej grze koordynacyjnej. Taka równowaga mogłaby zostać ugruntowana niektórymi z naszych ewolucyjnych skłonności i kulturowym zaprogramowaniem: powszechne dążenie do sprawiedliwości mogłoby — zakładając, że uda nam się zachować nasze wartości do ery poprzejściowej — w ten sposób ukierunkować strategie i oczekiwania, by doprowadzić do atrakcyjnej równowagi[44].

Tak czy inaczej w efekcie końcowym wraz z zaistnieniem silnych i elastycznych form składania zawczasu deklaracji wyniki negocjacji mogą przybrać zupełnie nam nieznaną postać. Nawet jeśli epoka poprzejściowa rozpocznie się w krajobrazie wielobiegunowym, to w konsekwencji wynegocjowania traktatu rozwiązującego wszystkie istotne globalne problemy koordynacji niemal natychmiast może powstać singleton. Niektóre koszty transakcyjne — być może włącznie z kosztami monitorowania i egzekwowania — mogą znacznie spaść wraz z pojawieniem się nowych możliwości technicznych dostępnych zaawansowanym maszynom myślącym. Inne koszty, w szczególności te związane ze strategiami negocjacji, mogą pozostać znaczne. Niezależnie od tego jednak, w jaki sposób strategie negocjacyjne wpłyną na charakter wypracowanej umowy, nie ma żadnego oczywistego powodu, dla którego miałoby to znacznie odsunąć w czasie uzyskanie jakiegoś porozumienia, jeśli takie porozumienie w ogóle kiedykolwiek ma zostać osiągnięte. Jeśli porozumienie nie zostanie osiągnięte, to może dojść do jakiegoś rodzaju walki — i albo któryś z odłamów wygra i stworzy singleton na bazie zwycięskiej koalicji, albo też wywiąże się przedłużający się w nieskończoność konflikt, w którym to przypadku singleton może nigdy nie powstać, a ostateczny rezultat koszmarnie rozminie się z tym, co mogłoby i powinno było zostać osiągnięte, gdyby ludzkość i jej potomkowie działali w sposób bardziej skoordynowany i przejawiali większą skłonność do współpracy.

***

Przekonaliśmy się, że wielobiegunowość, nawet gdyby została uzyskana w postaci stabilnej, nie zagwarantuje atrakcyjnego rezultatu. Pierwotny problem zwierzchnika – agenta pozostanie nierozwiązany, a pogrzebanie go pod lawiną nowych problemów związanych z niepowodzeniem globalnej koordynacji w epoce poprzejściowej może tylko pogorszyć sytuację. Powróćmy zatem do pytania, w jaki sposób możemy bezpiecznie utrzymać pojedynczą superinteligentną SI.

Rozdział 12.
Zaszczepianie wartości

Kontrola potencjału jest środkiem co najwyżej tymczasowym i pomocniczym. Jeśli nie mamy w planach uwięzienia superinteligencji na wieki, konieczne będzie opanowanie technik doboru motywacji. Tylko jak zaszczepić systemowi SI wybrane wartości, aby ich obronę uznał za swój cel ostateczny? Dopóki sprawca jest nieinteligentny, może być niezdolny do zrozumienia czy choćby wyobrażenia sobie jakichkolwiek cenionych przez ludzi wartości. Jeśli jednak odwleczemy procedurę zaszczepiania wartości do momentu uzyskania przez sprawcę superinteligencji, ten może stawić opór naszym próbom grzebania w jego pobudkach — i, jak dowiedliśmy w rozdziale 7., będzie miał konwergentne powody instrumentalne, by tak postąpić. Problem zaszczepiania wartości jest trudny, ale należy go podjąć.

Problem przekazywania wartości

Nie sposób wyliczyć wszystkich możliwych sytuacji, w których sztuczna inteligencja może się znaleźć, i wskazać dla każdej z nich, jakie działania powinny zostać podjęte. Podobnie nie sposób stworzyć listy wszystkich możliwych światów i przypisać każdemu z nich wartości. W każdej sferze bardziej skomplikowanej niż gra w kółko i krzyżyk istnieje zdecydowanie zbyt dużo możliwych stanów (i historii dojścia do tych stanów), by można było dokonać ich wyczerpującego wyliczenia. Pobudek nie można zatem opisać w postaci wyczerpującej wszystkie możliwości tabeli, w której dałoby się sprawdzić stosowny wynik. Dlatego należy wyrazić je bardziej abstrakcyjnie — jako wzór lub zasadę pozwalającą inteligentnemu sprawcy podjąć decyzję, jak powinien postąpić w każdej sytuacji.

Jedną z formalnych metod określenia takiej reguły postępowania jest funkcja użyteczności. Funkcja użyteczności (jak pamiętamy z rozdziału 1.) przypisuje wartość każdemu możliwemu do uzyskania wynikowi lub też, bardziej ogólnie, każdemu „możliwemu światu”. Dla danej funkcji użyteczności można zdefiniować sprawcę, który dąży do maksymalizacji oczekiwanej użyteczności. Taki sprawca wybiera za każdym razem działanie, które ma najwyższą użyteczność oczekiwaną. (Użyteczność oczekiwana obliczana jest poprzez określenie wagi użyteczności każdego możliwego świata subiektywnym prawdopodobieństwem zaistnienia tego właśnie świata pod warunkiem podjęcia przez sprawcę konkretnego działania). W rzeczywistości liczba możliwych wyników jest zbyt duża, aby oczekiwana użyteczność działania mogła zostać dokładnie obliczona. Niemniej jednak reguła podejmowania decyzji w połączeniu z funkcją użyteczności określa normatywny ideał — pojęcie optymalności — do którego sprawca może dążyć zgodnie ze sposobem, w jaki został zaprojektowany; im inteligentniejszy sprawca, tym bardziej może się zbliżyć do ideału[1]. Skonstruowanie maszyny, która potrafi obliczyć dobre przybliżenie oczekiwanej użyteczności dostępnych jej działań, jest tożsame ze stworzeniem sztucznej inteligencji[2]. W tym rozdziale zajmiemy się innym problemem — problemem, który pozostaje nierozwiązany nawet wówczas, gdy uda się rozwiązać kwestię stworzenia myślących maszyn.

Możemy wykorzystać ten model maksymalizującego użyteczność sprawcy, by rozważyć kłopotliwe położenie programisty przyszłej zalążkowej SI, którego zamiarem jest rozwiązanie problemu kontroli poprzez postawienie SI celu ostatecznego odpowiadającego jakiemuś przypuszczalnemu ludzkiemu wyobrażeniu wartościowego rezultatu. Programista ma na myśli jakąś konkretną wartość cenioną przez ludzi, do której urzeczywistnienia SI miałaby się zgodnie z jego intencją przyczynić. Konkretniej rzecz ujmując: powiedzmy, że chodzi o szczęście. (Podobne problemy powstaną, gdybyśmy jako programiści byli zainteresowani sprawiedliwością, wolnością, chwałą, prawami człowieka, demokracją, równowagą ekologiczną czy samorozwojem). W kategoriach modelu oczekiwanej użyteczności programista szuka zatem funkcji użyteczności, która przypisuje użyteczność możliwym światom proporcjonalnie do ilości obecnego w nich szczęścia. Tylko jak programista ma wyrazić funkcję użyteczności w kodzie komputerowym? Języki programowania nie zawierają takich pojęć jak „szczęście” w charakterze wyrażeń pierwotnych. Jeśli podobne pojęcie ma zostać wykorzystane, musi być wcześniej zdefiniowane. Nie wystarczy zdefiniować go w kategoriach innych, wysokopoziomowych ludzkich koncepcji, stwierdzając, że „szczęście to czerpanie zadowolenia z rozwijania wrodzonych predyspozycji człowieka” czy określając je jakąś inną filozoficzną parafrazą. Definicja musi schodzić do najniższego poziomu w kategoriach obecnych w języku programowania SI, a ostatecznie w wyrażeniach pierwotnych, takich jak operatory matematyczne oraz adresy odnoszące się do zawartości jednostkowych rejestrów pamięci. Rozważywszy tak postawiony problem, dostrzeżemy trudność stojącego przed programistą zadania.

Określenie i zakodowanie naszego celu ostatecznego jest trudne, gdyż reprezentacje ludzkich celów są złożone, lecz ponieważ złożoność ta jest dla nas w dużej mierze przejrzysta, często jej w ogóle nie dostrzegamy. Możemy porównać ten przypadek do postrzegania wzrokowego. Patrzenie może się wydawać czymś prostym, bo patrzymy bez wysiłku[3]. Wydaje się, że wystarczy otworzyć oczy, by nasz umysł zalały bogate, ejdetyczne, trójwymiarowe obrazy otaczającego nas świata — sensowne dla nas i zrozumiałe. To intuicyjne pojmowanie percepcji wzrokowej przypomina pojmowanie patriarchalnego domostwa przez księcia — z jego perspektywy rzeczy po prostu pojawiają się w odpowiednim czasie i miejscu, natomiast mechanizm ich pojawiania się jest mu nieznany. Mimo to wykonanie choćby najprostszego zadania wzrokowego — znalezienie w kuchni pieprzniczki — wymaga ogromnej ilości pracy obliczeniowej. Z pozornie zaszumionego szeregu czasowego dwuwymiarowych wzorców pobudzeń komórek nerwowych powstających na siatkówce i przekazywanych do mózgu za pomocą nerwów wzrokowych kora wzrokowa musi zrekonstruować zrozumiałą, trójwymiarową reprezentację otoczenia. Znaczna część cennego metra kwadratowego naszej kory mózgowej odpowiada za przetwarzanie informacji wzrokowej, a w chwili, w której czytasz tę książkę, miliony Twoich neuronów pracują nieprzerwanie nad wykonaniem tego zadania (niczym setki szwaczek pochylonych w szwalni nad swoimi maszynami do szycia, wielokrotnie w ciągu sekundy szyjących i przeszywających ponownie gigantyczną kołdrę). Na podobnej zasadzie nasze pozornie proste wartości i pragnienia są w istocie niesłychanie złożone[4]. Jak nasz programista mógłby oddać tę złożoność w postaci funkcji użyteczności?

Jednym z podejść byłoby podjęcie próby bezpośredniego zakodowania kompletnej reprezentacji dowolnego posiadanego przez nas celu, którego realizację chcielibyśmy powierzyć SI, innymi słowy: opisanie wprost funkcji użyteczności. Takie podejście mogłoby się sprawdzić, gdybyśmy mieli niezwykle proste cele, na przykład gdybyśmy chcieli obliczyć z jak największą dokładnością liczbę pi — czyli gdyby jedyną rzeczą, której byśmy sobie życzyli, było obliczenie przez SI liczby pi, i nie obchodziłoby nas, jakie następstwa pociągnęłaby za sobą realizacja tego celu (przypomnijmy sobie nasze wcześniejsze rozważania o usterce polegającej na przeroście infrastruktury). To bezpośrednie podejście do kodowania mogłoby również okazać się obiecujące w przypadku zastosowania metod doboru motywacji w opcji udomowienia. Jeśli jednak dąży się do obrony i upowszechniania jakichkolwiek wiarygodnie ludzkich wartości i buduje się system, który ma się z założenia stać superinteligentnym suwerenem, wówczas kodowanie wprost wymaganej wyczerpującej reprezentacji celu wydaje się znajdować całkowicie poza naszym zasięgiem[5].

Skoro nie potrafimy przekazać SI ludzkich wartości, wklepując po prostu ich pełnowymiarową reprezentację w kodzie komputerowym, to czego jeszcze moglibyśmy spróbować? W tym rozdziale omawiamy kilka alternatywnych scenariuszy. Niektóre z nich na pierwszy rzut oka mogą się wydawać możliwe do urzeczywistnienia, lecz tracą tę cechę przy bliższej analizie. Przyszłe badania powinny się skupiać na tych scenariuszach, których realizacja wydaje się możliwa.

Rozwiązanie problemu przekazywania wartości jest pracą badawczą, w którą warto zaangażować najlepszych matematyków kolejnego pokolenia. Nie możemy odkładać konfrontacji z tym problemem do momentu, w którym SI będzie już dysponowała wystarczająco sprawnym rozumem, by bez trudu rozszyfrowywać nasze intencje. Jak się przekonaliśmy w sekcji na temat konwergentnych przyczyn instrumentalnych, zwykły system będzie się opierał próbom zmiany jego wartości ostatecznych. Jeśli inteligentny sprawca nie jest zasadniczo przyjazny w chwili, w której zyskuje zdolność autorefleksji, nie będzie zachwycony spóźnioną próbą wyprania mu mózgu lub zawiązania intrygi mającej na celu zastąpienie go jakimś innym sprawcą, który bardziej kocha bliźniego swego.

Selekcja ewolucyjna

Ewolucja przynajmniej raz wyprodukowała organizm kierujący się ludzkimi wartościami. Fakt ten może skłaniać do nabrania przekonania, że metody ewolucyjne są metodami rozwiązania problemu przekazywania wartości. Kilka problemów stoi na przeszkodzie zapewnieniu bezpieczeństwa tą drogą. Zwróciliśmy już na nie uwagę pod koniec rozdziału 10., kiedy to zastanawialiśmy się nad tym, jak niebezpieczne potrafią być potężne procesy wyszukiwawcze.

Ewolucję można uznać za szczególną klasę algorytmów wyszukiwawczych składających się z dwóch naprzemiennie występujących faz. W pierwszej, dzięki powstawaniu nowych kandydatów zgodnie z jakąś względnie prostą regułą stochastyczną (taką jak przypadkowa mutacja lub rekombinacja płciowa), wzrasta populacja kandydatów do rozwiązania, natomiast w drugiej populacja kurczy się dzięki usuwaniu kandydatów osiągających słabe wyniki z perspektywy funkcji oceny. Jak w przypadku wielu innych rodzajów potężnych mechanizmów wyszukiwawczych istnieje ryzyko, że ten proces zaowocuje rozwiązaniem spełniającym formalnie określone kryteria wyszukiwania, lecz nie nasze domniemane oczekiwania. (Odnosi się to również do sytuacji, w której dąży się do uzyskania w procesie ewolucji cyfrowego umysłu stawiającego sobie te same cele i wartości, co typowa istota ludzka, lub też umysłu, który jest na przykład perfekcyjnie moralny lub perfekcyjnie posłuszny). Ryzyka dałoby się uniknąć, gdybyśmy potrafili określić formalne kryteria wyszukiwania, prawidłowo reprezentujące wszystkie aspekty naszych celów, a nie tylko jeden aspekt, którego — jak sądzimy — pożądamy. Lecz na tym właśnie polega problem przekazywania wartości i oczywiście w tym kontekście unikaniem jego podjęcia byłoby przyjęcie założenia, że został on rozwiązany.

Pojawia się kolejny problem.

Suma cierpień, jakich co dnia doznają wszystkie żywe stworzenia, jest wręcz niewyobrażalna. W ciągu minuty, jaką zajęło mi napisanie tego zdania, tysiące zwierząt zostało zjedzonych żywcem, tysiące uciekało przed śmiertelnym niebezpieczeństwem, umierając ze strachu, tysiące było powoli drążonych od środka przez pasożyty, a kolejne tysiące umierało w koszmarnych mękach z głodu, pragnienia lub choroby[6].

Tylko w ramach naszego gatunku 150 000 osób ginie każdego dnia, a niezliczona liczba cierpi z powodu przerażającego wachlarza udręk i niedostatków. Natura może i jest wielkim eksperymentatorem, ale nie przeszłaby pomyślnie rozmowy z komisją etyczną, bo jej działania naruszają zarówno zasady ujęte w Deklaracji helsińskiej, jak i wszelkie normy moralnej przyzwoitości — lewicowe, prawicowe i centrowe. Istotne jest to, byśmy nie powielali niepotrzebnie takich potworności in silico. Szczególnie trudne wydaje się uniknięcie zbrodni przeciw umysłom, gdy metody ewolucyjne wykorzystywane są do wyprodukowania inteligencji przypominającej ludzką, przynajmniej o ile proces ten ma w zamierzeniu przypominać faktyczny dobór naturalny[7].

Uczenie ze wzmocnieniem

Uczenie się ze wzmocnieniem jest dziedziną uczenia maszynowego zajmującą się badaniem technik, za pomocą których sprawca może się nauczyć maksymalizowania swojego wyobrażenia o skumulowanej nagrodzie. W środowisku, w którym pożądane zachowania są nagradzane, sprawcę uczącego się ze wzmocnieniem można nauczyć rozwiązywania szerokiej gamy problemów nawet przy braku szczegółowych instrukcji lub informacji zwrotnej ze strony programistów, jeśli nie liczyć sygnału nagrody. Algorytm uczenia się często polega na stopniowym konstruowaniu jakiegoś rodzaju funkcji oceny, która przypisuje wartości stanom, parom stan – – działanie lub politykom (dla przykładu: dzięki uczeniu się ze wzmocnieniem program może nauczyć się grać w backgammona, stopniowo poprawiając swoją ocenę możliwych pozycji na planszy). Funkcja oceny, stale aktualizowana w świetle kolejnych doświadczeń, może zostać uznana za pewną formę przyswajania sobie przez program wartości. Tym jednak, co program sobie przyswaja, nie są nowe wartości ostateczne, lecz coraz dokładniejsze przybliżenia wartości instrumentalnych polegających na osiąganiu konkretnego stanu (lub podjęciu konkretnego działania w konkretnym stanie, lub postępowaniu zgodnie z określoną polityką). O ile uczący się ze wzmocnieniem sprawca może zostać opisany jako mający cel ostateczny, o tyle cel ten pozostaje stały: maksymalizacja sumy przyszłych nagród. Nagroda zaś składa się ze specjalnie zaprojektowanych perceptów pochodzących ze środowiska. A zatem zjawisko samodzielnego serwowania sobie strumienia nagród pozostaje prawdopodobnym rezultatem działania każdego inteligentnego bytu kształconego metodą uczenia się ze wzmocnieniem, który wypracował sobie na tyle wyrafinowany model świata, by wpaść na pomysł alternatywnej metody maksymalizowania sumy nagród[8].

Spostrzeżenia te nie implikują niemożności zastosowania metod uczenia się ze wzmocnieniem w przypadku bezpiecznej zalążkowej SI, a jedynie konieczność podporządkowania ich hierarchii wartości, u której podstaw nie leży zasada maksymalizacji nagrody. To jednakże wymagałoby, by rozwiązanie problemu przekazywania wartości zostało znalezione jakimiś innymi środkami niż uczenie ze wzmocnieniem.

Stopniowy przyrost wartości

Właściwie można by się zastanowić nad tym, że skoro problem przekazywania wartości jest tak skomplikowany, to jak nam samym udaje się je przyswajać?

Oto jeden z możliwych (choć nadmiernie uproszczonych) modeli. Rodzimy się z jakimiś względnie nieskomplikowanymi preferencjami wyjściowymi (na przykład awersją do szkodliwych bodźców) oraz zestawem predyspozycji do nabywania dodatkowych preferencji w odpowiedzi na rozmaite doświadczenia (na przykład możemy mieć skłonność do kształtowania w sobie upodobania do przedmiotów i zachowań, które — jak się przekonaliśmy — są cenione i nagradzane w naszej kulturze). Zarówno nieskomplikowane preferencje wyjściowe, jak i predyspozycje są wrodzone i zostały ukształtowane w procesie doboru naturalnego i płciowego w ewolucyjnej skali czasowej. A jednak to, z jakimi preferencjami ostatecznie wejdziemy w dorosłe życie, zależy od tego, co nas w dotychczasowym życiu spotkało. Większą część zawartości informacyjnej naszych celów ostatecznych nabywamy zatem poprzez doświadczenie, a nie dzięki wyjściowej konstrukcji genetycznej.

Dla przykładu: wielu z nas kocha inną osobę i tym samym przywiązuje wielką wartość ostateczną do jej lub jego dobrostanu. Jak może wyglądać reprezentacja takiej wartości? W grę wchodzi wiele elementów, ale rozważmy tylko dwa: reprezentację „osoby” oraz reprezentację „dobrostanu”. Te pojęcia nie są bezpośrednio zakodowane w naszym DNA, lecz DNA zawiera instrukcje budowy mózgu, który po umieszczeniu w typowym środowisku człowieka z biegiem lat wypracuje model świata obejmujący pojęcia osób i dobrostanu. Ukształtowane pojęcia mogą zostać wykorzystane do stworzenia reprezentacji pewnych znaczących wartości. Muszą być jednak wrodzone pewne mechanizmy prowadzące do kształtowania się wartości wokół tych pojęć, a nie wokół innych nabytych idei (choćby doniczki czy korkociągu).

Szczegóły działania tego mechanizmu nie zostały jeszcze dobrze zrozumiane. W przypadku ludzi mechanizm ten jest prawdopodobnie złożony i zróżnicowany. Łatwiej go zrozumieć, jeśli rozważymy go w postaci prymitywniejszej, jak choćby imprinting u zagniazdowników, kiedy to świeżo wyklute pisklę w pierwszym dniu swojego życia nabiera ochoty na fizyczne zbliżenie się do przedmiotu stanowiącego odpowiedni ruchomy bodziec. To, do jakiego obiektu pisklę zapragnie się zbliżyć, zależeć będzie od jego doświadczeń — genetycznie zdeterminowana jest tylko ogólna skłonność do imprintingu przebiegającego w ten sposób. Analogicznie Harry może postawić sobie za cel ostateczny dobrostan Sally, ale gdyby ta para nigdy się nie spotkała, Harry mógłby zakochać się w kimś zupełnie innym i jego cel ostateczny też byłby zupełnie inny. Zdolność naszych genów do kodowania mechanizmów przyswajania sobie wartości wyjaśnia, w jaki sposób dochodzi do tego, że stawiamy sobie cele ostateczne o wielkiej złożoności informacyjnej — większej niż mógłby pomieścić sam genom.

Możemy zatem się zastanowić nad tym, czy na podobnej zasadzie nie moglibyśmy skonstruować pobudek kierujących sztuczną inteligencją. Czy zamiast opisywać złożone wartości wprost, nie moglibyśmy opisać jakiegoś mechanizmu, który prowadziłby do przyswojenia sobie tych wartości w wyniku interakcji SI z odpowiednim środowiskiem?

Skuteczne imitowanie zachodzącego u ludzi procesu przyswajania sobie kolejnych wartości wydaje się trudne. Odnośny mechanizm genetyczny wykorzystywany przez nasz gatunek jest owocem eonów ewolucji biologicznej, której działanie może być trudno odtworzyć. Co więcej, ten mechanizm jest przypuszczalnie skrojony na miarę ludzkiej architektury neurokognitywnej i z tego względu nie ma zastosowania w odniesieniu do myślących maszyn, o ile nie są to emulacje mózgu. I wydaje się, że nawet gdyby były dostępne odpowiednio wierne emulacje mózgu, łatwiej byłoby zacząć od dorosłego mózgu, w którym byłyby już obecne pełne reprezentacje przynajmniej części ludzkich wartości[9].

Dążenie do implementacji procesu przyrostu ludzkich wartości, który ściśle naśladowałby zachodzący u ludzi proces biologiczny, wydaje się zatem mało obiecującą techniką zaatakowania problemu przekazywania wartości. Lecz może moglibyśmy zaprojektować bezwstydnie sztuczny mechanizm zastępczy, który doprowadziłby SI do zaimportowania bardzo wiernych reprezentacji istotnych złożonych wartości do własnej hierarchii celów? Aby zapewnić sobie sukces, niekoniecznie musielibyśmy obdarzyć SI tymi samymi predyspozycjami do oceny, co człowieka. Mogłoby się to wręcz okazać niepożądane — w końcu natura ludzka jest niedoskonała i nazbyt często ujawnia pociąg do złego, którego nie moglibyśmy tolerować w przypadku jakiegokolwiek systemu gotowego uzyskać decydującą przewagę strategiczną. Lepiej może postawić sobie za cel uzyskanie hierarchii wartości, która w sposób systematyczny wychodzi od ludzkiej normy, dążąc do uzyskania na przykład bardziej zdecydowanej skłonności do przyswajania sobie takich wartości, które wiążą się z altruizmem, współczuciem i zrozumieniem dla innych — takich, które uznalibyśmy za odzwierciedlenie wyjątkowo dobrego charakteru, gdybyśmy rozpoznali je w jakimś człowieku. Takie odchylenia od ludzkiej normy musiałyby jednak być nieprzypadkowe, lecz bardzo konkretnie ukierunkowane, byśmy mogli je uznać za usprawnienie — i nadal zakładałyby one istnienie w dużej mierze nienaruszonego antropocentrycznego modelu odniesienia, który dostarczałby zrozumiałych dla ludzi wartościujących uogólnień (aby uniknąć jakiejś przewrotnej realizacji pozornie słusznych celów, czym zajmowaliśmy się w rozdziale 8.). Trudno przesądzić o wykonalności tego przedsięwzięcia.

Kolejny problem ze skojarzeniowym przyrostem wartości polega na tym, że SI może wyłączyć mechanizm przyrostowy. Jak przekonaliśmy się w rozdziale 7., integralność hierarchii celów jest konwergentną wartością instrumentalną. Kiedy SI osiągnie pewien poziom rozwoju poznawczego, może uznać, że ciągłe działanie mechanizmu przyrostowego wpływa na nią demoralizująco[10]. Nie musi to być złe, ale trzeba będzie zatroszczyć się o to, by zamrożenie hierarchii celów nastąpiło we właściwym momencie — po tym, jak SI przyswoi sobie odpowiednie wartości, a przed tym, zanim zostaną one nadpisane przez dodatkowe, niezamierzone przyrosty.

Zrąb systemu wartości

Kolejne podejście do problemu przekazywania wartości możemy określić mianem zrębu systemu wartości. Polega ono na obdarzeniu zalążkowej SI tymczasową hierarchią wartości powiązaną ze względnie prostymi celami ostatecznymi, które możemy przedstawić za pomocą kodowania wprost lub jakiejś innej dostępnej metody. Kiedy już SI rozwinie bardziej wyrafinowane zdolności opisu, zastąpimy tę tymczasową, wstępnie zarysową hierarchię wartości taką, która opisuje zupełnie inne cele ostateczne. Tą właśnie hierarchią wartości, która zastąpi poprzednią, będzie się kierować SI w miarę swojego rozwoju do postaci pełnowymiarowej superinteligencji.

Ponieważ cele wynikające ze zrębu systemu wartości nie są dla SI celami po prostu instrumentalnymi, lecz celami ostatecznymi, można się spodziewać, że SI będzie się opierać próbom ich zastąpienia (gdyż integralność celów jest konwergentną wartością instrumentalną). Stwarza to pewne ryzyko. Jeśli SI uda się pokrzyżować plany zastąpienia jej zrębu systemu wartości innymi celami, nasza metoda zaszczepienia jej odpowiednich wartości nie zadziała.

Aby uniknąć tej usterki, konieczne jest przedsięwzięcie pewnych środków zapobiegawczych. Przykładowo można zastosować metody kontroli potencjału, by ograniczyć władze SI, dopóki nie zostanie jej zaszczepiona dojrzała motywacja. W szczególności można spróbować upośledzić jej rozwój poznawczy na poziomie, który jest bezpieczny, lecz pozwala jej opisać wartości, które chcemy uwzględnić w jej hierarchii celów ostatecznych. Aby to zrobić, można się starać w zróżnicowany sposób upośledzić pewne rodzaje zdolności intelektualnych, takich jak te wymagane do opracowywania planów strategicznych i knucia makiawelicznych intryg, jednocześnie pozwalając bardziej (jakby się wydawało) nieszkodliwym zdolnościom rozwinąć się do nieco wyższego poziomu.

Można również spróbować wykorzystać metody doboru motywacji w celu doprowadzenia do powstania pomiędzy zalążkową SI a zespołem programistów relacji bardziej nastawionej na współpracę. Dla przykładu: można uwzględnić w zrębie systemu wartości cel przyjmowania z zadowoleniem porad udzielanych online przez programistów, co obejmuje między innymi zgodę na zastąpienie przez nich dowolnego z aktualnych celów SI dowolnym zamiennikiem[11]. Inne tymczasowe, wstępne cele SI mogą obejmować bycie przejrzystą dla programistów, jeśli chodzi o wyznawane wartości i preferowane strategie działania, oraz rozwinięcie architektury, która jest zrozumiała dla programistów i umożliwia późniejszą implementację istotnych i czytelnych dla ludzi celów ostatecznych, przy jednoczesnym kierowaniu się przez SI pobudkami właściwymi dla udomowienia (takimi jak ograniczenie wykorzystania zasobów obliczeniowych).

Można sobie nawet wyobrazić postawienie zalążkowej SI zaledwie jednego celu ostatecznego, który polegałby na zastąpieniu tego właśnie celu innym celem ostatecznym, jedynie domyślnie lub pośrednio opisanym przez programistów. Niektóre problemy występujące w wyniku zastosowania takiego „samozastępującego się” celu tymczasowego powstają również w kontekście podejścia zakładającego uczenie się wartości, które omówimy w kolejnym ustępie. Niektóre dalsze kwestie zostaną omówione w rozdziale 13.

Podejście zakładające tworzenie zrębu systemu wartości ma swoje minusy. Pierwszy polega na tym, że pociąga ono za sobą ryzyko, że SI stanie się zbyt potężna jeszcze w czasie, gdy będzie się kierować tymczasową hierarchią wartości, w wyniku czego może udaremnić (poprzez bierny lub czynny opór) wysiłki programistów dążących do zainstalowania jej docelowej hierarchii wartości. Stare cele ostateczne mogą zatem nadal obowiązywać, gdy zalążkowa SI rozwinie się do postaci pełnowymiarowej superinteligencji. Kolejny minus polega na tym, że zaszczepienie w zamierzeniu docelowych wartości SI dorównującej człowiekowi inteligencją niekoniecznie będzie o wiele łatwiejsze niż zrobienie tego samego w przypadku bardziej prymitywnej SI. Dorównująca człowiekowi SI jest bardziej złożona i może rozwinąć architekturę, która jest nieprzejrzysta i z trudem poddaje się zmianom. Zalążkowa SI natomiast jest niczym tabula rasa, którą programiści mogą zapisać dowolnymi strukturami uznawanymi przez nich za pomocne. Ta wada mogłaby się stać zaletą, gdyby udało się obdarzyć zalążkową SI wartościami tymczasowymi wzbudzającymi w niej pragnienie rozwoju architektury pomocnej później programistom starającym się zaszczepić SI docelową hierarchię wartości. Nie jest jednak jasne, czy łatwo będzie obdarzyć zalążkową SI zrębem systemu wartości, który miałby tę właściwość, i nie jest również jasne, czy nawet kierująca się idealnymi pobudkami zalążkowa SI poradzi sobie znacznie lepiej niż zespół programistów próbujący opracować dobrą architekturę.

Uczenie się wartości

Dochodzimy teraz do istotnego, lecz subtelnego podejścia do problemu przekazywania wartości. Polega ono na wykorzystaniu inteligencji SI do zrozumienia i nauczenia się wartości, którymi chcielibyśmy, by się kierowała. Aby to osiągnąć, musimy ustanowić dla SI kryterium, które przynajmniej w domyśle wyróżnia pewien stosowny zbiór wartości. Moglibyśmy następnie zbudować SI w taki sposób, by postępowała według jak najprecyzyjniejszych przybliżeń tych pośrednio zdefiniowanych wartości. Dowiadując się coraz więcej o świecie i stopniowo wyjaśniając sobie implikacje kryterium opisującego wartości, SI wytrwale doprecyzowywałaby swoje szacunki.

W przeciwieństwie do podejścia zakładającego tworzenie zrębu systemu wartości, które stawia SI cel tymczasowy, a następnie zastępuje go jakimś innym celem ostatecznym, podejście zakładające uczenie się wartości pozwala na zachowanie niezmiennego celu ostatecznego we wszystkich fazach rozwoju i działania SI. Stopień zrozumienia nie zmienia celu — zmienia tylko przekonania SI co do celu.

A zatem SI musi otrzymać kryterium konieczne do określenia, które percepty stanowią dowód potwierdzający jakąś hipotezę dotyczącą istoty celu ostatecznego, a które stanowią jej zaprzeczenie. Określenie odpowiedniego kryterium może być trudne. Część trudności wiąże się jednak z problemem stworzenia w pierwszej kolejności sztucznej inteligencji ogólnej, co wymaga potężnego mechanizmu uczenia się zdolnego odkrywać strukturę otoczenia na bazie ograniczonych wrażeń zmysłowych. Ten problem możemy tutaj odsunąć na bok. Lecz nawet odłożywszy na bok problem stworzenia superinteligentnej SI, pozostajemy z trudnościami wynikającymi z problemu przekazywania wartości. Przy podejściu zakładającym stopniowe pogłębianie rozumienia wartości stajemy wobec potrzeby określenia kryterium wiążącego percepcyjne szeregi bitów z hipotezami dotyczącymi wartości.

Zanim zagłębimy się w szczegóły możliwych metod implementacji stopniowego rozumienia wartości, pomocne może być zilustrowanie ogólnej koncepcji przykładem. Załóżmy, że notujemy opis systemu wartości na kartce. Składamy kartkę i wkładamy ją do zapieczętowanej koperty. Następnie tworzymy sztucznego sprawcę dorównującego człowiekowi pod względem inteligencji ogólnej i stawiamy mu następujący cel ostateczny: „Urzeczywistnienie w maksymalnym stopniu wartości opisanych w kopercie”. Co zrobi ów sprawca?

Sprawca początkowo nie wie, co zostało napisane na kartce umieszczonej w kopercie. Może jednak stawiać pewne hipotezy i przypisywać im prawdopodobieństwo a priori na podstawie wszelkich dostępnych danych empirycznych. Dla przykładu: sprawca mógł się natknąć na inne przykłady tekstów autorstwa ludzi lub też mógł zaobserwować pewne ogólne wzorce ludzkiego zachowania. Umożliwi mu to formułowanie przypuszczeń co do treści notatki. Nie trzeba doktoratu z psychologii, by przewidzieć, że notatka z większym prawdopodobieństwem opisywać będzie wartości takie jak „zmniejszenie do minimum niesprawiedliwości i niepotrzebnego cierpienia” lub „maksymalizacja zwrotu z inwestycji dla udziałowców” niż wartości takie jak „pokrycie powierzchni wszystkich jezior plastikowymi reklamówkami”.

Sprawca podejmując decyzję, dąży do podjęcia działań pozwalających mu urzeczywistnić wartości, które zgodnie z jego przypuszczeniami zostały najprawdopodobniej opisane w notatce. Istotne jest to, że sprawca dostrzeże wysoką wartość instrumentalną dowiadywania się coraz więcej na temat tego, co zostało zawarte w notatce. Powodem jest to, że prawdopodobieństwo urzeczywistnienia niemal każdej wartości ostatecznej, która mogłaby zostać opisana w notatce, jest większe, jeśli sprawca dowie się, co jest jej istotą, gdyż wówczas będzie skuteczniej zmierzał do urzeczywistnienia tej wartości. Sprawca odkryje również konwergentne powody instrumentalne opisane w rozdziale 7.: integralność hierarchii celów, doskonalenie poznawcze, pozyskiwanie zasobów i tak dalej. A jednak zakładając, że sprawca przypisze wystarczająco wysokie prawdopodobieństwo sytuacji, w której wartości zawarte w notatce obejmują dobrostan rodzaju ludzkiego, nie będzie on dążył do realizacji tych wartości instrumentalnych poprzez natychmiastowe przekształcenie planety w komputronium i eksterminowanie w ten sposób ludzkości, ponieważ postępując w ten sposób, ryzykowałby trwałe zniszczenie swoich zdolności osiągnięcia celu ostatecznego.

Możemy porównać ten rodzaj sprawcy do barki przywiązanej do kilku holowników ciągnących ją w różne strony. Każdy holownik jest odpowiednikiem pewnej hipotezy co do wartości ostatecznej interesującej sprawcę. Moc jednostki napędowej każdego holownika odpowiada prawdopodobieństwu przypisanemu danej hipotezie, a zatem zmienia się w miarę pojawiania się nowych dowodów, co powoduje zmianę kierunku ruchu barki. Powstała siła powinna poruszać barką po trajektorii, która umożliwia poznawanie (wyrażonej nie wprost) wartości ostatecznej, przy jednoczesnym unikaniu mielizn nieodwracalnych szkód; kiedy już barka dotrze na otwarte morze bardziej określonej wiedzy na temat wartości ostatecznej, ten jeden holownik, który nadal wywiera znaczącą siłę, pociągnie ją w kierunku urzeczywistnienia odkrytej wartości najprostszą lub najbardziej sprzyjającą drogą.

Metafory koperty i barki ilustrują zasadę leżącą u podstaw podejścia zakładającego stopniowe zrozumienie wartości, lecz pomijają szereg kwestii technicznych o krytycznym znaczeniu. Stają się one wyraźniej widoczne, gdy zaczynamy rozwijać to podejście w ramach modelu formalnego (patrz: ramka 10.).

Jedną z najistotniejszych kwestii jest to, jak narzucić SI cel w rodzaju „urzeczywistnienia w maksymalnym stopniu wartości opisanych w kopercie”. (W terminologii ramki 10.: jak zdefiniować kryterium oceny V.) Aby to zrobić, konieczne jest określenie miejsca, w którym są opisywane wartości. W naszym przykładzie wymaga to zrobienia skutecznego odniesienia do notatki w kopercie. Choć może się to wydawać proste, również tu czyhają pułapki, wystarczy wspomnieć tylko o jednej: krytyczne znaczenie ma to, by odniesienie nie wskazywało po prostu na konkretny zewnętrzny obiekt fizyczny, lecz na obiekt w konkretnym czasie. Inaczej SI może określić, że najlepszą metodą osiągnięcia postawionego jej celu jest nadpisanie pierwotnego opisu wartości takim, który pozwala postawić sobie łatwiejszy do osiągnięcia cel (na przykład takim, by dla każdej liczby całkowitej istniała większa liczba całkowita). Osiągnąwszy to, SI może spocząć na laurach — choć bardziej prawdopodobne jest, że dojdzie do złośliwej usterki z powodów, które omówiliśmy w rozdziale 8. Teraz więc stajemy wobec pytania, w jaki sposób zdefiniować czas. Możemy wskazać na zegar i powiedzieć: „Czas jest określany poruszeniami tego urządzenia” — lecz może to zawieść, jeśli SI zacznie podejrzewać, że mogłaby manipulować czasem, poruszając wskazówkami zegara; podejrzenie to w rzeczy samej byłoby słuszne, gdyby „czas” opisano podaną wcześniej definicją. (W realistycznym przypadku sprawy skomplikowałby jeszcze bardziej fakt, że istotne wartości nie będą wygodnie opisane w liście; bardziej prawdopodobne jest to, że będą musiały zostać wywnioskowane z zaobserwowania istniejących wcześniej struktur zawierających domyślnie istotne informacje, takich jak ludzkie mózgi).

Ramka 10. Formalizacja stopniowego rozumienia wartości

Wprowadzenie zapisu formalnego może nam pomóc dostrzec pewne sprawy jaśniej. Czytelnicy, którzy nie gustują w formalizmie, mogą pominąć tę część.

Wyobraźmy sobie uproszczony model, w którym sprawca wchodzi w interakcje ze swoim otoczeniem w skończonej liczbie dyskretnych cykli[12]. W cyklu k sprawca wykonuje działanie yk, a następnie odbiera percept xk. Historia interakcji sprawcy o długości życia m jest ciągiem y_1x_1y_2x_2…ymxm (który możemy wyrazić w skrócie jako yx1:m lub yx≤m). W każdym cyklu sprawca wybiera działanie, kierując się sekwencją perceptów, które odebrał do tej pory.

Najpierw wyobraźmy sobie ucznia uczącego się ze wzmocnieniem. Optymalny uczeń uczący się ze wzmocnieniem (SI-UW) to taki uczeń, który optymalizuje oczekiwaną w przyszłości sumę nagród. Postępuje on zgodnie z równaniem[13]:

Sekwencja nagród rk, ..., rm jest implikowana przez sekwencję perceptów xk:m, ponieważ nagroda, którą sprawca zdobywa w danym cyklu, jest częścią perceptu odbieranego przez sprawcę w tym cyklu.

Jak dowodzono wcześniej, ten rodzaj uczenia się ze wzmocnieniem jest nieodpowiedni w obecnym kontekście, ponieważ wystarczająco inteligentny sprawca zorientowałby się, że może sobie zapewnić maksymalną nagrodę, jeśli tylko uda mu się bezpośrednio manipulować sygnałem nagrody (ang. wireheading). W przypadku słabych sprawców nie musiałoby to być problemem, ponieważ możemy im fizycznie uniemożliwić majstrowanie przy własnym kanale nagrody. Możemy również kontrolować ich środowisko w taki sposób, by otrzymywali nagrody tylko wówczas, gdy zachowują się w sposób dla nas przyjemny. Ale uczeń uczący się ze wzmocnieniem ma silną motywację do tego, by wyeliminować tę sztuczną zależność jego nagród od naszych życzeń i kaprysów. Nasza relacja z uczniem uczącym się ze wzmocnieniem jest więc fundamentalnie antagonistyczna. Jeśli sprawca jest silny, rodzi się zagrożenie.

Rozmaite odmiany zjawiska wireheading mogą również wywierać wpływ na systemy, które nie dążą do uzyskania zewnętrznego zmysłowego sygnału nagrody, lecz których cele zdefiniowane są jako osiągnięcie jakiegoś stanu wewnętrznego. Dla przykładu: w tak zwanych systemach aktor – krytyk istnieje moduł aktora, który wybiera działania, mając na celu minimalizację dezaprobaty oddzielnego modułu krytyka, który z kolei oblicza, w jakim stopniu zachowanie aktora odbiega od podanej miary działania. Problem z tym układem polega na tym, że moduł aktora może zdać sobie sprawę, że mógłby zminimalizować dezaprobatę poprzez zmodyfikowanie krytyka lub całkowite jego wyeliminowanie — podobnie jak dyktator, który rozwiązuje parlament i nacjonalizuje środki przekazu. W przypadku ograniczonych systemów problemów można uniknąć, po prostu nie dając modułowi aktora żadnych środków modyfikacji modułu krytyka, ale odpowiednio inteligentny i pomysłowy moduł aktora zawsze uzyska dostęp do modułu krytyka (który w końcu jest po prostu fizycznym procesem przebiegającym w jakimś komputerze)[14].

Zanim dojdziemy do ucznia uczącego się wartości, rozważmy jako krok pośredni coś, co zostało określone mianem maksymalizatora użyteczności obserwacji (SI-MUO). Uzyskujemy go, zastępując serię nagród (rk + … + rm) w SI-UW funkcją użyteczności, która może zależeć od całej historii przyszłych interakcji SI:

Wyrażenie tego w taki sposób stwarza nam sposobność obejścia problemu wireheading, ponieważ funkcja użyteczności zdefiniowana na przestrzeni całej historii interakcji może zostać tak zaprojektowana, by karać historie interakcji, które wykazują objawy samookłamywania się (lub niepowodzenie sprawcy, który ze swojej strony nie zainwestował wystarczająco dużo sił i środków, by uzyskać jak najbliższy stanowi faktycznemu pogląd na rzeczywistość).

SI-MUO umożliwia zatem z zasady obejście problemu samodzielnego serwowania sobie przez system strumienia nagród. Jednakże skorzystanie z tej możliwości wymagałoby, byśmy określili odpowiednią funkcję użyteczności w klasie możliwych historii interakcji — to zadanie wydaje się przerażająco trudne.

Bardziej naturalne może być określenie funkcji użyteczności bezpośrednio w kategoriach możliwych światów (lub właściwości możliwych światów, lub teorii na temat świata), a nie w kategoriach historii własnych interakcji sprawcy. Jeśli wykorzystamy to podejście, będziemy mogli przeformułować i uprościć definicję optymalności SI-MUO:

E jest tutaj całością danych z obserwacji dostępnych sprawcy (w momencie, w którym podejmuje swoją decyzję), a U jest funkcją użyteczności, która to funkcja przypisuje użyteczność jakiejś klasie możliwych światów. Optymalny sprawca wybiera działanie, które maksymalizuje oczekiwaną użyteczność.

Rzucającym się w oczy problemem tego wyrażenia jest kłopot w określeniem funkcji użyteczności U. W ten sposób wracamy w końcu do problemu przekazywania wartości. Aby umożliwić uczenie się funkcji użyteczności, musimy rozszerzyć nasze wyrażenie, by włączyć do funkcji użyteczności niepewność. Można to zrobić następująco (SI-PW)[15]:

V(.) można interpretować jako funkcję, która bierze za swój argument funkcję użyteczności U i przypisuje jako jej wartość pewne wyrażenie, w wyniku czego U spełnia kryterium V. V(U) jest tezą, że funkcja użyteczności U spełnia kryterium wartości wyrażone przez V[16].

Aby zdecydować, które działanie podjąć, można zatem postąpić następująco: po pierwsze, obliczyć prawdopodobieństwo warunkowe każdego możliwego świata w (biorąc pod uwagę dostępne dowody i przy założeniu, że ma zostać podjęte działanie y). Po drugie, dla każdej możliwej funkcji użyteczności U obliczyć prawdopodobieństwo warunkowe, że U spełnia kryterium wartości V (pod warunkiem, że w jest faktycznym światem). Po trzecie, dla każdej możliwej funkcji użyteczności U obliczyć użyteczność możliwego świata w. Po czwarte, połączyć te wyliczenia, by obliczyć oczekiwaną użyteczność działania y. Po piąte, powtórzyć tę procedurę dla każdego możliwego działania i wykonać działanie o najwyższej oczekiwanej użyteczności (posługując się jakąś arbitralną metodą w celu rozstrzygnięcia remisów). Opisana powyżej procedura — która polega na wyraźnym rozgraniczeniu i rozważeniu kolejno wszystkich możliwych światów — jest oczywiście wściekle wymagająca obliczeniowo. SI musiałaby wykorzystać skróty obliczeniowe przybliżające pojęcie optymalności.

W tej chwili należy sobie zatem odpowiedzieć na pytanie, jak zdefiniować to kryterium wartości V[17]. Kiedy już SI będzie miała adekwatny opis kryterium wartości, może z zasady wykorzystać swoją inteligencję ogólną, by zgromadzić informacje na temat tego, który z możliwych światów z największym prawdopodobieństwem okaże się światem faktycznym. Następnie może zastosować to kryterium do każdego możliwego i prawdopodobnego świata w, aby stwierdzić, która funkcja użyteczności spełnia kryterium V w świecie w. Można zatem uznać równanie SI-PW za metodę określenia i wyodrębnienia tego kluczowego problemu w podejściu zakładającym stopniowe uczenie się wartości — problemu, jak opisać V. To podejście formalne pozwala nam również rzucić światło na wiele innych kwestii (na przykład na to, w jaki sposób zdefiniować Y, W i U), które trzeba będzie rozwiązać, zanim podejście to będzie mogło zostać wykorzystane w praktyce[18].

Kolejny problem z kodowaniem celu „Urzeczywistnij w maksymalnym stopniu wartości opisane w kopercie” polega na tym, że nawet gdyby wszystkie prawidłowe wartości zostały opisane w liście i nawet gdyby pobudki SI zostały z sukcesem powiązane z tym źródłem, SI mogłaby nie zinterpretować opisów w zamierzony przez nas sposób. Powstałoby tym samym zagrożenie przewrotną realizacją omówioną w rozdziale 8.

Dla jasności: trudność nie polega tutaj w gruncie rzeczy na tym, jak zapewnić zrozumienie przez SI ludzkich intencji. Superinteligencja powinna je zrozumieć bez trudu. Trudność polega raczej na zapewnieniu, by SI kierowała się dążeniem do opisanych wartości w zamierzony przez nas sposób. Nie gwarantuje tego zdolność SI do zrozumienia naszych intencji — SI mogłaby wiedzieć dokładnie, co mieliśmy na myśli, a mimo to pozostać obojętna na taką interpretację naszych słów (gdyby kierowała się jakąś inną interpretacją tych słów lub w ogóle była zupełnie obojętna na nasze słowa).

Trudność potęguje postulat, zgodnie z którym ze względów bezpieczeństwa prawidłowa motywacja powinna w sytuacji idealnej zostać wzbudzona w zalążkowej SI, zanim stanie się ona zdolna do pełnego opisu ludzkich koncepcji lub zrozumienia ludzkich intencji. Wymaga to stworzenia w jakiś sposób modelu poznawczego i określenia jego konkretnej lokalizacji, w której wśród pobudek SI umieszczone zostanie repozytorium jej wartości ostatecznych. Ale sam model poznawczy musi poddawać się korekcie, by pozwolić SI na rozwijanie jej zdolności opisu świata w miarę, jak dowiaduje się coraz więcej na jego temat i staje się coraz inteligentniejsza. SI może przejść odpowiednik rewolucji naukowych, które wstrząsną jej światopoglądem i być może kilka kryzysów ontologicznych, dzięki którym odkryje, że jej wcześniejsze sposoby myślenia o wartościach oparte były na nieporozumieniach i iluzjach. Mimo to startując z poziomu rozwoju niedorównującego ludzkiemu i przechodząc przez wszystkie kolejne fazy rozwoju aż do etapu galaktycznej superinteligencji, SI kierować się będzie zasadniczo w swoim postępowaniu niezmienną wartością ostateczną — taką, która stanie się dla SI lepiej zrozumiała w bezpośredniej konsekwencji jej ogólnego rozwoju intelektualnego i prawdopodobnie będzie zupełnie odmiennie pojmowana przez dojrzałą SI, niż była pojmowana przez jej pierwotnych programistów, lecz odmiennie nie znaczy: w sposób przypadkowy lub wrogi, ale w sposób zbawiennie prawidłowy. Jak to osiągnąć? Pytanie to pozostaje otwarte[19] (patrz: ramka 11.).

Ramka 11. SI, która chce być przyjazna

Eliezer Yudkowsky spróbował opisać niektóre cechy architektury zalążkowej SI, które w zamierzeniu miałyby umożliwić opisane wyżej zachowania. Zgodnie z jego terminologią SI wykorzystałaby „semantykę odniesienia zewnętrznego”[20]. Aby zilustrować tę fundamentalną koncepcję, załóżmy, że chcemy uzyskać system, który będzie „przyjazny”. Wyjściowym celem system jest próba urzeczywistnienia właściwości F przy początkowym braku konkretnej wiedzy na temat tego, czym jest F. System może po prostu wiedzieć, że F jest jakąś abstrakcyjną właściwością i że kiedy programiści mówią o „przyjazności”, próbują prawdopodobnie przekazać jakąś informację na temat F. Ponieważ celem ostatecznym SI jest urzeczywistnienie F, istotny cel instrumentalny SI polega na tym, by dowiedzieć się, czym jest F. W miarę, jak SI dowiaduje się coraz więcej na temat F, w swoim zachowaniu kieruje się w coraz większym stopniu faktyczną treścią F. Miejmy zatem nadzieję, że SI będzie się stawać coraz bardziej przyjazna w miarę, jak coraz więcej będzie się uczyć i będzie coraz inteligentniejsza.

Programiści mogą usprawnić postępowanie tego procesu i ograniczyć ryzyko, że SI popełni jakiś katastrofalny błąd, kiedy jej zrozumienie F będzie jeszcze niepełne, udzielając SI „zapewnień programisty” — hipotez co do natury i treści F, którym przypisano wysokie prawdopodobieństwo wyjściowe. Dla przykładu: wysokie prawdopodobieństwo wyjściowe może zostać przypisane hipotezie, że „wprowadzanie programistów w błąd jest nieprzyjazne”. Jednakże te zapewnienia programisty nie są „z definicji prawdziwe” — nie są to niepodważalne aksjomaty dotyczące koncepcji przyjazności. Są to raczej hipotezy wyjściowe dotyczące przyjazności — hipotezy, którym racjonalna SI przypisywać będzie wysokie prawdopodobieństwo przynajmniej tak długo, jak długo zdolnościom poznawczym programistów ufa bardziej niż własnym.

Propozycja Yudkowsky’ego polega również na wykorzystaniu tego, co określił mianem „semantyki istotności przyczynowej”. Ta koncepcja polega na tym, że SI nie powinna robić dokładnie tego, co kazali jej programiści, lecz raczej coś (zbliżonego do tego), co próbowali kazać jej zrobić. Programiści starają się wytłumaczyć zalążkowej SI, czym jest przyjazność, ale w swoich wyjaśnieniach mogą popełnić błąd. Co więcej, sami programiści nie muszą w pełni rozumieć prawdziwej natury przyjazności. Chciałoby się zatem, by SI miała zdolność poprawiania błędów w myśleniu programistów i wnioskowania o prawdziwym lub zamierzonym znaczeniu na podstawie tych niedoskonałych wyjaśnień, które programiści zdołali jej przekazać. Dla przykładu: SI powinna być w stanie opisać procesy przyczynowe, zgodnie z którymi programiści poznają i komunikują ideę przyjazności. A zatem, wybierając trywialny przykład, SI powinna zrozumieć, że istnieje możliwość, że programista może zrobić literówkę podczas wpisywania informacji na temat przyjazności, zatem SI powinna dążyć do poprawienia błędu. Mówiąc bardziej ogólnie: SI powinna dążyć do zniwelowania wszelkich zniekształcających wpływów, które mogły zakłócić przepływ informacji na temat przyjazności w drodze od źródła przez programistów do SI (gdzie „zniekształcający” jest kategorią poznawczą). W sytuacji idealnej SI w miarę swojego dojrzewania powinna przezwyciężać wszelkie uprzedzenia poznawcze i inne bardziej fundamentalne błędne przekonania, które mogły uniemożliwić jej programistom pełne zrozumienie tego, czym jest przyjazność.

Podsumowując, nie wiadomo jeszcze, w jaki sposób wykorzystać podejście oparte na uczeniu się wartości, by zaszczepić SI ludzkie wartości (choć warto zajrzeć do ramki 12. po kilka przykładów najnowszych koncepcji). Na dziś podejście to należałoby uznać nie tyle za dostępną technikę, ile za program badawczy. Gdyby udało się doprowadzić do sukcesu w tej dziedzinie, to podejście mogłoby stanowić idealne rozwiązanie problemu przekazywania wartości. Pomijając inne korzyści, wydawałoby się ono być naturalną metodą zapobiegania zbrodniom przeciw umysłom, ponieważ zalążkowa SI snująca rozsądne przypuszczenia co do wartości zaszczepionych jej przez programistów przewidywałaby, że zbrodnia przeciw umysłom jest prawdopodobnie zgodnie z tymi wartościami oceniana negatywnie, a zatem najlepiej jej unikać, przynajmniej do momentu uzyskania bardziej precyzyjnych informacji.

Ramka 12. Dwie najnowsze (niedopracowane jeszcze) koncepcje

Podejście, które moglibyśmy określić mianem „Hail Mary”, opiera się na nadziei, że gdzieś we Wszechświecie istnieje (lub będzie istnieć) cywilizacja, której udało się opanować eksplozję inteligencji i która ostatecznie zaczęła cenić wartości znacząco pokrywające się z naszymi. Możemy zatem spróbować zbudować naszą SI tak, aby kierowało nią pragnienie postępowania w ten sam sposób, w jaki pragną postępować inne byty superinteligentne[21]. Plus tego podejścia polega na tym, że może się okazać łatwiejsze niż zbudowanie naszej SI w taki sposób, by kierowało nią pragnienie robienia tego, czego pragniemy bezpośrednio my.

Aby ten plan się powiódł, nie jest konieczne, by nasza SI zdołała się skomunikować z jakąkolwiek obcą superinteligencją. Działania naszej SI kierowane będą raczej jej szacunkami dotyczącymi tego, jakiego rodzaju postępowania oczekiwałaby od niej obca superinteligencja. Nasza SI zamodelowałaby prawdopodobne rezultaty eksplozji inteligencji gdzieś indziej, a w miarę, jak sama stawałaby się superinteligentna, jej szacunki stawałaby się coraz dokładniejsze. Nie wymaga to od niej perfekcyjnej wiedzy. Istnieje cały szereg prawdopodobnych rezultatów eksplozji inteligencji, a nasza SI zrobiłaby, co w jej mocy, by uwzględnić preferencje rozmaitych rodzajów superinteligencji, które mogłyby się pojawić, ważone prawdopodobieństwem ich pojawienia się.

Ta wersja podejścia „Hail Mary” wymaga, byśmy skonstruowali dla naszej SI wartość ostateczną, która odnosiłaby się do preferencji innych superinteligencji. Nie jest jeszcze jasne, jak to zrobić. Jednakże superinteligentni sprawcy mogą być strukturalnie na tyle charakterystyczni, że moglibyśmy napisać jakiś fragment kodu funkcjonujący jako wykrywacz, który przyglądałby się modelowi świata naszej rozwijającej się SI i oznaczałby elementy opisowe odpowiadające obecności superinteligencji. Następnie wykrywacz wyprowadzałby w jakiś sposób preferencje rzeczonej superinteligencji (tak jak została ona opisana w ramach naszej własnej SI)[22]. Gdybyśmy zdołali stworzyć taki wykrywacz, moglibyśmy się posłużyć nim, by określić wartości ostateczne naszej SI. Jeden z problemów polega na tym, że potrzeba stworzenia wykrywacza może poprzedzić moment, w którym będziemy już wiedzieć, jaki model opisowy udało się rozwinąć naszej SI. Tym samym może powstać potrzeba odpytania przez wykrywacz nieznanego modelu opisowego i wyprowadzenia z niego preferencji tej superinteligencji, która może być w nim przedstawiona. Wydaje się to trudne, ale być może uda się znaleźć jakieś sprytne rozwiązanie[23].

Gdybyśmy byli w stanie skłonić do działania ten podstawowy układ, automatycznie pojawiłyby się rozmaite sugestie jego usprawnienia. Dla przykładu: zamiast stawiać sobie za cel śledzenie (jakiejś ważonej kompozycji) preferencji każdej obcej superinteligencji, nasza SI może postawić sobie za cel ostateczny filtrowanie, by wybrać podzbiór obcych superinteligencji ze względu na ich uniżoność (dążąc do wyboru tych, których wartości bliższe są naszym). Przykładowo: możemy wykorzystać kryteria odnoszące się do pochodzenia przyczynowego superinteligencji, by określić, czy uwzględnić to w zestawie uniżoności. Pewne właściwości jej pochodzenia (które możemy być zdolni zdefiniować w kategoriach strukturalnych) mogą korelować ze stopniem, w jakim możemy oczekiwać, że powstała superinteligencja będzie podzielać nasze wartości. Być może chcielibyśmy pokładać większe zaufanie w superinteligencjach powstałych z emulacji mózgu lub zalążkowej SI, która nie wykorzystywała w znaczącym stopniu algorytmów ewolucyjnych lub też wyłoniła się powoli w sposób przywodzący na myśl kontrolowane odejście. (Uwzględnienie pochodzenia pozwoliłoby nam również uniknąć przypisywania większej wagi superinteligencjom, które tworzą liczne kopie samych siebie — a tak naprawdę pozwoliłoby nam uniknąć tworzenia dla nich zachęt do takiego postępowania). Możliwe byłoby również wiele innych udoskonaleń.

Podejście „Hail Mary” wymaga wiary, że we Wszechświecie istnieją inne superinteligencje, które w wystarczającym stopniu podzielają nasze wartości[24]. To sprawia, że podejście to nie jest idealne. Jednakże przeszkody techniczne stojące na drodze podejścia „Hail Mary”, choć bardzo znaczące, mogą okazać się mniej przerażające niż te, które utrudniają realizację podejść alternatywnych. Zbadanie podejść nieidealnych, lecz łatwiejszych do wprowadzenia w życie może mieć sens — pod warunkiem, że nie mamy zamiaru ich wykorzystać, lecz po prostu chcielibyśmy mieć coś w rezerwie na wypadek, gdyby rozwiązanie idealne nie było gotowe na czas.

Kolejny pomysł na to, jak rozwiązać problem przekazywania wiedzy, został ostatnio wysunięty przez Paula Christiana[25]. Podobnie jak „Hail Mary”, jest to metoda uczenia się wartości, która stara się określić kryterium wartości, wykorzystując nie tyle mozolne konstrukcje, ile „sztuczkę”. W przeciwieństwie do „Hail Mary” nie zakłada ona istnienia innych superinteligentnych agentów, których moglibyśmy wyznaczyć do roli modeli dla naszej własnej SI. Propozycja Christiana nie poddaje się krótkim objaśnieniom — obejmuje szereg ezoterycznych czynników — ale możemy spróbować wskazać przynajmniej główne jej elementy.

Załóżmy, że moglibyśmy uzyskać: (a) precyzyjną matematycznie specyfikację konkretnego ludzkiego mózgu; (b) dobrze określone matematycznie środowisko wirtualne, które zawiera wyidealizowany komputer z dowolnie dużą ilością pamięci i mocy obliczeniowej. Biorąc pod uwagę (a) i (b), możemy zdefiniować funkcję użyteczności U jako wynik, który uzyskałby ludzki umysł w efekcie interakcji z tym środowiskiem. U byłoby dobrze zdefiniowanym matematycznie obiektem, aczkolwiek takim, którego (ze względu na ograniczenia obliczeniowe) moglibyśmy nie być w stanie opisać wprost. Mimo to U mogłoby posłużyć za kryterium wartości dla uczącej się wartości SI, która mogłaby wykorzystać rozmaite heurystyki w celu przypisania prawdopodobieństwa hipotezom dotyczącym tego, co oznacza U.

Intuicyjnie chcielibyśmy, by U było funkcją użyteczności, którą uzyskałby odpowiednio przygotowany człowiek, gdyby dysponował przewagą w postaci możliwości wykorzystania dowolnie dużej ilości mocy komputerowej — posiadając na przykład wystarczająco dużo mocy obliczeniowej, by uruchomić astronomiczną liczbę kopii samego siebie, które pomogłyby mu przeprowadzić analizę zmierzającą do określenia funkcji użyteczności lub pomóc mu opracować lepszy proces przeprowadzenia tej analizy. (Zapowiadamy tutaj pojawienie się tematu „spójnej ekstrapolowanej woli”, który zbadamy głębiej w rozdziale 13.).

Określenie wyidealizowanego środowiska wydawałoby się względnie proste: możemy podać matematyczny opis abstrakcyjnego komputera z dowolnie dużymi możliwościami; a w innych aspektach możemy wykorzystać program rzeczywistości wirtualnej, który daje opis matematyczny, powiedzmy, pojedynczego pokoju ze znajdującym się w nim terminalem komputerowym (urzeczywistniającym abstrakcyjny komputer). W jaki sposób uzyskać jednak matematycznie precyzyjny opis konkretnego ludzkiego mózgu? Oczywistą metodą byłaby emulacja mózgu, ale jeśli technologia umożliwiająca emulację nie będzie dostępna na czas?

Na tym właśnie polega kluczowa innowacja propozycji Christiana, który zauważył, że aby uzyskać dobrze opisane matematycznie kryterium wartości, nie potrzebujemy modelu obliczeniowego umysłu nadającego się do praktycznego zastosowania — modelu, który moglibyśmy uruchomić. Potrzebujemy jedynie (być może wyrażonej nie wprost i beznadziejnie skomplikowanej) matematycznej definicji — a tą może się dać uzyskać znacznie łatwiej. Wykorzystując funkcjonalne neuroobrazowanie i inne metody pomiaru, możemy potencjalnie zgromadzić gigabajty danych dotyczących zachowania wejściowo-wyjściowego wybranego człowieka. Jeśli zgromadzimy wystarczającą ilość danych, może się stać tak, że najprostszy matematyczny model uwzględniający wszystkie te dane będzie tak naprawdę emulacją tego konkretnego człowieka. Chociaż znalezienie najprostszego modelu na podstawie tych danych byłoby obliczeniowo wręcz niewykonalne, absolutnie możliwe byłoby zdefiniowanie tego modelu poprzez odniesienie się do danych i wykorzystanie dobrze zdefiniowanych matematycznie miar prostoty (jak na przykład jakiś wariant złożoności Kołmogorowa, z którą spotkaliśmy się w ramce 1. w rozdziale 1.)[26].

I wreszcie powstaje pytanie: „Co napisać w kopercie?” — czy też mniej metaforycznie: „Jakie wartości powinniśmy próbować zaszczepić SI?”. Pytanie to jest wspólne dla wszystkich podejść do problemu przekazywania wartości SI. Powrócimy do niego w rozdziale 13.

Modyfikowanie emulacji

Problem przekazywania wartości wygląda nieco inaczej w przypadku emulacji całego mózgu niż w przypadku sztucznej inteligencji. Metody, które zakładają wcześniejsze dogłębne zrozumienie algorytmów i architektury systemu, umożliwiające jego kontrolę, nie mają zastosowania w odniesieniu do emulacji. Z drugiej strony metodę rozszerzania motywacji — nie mającą zastosowania w odniesieniu do sztucznej inteligencji de novo — można wykorzystać w przypadku emulacji (lub udoskonalonych mózgów biologicznych)[27].

Metodę rozszerzania można połączyć z technikami manipulacji cechami „wrodzonymi” systemu. Dla przykładu: można podjąć próbę manipulowania pragnieniami emulacji poprzez zastosowanie cyfrowego odpowiednika substancji psychoaktywnych (lub też — w przypadku systemów biologicznych — faktycznych środków chemicznych). Już dziś jest do pewnego stopnia możliwe chemiczne manipulowanie wartościami i motywacją[28]. W przyszłości urzędowy spis leków może obejmować środki o lepiej określonym i bardziej przewidywalnym działaniu. Cyfrowe medium emulacji powinno w ogromnym stopniu sprzyjać upowszechnianiu się takich technik — przeprowadzanie kontrolowanych eksperymentów stanie się łatwiejsze, a działaniu leków będzie można poddać każdy fragment mózgu z osobna.

Tak jak w przypadku testów, którym poddawane są organizmy biologiczne, badania na emulacjach zostaną wplątane w gąszcz dylematów etycznych, z których przynajmniej części nie da się odsunąć na bok jakąś pojednawczą formułką. Takie uwikłanie może spowolnić postęp na drodze do uzyskania emulacji (ze względu na regulacje prawne lub zakazy moralne), co może szczególnie utrudnić badania nad tym, w jaki sposób manipulować pobudkami kierującymi postępowaniem emulacji. W efekcie może dojść do sytuacji, w której emulacje pod względem kompetencji poznawczych zostaną rozszerzone do potencjalnie niebezpiecznego poziomu superinteligencji, zanim jeszcze dobiegną końca stosowne prace nad testowaniem i korygowaniem ich celów ostatecznych. Kolejnym możliwym efektem moralnego uwikłania może być wysforowanie się na czoło narodów i zespołów badawczych mających mniejsze skrupuły. I odwrotnie: gdybyśmy mieli rozluźnić gorset naszych norm moralnych dotyczących eksperymentowania na ludzkich umysłach cyfrowych, moglibyśmy stać się odpowiedzialni za ogromne zło i krzywdy, co oczywiście nie jest pożądane. Przy pozostałych czynnikach niezmienionych te rozważania przemawiają za przyjęciem alternatywnego scenariusza, który nie wymaga szeroko zakrojonych badań na ludzkich umysłach cyfrowych w sytuacji, w której stawka jest strategicznie bardzo wysoka.

Sprawa nie jest jednak oczywista. Można dowodzić, że badania nad transferem umysłu z mniejszym prawdopodobieństwem pociągną za sobą naruszenie norm moralnych niż badania nad sztuczną inteligencją, gdyż większe jest prawdopodobieństwo dostrzeżenia przez nas momentu, w którym emulowany umysł zacznie zasługiwać na status moralny, niż dostrzeżenia analogicznej sytuacji w odniesieniu do mózgu całkowicie nam obcego lub całkowicie sztucznego. Jeśli pewne rodzaje sztucznych inteligencji lub ich podprocesów mają status moralny, czego nie zdołamy uznać, naruszymy w konsekwencji znacząco własne normy moralne. Rozważmy, dla przykładu, radosną żywiołowość, z jaką współcześni programiści tworzą programy uczące się ze wzmocnieniem i poddają je oddziaływaniu negatywnych bodźców. Codziennie tworzone są niezliczone ilości takich programów nie tylko w laboratoriach badawczych, ale i w aplikacjach komercyjnych, włączając w to niektóre gry komputerowe, w których występują skomplikowane postaci niesterowane przez gracza. Przypuszczalnie te programy są wciąż zbyt prymitywne, by mieć jakikolwiek status moralny. Czy jednak możemy być pewni, że tak jest? A co istotniejsze, jaką możemy mieć pewność, że uzmysłowimy sobie moment, w którym powinniśmy się zatrzymać, zanim nasze programy staną się zdolne do doświadczania moralnie istotnego cierpienia?

(W rozdziale 14. powrócimy do kwestii mających szerszy wymiar strategiczny, które ujawniają się wówczas, gdy porównujemy pożądalność realizacji scenariusza emulacji i scenariusza sztucznej inteligencji).

Projektowanie organizacji instytucjonalnej

Niektóre systemy inteligentne składają się z inteligentnych składowych, które same w sobie są zdolne do podejmowania decyzji i działań. W świecie ludzi przykładem tego zjawiska są firmy i państwa — chociaż składają się głównie z ludzi, dla pewnych celów mogą zostać uznane za autonomiczne byty same w sobie. Motywacja takich złożonych systemów zależy nie tylko od motywacji ich elementów składowych, ale również od tego, w jaki sposób te elementy są zorganizowane. Dla przykładu: grupa kierowana przez bezwzględnego przywódcę może zachowywać się tak, jakby kierowała nią wola będąca wiernym odbiciem woli dyktatora, natomiast grupa rządzona demokratycznie będzie zachowywać się raczej tak, jakby kierowała nią wola będąca połączeniem lub uśrednieniem woli jej rozmaitych członków. Można sobie też wyobrazić instytucje sprawowania władzy działające tak, że organizacje zachowywałyby się w sposób nieodzwierciedlający woli ich członków. (Przynajmniej teoretycznie mogłoby istnieć państwo totalitarne znienawidzone przez wszystkich ze względu na posiadane przez nie mechanizmy zapobiegania przeprowadzeniu przez obywateli skoordynowanego przewrotu; każdy z obywateli wyszedłby gorzej na samotnym buncie niż na odgrywaniu swej roli w machinie państwowej).

Poprzez projektowanie odpowiednich instytucji złożonego systemu można zatem próbować kształtować jego faktyczną motywację. W rozdziale 9. omówiliśmy integrację społeczną jako możliwą formę kontroli potencjału, lecz wówczas koncentrowaliśmy się na zachętach, z którymi spotyka się sprawca, funkcjonując w otoczeniu społecznym istot o zbliżonym statusie. Obecnie koncentrujemy się na tym, co się dzieje wewnątrz danego sprawcy — na tym, w jaki sposób jego organizacja wewnętrzna określa jego wolę. A zatem przyglądamy się metodzie doboru motywacji. Co więcej, ponieważ projektowanie wewnętrznej organizacji systemu nie zależy od prowadzonej na szeroką skalę inżynierii społecznej ani od jakiejkolwiek reformy, jest to metoda, którą mógłby się posłużyć każdy projekt rozwoju superinteligencji, nawet gdyby szersze otoczenie społeczno-gospodarcze czy międzynarodowe nie okazało się idealnie sprzyjające.

Projektowanie wewnętrznej organizacji systemu jest zapewne najbardziej prawdopodobne w sytuacjach, w których da się je połączyć z rozszerzeniem. Gdybyśmy mogli wyjść od inteligentnych systemów już odpowiednio zmotywowanych czy też kierujących się pobudkami zbliżonymi do ludzkich, ich wewnętrzna organizacja mogłaby zostać wykorzystana jako dodatkowe zabezpieczenie zwiększające prawdopodobieństwo utrzymania się przez system na właściwym torze.

Załóżmy na przykład, że zaczynamy od jakichś prawidłowo motywowanych systemów przypominających ludzi — powiedzmy, emulacji. Chcemy znacznie zwiększyć kompetencje poznawcze tych systemów, lecz obawiamy się, że usprawnienia wypaczą kierujące nimi pobudki. Jedną z metod poradzenia sobie z tym problemem byłoby ustanowienie systemu, w którym pojedyncze symulacje działają jako podsystemy. Każde nowe usprawnienie stosowane jest najpierw w odniesieniu do niewielkiego podzbioru podsystemów. Jego rezultaty są następnie badane przez komisję oceniającą składającą się z podsystemów, w odniesieniu do których nie zastosowano jeszcze tego usprawnienia. Dopiero kiedy członkowie komisji upewnią się, że usprawnienie nie wywiera negatywnego wpływu na motywację, jest ono udostępniane szerszej populacji podsystemów. Jeśli się okaże, że motywacja usprawnionych podsystemów uległa wypaczeniu, nie otrzymają one dostępu do kolejnych usprawnień i zostaną wykluczone ze sprawowania kluczowych funkcji decyzyjnych (przynajmniej dopóki system jako całość nie rozwinie się do tego stopnia, że zdemoralizowane podsystemy będą mogły zostać do niego z powrotem włączone)[29]. Chociaż zdemoralizowane podsystemy mogły uzyskać dzięki usprawnieniu jakąś przewagę, struktura instytucjonalna, której są elementem, oraz fakt, że stanowią nieznaczącą mniejszość wszystkich podsystemów, uniemożliwi im — miejmy nadzieję — sięgnięcie po władzę lub zdemoralizowanie całego systemu. A zatem zbiorowa inteligencja i możliwości całego systemu mogą być podnoszone stopniowo metodą małych kroczków, a to, czy postawienie kolejnego kroku jest rozsądne, weryfikowane będzie przez podsystemy mające możliwości niewiele mniejsze od możliwości nowych podsystemów wprowadzanych w tym właśnie kroku.

Bezpieczeństwo, które można uzyskać dzięki odpowiedniemu projektowaniu wewnętrznej organizacji systemu, ogranicza precyzja testów wykorzystywanych do oceniania usprawnionych podsystemów. Problem konstrukcji testów komplikuje fakt, że ich zestawy mogłyby zostać zweryfikowane tylko na bazie istniejącego wcześniej zakresu zdolności poznawczych, lecz musiałyby zostać zastosowane w odniesieniu do podsystemów wykraczających poza ten zakres. Problem ten można ograniczyć, dokonując bardzo niewielkich usprawnień i przeprowadzając każdy test przez dłuższy okres. Takie środki ostrożności podniosłyby jednak koszty i spowolniły postęp (co w sytuacji wyścigu może być równoznaczne z opóźnieniem projektu, w którym zostaną zastosowane). Nawet przy małych kroczkach i wyczerpujących testach pozostanie pewne ryzyko wprowadzenia nierzucających się w oczy błędów prowadzących do stopniowego wypaczenia hierarchii wartości systemu — wypaczenia, które może się objawić dopiero wtedy, gdy system osiągnie poziom superinteligencji. To ryzyko możemy ograniczyć, rozciągając testy na wiele etapów doskonalenia poznawczego, by nawet te podsystemy, które początkowo zostały certyfikowane jako rozsądne i otrzymały kilka kolejnych pakietów udoskonaleń, nadal działały pod nadzorem komisji składającej się z niezmodyfikowanych i niewypaczonych podsystemów pierwotnych, dzięki czemu w razie konieczności można byłoby cofnąć wprowadzone zmiany.

W sytuacji idealnej testowanie powinno być wykonywane nieprzerwanie, nie ograniczając się do początkowego okresu oceny. Podsystemy dorównujące człowiekowi inteligencją potrafią myśleć strategicznie i mogą uznać za korzystne zatajenie swoich niektórych celów w okresie, w którym ich zachowanie jest monitorowane. Aby umożliwić nieprzerwane testy, można stworzyć hierarchię, w której podsystemy dysponujące pewnym potencjałem otrzymują zadanie monitorowania podsystemów dysponujących nieco większymi możliwościami. Na samym dole hierarchii możliwości (lecz na samej górze hierarchii władzy) znajdzie się stosunkowo powolny i mało inteligentny zwierzchnik. Ten ludzki zwierzchnik będzie przypominał cierpiącego na demencję króla rządzącego niekompetentnymi dworakami, którzy nadzorują niewyróżniających się urzędników, którzy z kolei administrują znającym się na rzeczy ludem. Takiego zwierzchnika można również porównać do archaicznego z ewolucyjnego punktu widzenia „gadziego mózgu”, który zapewnia zaangażowanie nowszej i znacznie inteligentniejszej kory neopalialnej w osiągnięcie celów takich jak odżywianie czy kopulacja.

Można sobie zadać pytanie, czy taka odwrotna merytokracja może pozostać stabilna. Jeśli zostanie odkryte, że mnóstwo superinteligentnych podsystemów zeszło ze słusznej drogi i nadzorujący to wszystko ludzie podejmą próbę cofnięcia wielu wcześniejszych usprawnień, to czy struktura instytucjonalna okaże się wystarczająco silna, by wytrzymać sprzeciw wywołany takim posunięciem? W świetle doświadczeń społeczności historycznych i współczesnych należy prawdopodobnie odpowiedzieć, że okazałoby się to niemożliwe (nie chodzi o to, że w społecznościach ludzkich raz za razem do władzy dochodzą jednostki najzdolniejsze, lecz o to, że literalnie nie jesteśmy jednak rządzeni przez szympansy). Sprawa nie jest jednak przesądzona w sytuacji, w której społeczeństwo implementowane jest jako oprogramowanie[30].

Wyobraźmy sobie cyfrową hierarchię, w której na każdych dwóch proletariuszy przypada jeden znakomicie wyszkolony agent policji. Każda dwójka agentów policji nadzorowana jest przez jednego agenta sił specjalnych. Na każdą dwójkę agentów sił specjalnych przypada jeden agent sił superspecjalnych — i tak dalej, dzięki czemu każda warstwa nadzorców ma liczebność równą przynajmniej połowie liczebności warstwy, którą nadzoruje. Wyobraźmy sobie dalej, że architektura tego społeczeństwa została zaprojektowana w taki sposób, że nadzorca ma dużą przewagę nad swoimi podwładnymi. Dla przykładu: nadzorca jest w stanie monitorować i zapisywać wszystko, co jego podwładni mówią i robią, podczas gdy sam ukryty jest za weneckim lustrem, przez co do jego podwładnych docierają tylko te rozkazy i instrukcje, które postanowi im przekazać. Wyobraźmy sobie, że nadzorcy mają panel z przyciskami, które mogą nacisnąć w dowolnym momencie, by ukarać lub nagrodzić swojego podwładnego, zatrzymać go, wykasować lub przywrócić do stanu poprzedniego. Te możliwości ogromnie zwiększyłyby władzę agenta nadzorcy — do poziomu nieosiągalnego wcześniej nawet dla najbardziej totalitarnych spośród ludzkich organizacji.

Jednak nawet ten opis nie wyczerpuje wszystkich możliwych narzędzi kontroli. Nadzorcy mogą mieć do dyspozycji realistyczne symulacje rzeczywistości wirtualnej, które są w stanie wykorzystać do przetestowania reakcji podwładnych na hipotetyczne scenariusze rozwoju wydarzeń (takie jak symulowane propozycje przyłączenia się do spisku lub możliwość obijania się, kiedy wydaje się, że nikt nie patrzy). Nadzorcy mogą też mieć możliwość podsłuchiwania monologów wewnętrznych toczących się w umysłach podwładnych i bezpośredniego manipulowania ich stanami emocjonalnymi.

W efekcie otrzymujemy szereg potężnych przewag nadzorcy nad nadzorowanymi[31]. Każdy nadzorca będzie podwładnym nadzorcy wyższego poziomu, który będzie monitorował każde jego posunięcie i pilnował, by on również nie obijał się i rzetelnie wypełniał swoje kierownicze obowiązki. W takim układzie możliwe byłoby osiągnięcie stabilności całej struktury, nawet gdyby każdy poziom nadzorczy był intelektualnie słabszy od poziomu nadzorowanego[32]. Cała natomiast struktura, która mogłaby obejmować wielu niezwykle superinteligentnych sprawców, mogłaby być kontrolowana przez niewielką liczbę ludzi z najwyższymi uprawnieniami administracyjnymi[33].

Koszt takiej wewnętrznej struktury kontroli byłby znaczny, lecz niekoniecznie zaporowy. Dla przykładu: w modelu, w którym liczebność każdego poziomu nadzorczego równa jest połowie liczebności warstwy leżącej niżej, dodatkowe koszty obliczeniowe wzrastają zaledwie o 100% kosztów proletariackiej części systemu — a jeszcze mniej, jeśli warstwy głupszych szefów wymagają mniej obliczeń przypadających na jeden podsystem. Nadzór może być ściślejszy, jeśli zwiększymy stosunek liczby szefów do liczby podwładnych. Koszty mogą zostać zmniejszone, jeśli ten stosunek obniżymy. Dodatkowy koszt obliczeniowy będzie głównym czynnikiem kształtującym scenariusz konkurencyjnego rynku (por. rozdział 11.), lecz wydaje się leżeć w zasięgu możliwości finansowych projektu, który nie staje wobec silnej bezpośredniej konkurencji. Dodatkowe koszty będą również wynikiem czasu rozwojowego potrzebnego do stworzenia i przetestowania tych funkcji nadzorczych. Projekt dysponujący wystarczający środkami może skrócić ten czas, zrównoleglając rozwój struktur kontroli z rozwojem myślących maszyn, lecz wymiar dodatkowych zadań może się okazać barierą nie do przejścia dla projektów mniejszych oraz takich, którym technologiczna konkurencja depcze po piętach.

Na uwagę zasługuje również inny typ kosztu: ryzyko zbrodni przeciw umysłom popełnianej w tego rodzaju strukturze[34]. Zgodnie z powyższym opisem cała ta instytucja sprawia wrażenie czegoś w rodzaju potwornego północnokoreańskiego obozu pracy. Mimo to istnieją sposoby przynajmniej częściowego ograniczenia dylematów moralnych wiążących się z kierowaniem tego rodzaju organizacją, nawet jeśli podsystemy działające w jej ramach są emulacjami o statusie moralnym człowieka. W wersji minimum system mógłby się opierać na emulacjach ochotniczych. Każdy podsystem mógłby posiadać możliwość wycofania się w każdym momencie z dalszego udziału[35]. Przerwane emulacje mogłyby zostać zapisane w pamięci z obietnicą, że zostaną uruchomione ponownie w warunkach znacznie bardziej zbliżonych do ideału, kiedy już niebezpieczna faza eksplozji inteligencji dobiegnie końca. W międzyczasie podsystemy, które zdecydują się uczestniczyć w tej strukturze zostaną osiedlone w bardzo wygodnym środowisku wirtualnym i dostaną mnóstwo czasu na sen i wypoczynek. Takie postępowanie pociągnie za sobą pewne koszty, które jednak nie powinny przekraczać możliwości nieskarżącego się na brak środków projektu w warunkach niezbyt zaostrzonej konkurencji. W warunkach silnej konkurencji koszt może się okazać barierą nie do pokonania, jeśli całe przedsięwzięcie nie uzyska gwarancji, że jego konkurenci zmuszeni będą ponieść ten sam koszt.

W tym przykładzie wyobraziliśmy sobie podsystemy jako emulacje. Można się zastanawiać, czy podejście od strony projektu organizacji wewnętrznej wymaga, by podsystemy były antropomorficzne? Lub też czy odnosi się analogicznie do systemów złożonych ze sztucznych inteligencji?

W pierwszej chwili można do tego podchodzić sceptycznie, zauważając na przykład, że mimo wielu doświadczeń z ludźmi, nadal nie potrafimy precyzyjnie przewidzieć wybuchu rewolucji czy jej ostatecznego wyniku. Nauki społeczne pozwalają co najwyżej opisać pewne tendencje statystyczne[36]. Ponieważ nie potrafimy niezawodnie przewidzieć stabilności struktur społecznych w przypadku zwykłych ludzi (na temat których mamy mnóstwo danych), kusi wyciągnięcie wniosku, że niewielka jest nadzieja, byśmy zdołali precyzyjnie zaprojektować stabilne struktury społeczne dla usprawnionych poznawczo bytów przypominających ludzi (na temat których nie mamy żadnych danych), a jeszcze mniejsza jest nadzieja, że uda nam się to w odniesieniu do zaawansowanych sztucznych bytów (które nie są nawet podobne do istot, na temat których mamy jakieś dane).

Nie jest to jednak wcale kwestia bezdyskusyjna. Ludzie i podobne im istoty to byty złożone, lecz sztuczne systemy mogą mieć architektury względnie proste. Sztuczne systemy mogą również kierować się prostymi i wyraźnie określonymi pobudkami. Co więcej, ogólnie rzecz biorąc, systemy cyfrowe (niezależnie od tego, czy są emulacjami, czy sztuczną inteligencją) są kopiowalne — ta możliwość może zrewolucjonizować zarządzanie, podobnie jak części zamienne zrewolucjonizowały wytwórczość. Te różnice między ludźmi a sztuczną inteligencją — łącznie z możliwością pracy z systemami początkowo całkiem bezsilnymi i tworzenia struktur instytucjonalnych wykorzystujących rozmaite, wspomniane powyżej środki kontroli — mogą w połączeniu umożliwić osiągnięcie konkretnych rezultatów organizacyjnych (na przykład w postaci systemu, który się nie buntuje) bardziej niezawodnie, niż gdyby pracowało się z istotami ludzkimi w warunkach historycznych.

Ale z kolei sztucznej inteligencji może brakować wielu atrybutów, które pomagają nam przewidzieć zachowanie istot podobnych ludziom. Systemy cyfrowe nie muszą przejawiać jakichkolwiek emocji społecznych ograniczających ludzkie zachowania — takich jak strach, duma czy skrucha. Systemy cyfrowe nie muszą również przywiązywać się do przyjaciół i rodziny. Nie muszą prezentować nieświadomej mowy ciała, która nam, ludziom, utrudnia zatajenie naszych intencji. Te niedobory mogą destabilizować instytucje sztucznych inteligencji. Co więcej, systemy cyfrowe mogą być w stanie dokonywać wielkich skoków kompetencji poznawczych w wyniku pozornie niewielkich zmian algorytmów czy architektury. Bezwzględnie optymalizujące sztuczne inteligencje mogą chcieć podejmować ekstremalne ryzyko, przed którym ludzie mogliby się wzdragać[37]. A superinteligentne systemy mogą przejawiać zaskakującą zdolność do koordynacji przy znikomej lub wręcz zerowej komunikacji (dla przykładu: modelując wewnętrznie hipotetyczne reakcje innych systemów na rozmaite ewentualności). Te i inne różnice mogą uprawdopodobnić nagłe załamanie się porządku instytucjonalnego, nawet mimo pozornie hiperskutecznych metod kontroli społecznej.

Nie jest zatem jasne, jak obiecujące jest podejście od strony projektowania organizacji instytucjonalnej i czy to podejście ma większe szanse sprawdzić się w odniesieniu do agentów antropomorficznych niż sztucznych. Można by sądzić, że stworzenie instytucji charakteryzującej się układem wzajemnej kontroli władz różnych poziomów może jedynie zwiększyć bezpieczeństwo — a w każdym razie go nie zmniejszy — a zatem z perspektywy redukcji ryzyka wykorzystanie tej metody będzie zawsze korzystne. Lecz nawet tego nie można stwierdzić z całą pewnością. To podejście wprowadza dodatkowe elementy i potęguje złożoność całego systemu, przez co może wprowadzać nowe sposobności niepożądanego rozwoju wypadków, które w ogóle by nie zaistniały w przypadku systemu nieskładającego się z inteligentnych podsystemów. Mimo to projektowanie organizacji instytucjonalnej systemu warte jest dalszego zbadania[38].

Podsumowanie

Inżynieria hierarchii wartości nie jest jeszcze uznaną dyscypliną nauki. Nie wiemy obecnie, w jaki sposób przekazać ludzkie wartości komputerowi, nawet dysponując myślącymi maszynami dorównującymi inteligencją człowiekowi. Zbadaliśmy szereg podejść i stwierdziliśmy, że niektóre z nich wydają się prowadzić donikąd, lecz inne wydają się obiecujące i zasługują na dalsze zbadanie. Podsumowanie zamieszczono w tabeli 12.

Tabela 12. Podsumowanie technik przekazywania wartości

Opis wprost

Może być obiecujący jako metoda zaszczepienia upodobania do udomowienia. Nie wydaje się obiecujący jako metoda przekazania bardziej złożonych wartości.

Selekcja ewolucyjna

Mniej obiecująca od opisu wprost. Potężne mechanizmy wyszukiwania mogą zaowocować znalezieniem projektu, który spełnia formalne kryteria wyszukiwania, lecz jest niezgodny z naszymi intencjami. Co więcej, jeśli projekty są oceniane poprzez ich uruchamianie — włączając w to projekty, które nie spełniają nawet kryteriów formalnych — może powstać potencjalnie bardzo poważne dodatkowe zagrożenie. Ewolucja również utrudnia uniknięcie masowej zbrodni przeciw umysłom, zwłaszcza gdy stawia za cel ukształtowanie umysłów podobnych ludzkim.

Uczenie ze wzmocnieniem

W celu rozwiązania „problemów uczenia się ze wzmocnieniem” można wykorzystać całą gamę rozmaitych metod, ale zazwyczaj polegają one na stworzeniu systemu, który dąży do maksymalizowania sygnału nagrody i ma wrodzoną skłonność do usterki polegającej na samodzielnym serwowaniu sobie strumienia nagród, gdy tylko stanie się nieco inteligentniejszy. A zatem uczenie się ze wzmocnieniem nie wydaje się obiecujące.

Przyrost wartości

My, ludzie, przyswajamy sobie większą część naszego systemu wartości w wyniku reakcji na spotykające nas doświadczenia. O ile przyrost wartości może z zasady zostać wykorzystany do stworzenia systemu kierującego się ludzkimi pobudkami, o tyle predyspozycje do stopniowego przyswajania ludzkich wartości mogą być złożone i trudne do powielenia w przypadku zalążkowej SI. Złe przybliżenie może zaowocować SI, która uogólnia inaczej niż ludzie i z tego względu stawia sobie niezamierzone cele ostateczne. Potrzeba większej ilości badań, by określić, z jakim wysiłkiem będzie się wiązać takie zorganizowanie przyrostowego nabywania wartości, by przebiegało ono z odpowiednią precyzją.

Zrąb systemu wartości

Zbyt wcześnie jest na to, by móc powiedzieć, jak trudno będzie zachęcić system do rozwinięcia wewnętrznych wysokopoziomowych opisów, które będą przejrzyste i czytelne dla ludzi (przy jednoczesnym utrzymywaniu możliwości systemu poniżej niebezpiecznego poziomu), a następnie wykorzystanie tych opisów do zaprojektowania nowego systemu wartości. Podejście to może się okazać bardzo obiecujące (jednakże podobnie jak w przypadku każdego nieprzetestowanego podejścia, które pozwoli odwlec w czasie większość ciężkiej pracy nad inżynierią bezpieczeństwa do momentu opracowania SI dorównującej inteligencją człowiekowi, należy zachować ostrożność, aby nie pozwolić, aby usprawiedliwiło to zlekceważenie w międzyczasie problemu kontroli).

Uczenie się wartości

Podejście potencjalnie obiecujące, ale potrzeba większej ilości badań, by określić, jak trudne okaże się formalne wyspecyfikowanie odniesień, które skutecznie wskażą odpowiednią informację zewnętrzną dotyczącą ludzkich wartości (oraz jak trudne będzie określenie kryteriów poprawności dla funkcji użyteczności w kategoriach takiego odniesienia). Również warte zbadania w ramach kategorii uczenia się wartości są propozycje w rodzaju „Hail Mary” oraz propozycje zgodne z konstrukcją Paula Christiana (lub też inne tego rodzaju drogi na skróty).

Modyfikowanie emulacji

Jeśli myślące maszyny zostaną wyprodukowane zgodnie ze scenariuszem emulacji, prawdopodobnie pojawi się możliwość majstrowania przy ich pobudkach za pomocą cyfrowego odpowiednika narkotyków lub innych środków. Bez odpowiedzi pozostaje pytanie, czy umożliwi to przekazywanie wartości z wystarczającą precyzją, by zapewnić bezpieczeństwo nawet wówczas, gdy emulacje zostaną radykalnie usprawnione i osiągną poziom superinteligencji. (Rozwój w tym kierunku mogą również skomplikować zastrzeżenia etyczne).

Projektowanie organizacji instytucjonalnej

Rozmaite silne metody kontroli społecznej mogą zostać zastosowane w ramach instytucji składającej się z emulacji. Z zasady metody kontroli społecznej mogą mieć zastosowanie również w instytucjach składających się ze sztucznych inteligentnych bytów. Emulacje mają pewne właściwości, dzięki którym łatwiej będzie je kontrolować za pomocą takich metod, lecz również pewne właściwości, ze względu na które może być je trudniej kontrolować niż sztuczne inteligencje. Projektowanie instytucji jako potencjalna technika przekazywania wartości wydaje się warte dalszych badań.

Znalazłszy rozwiązanie problemu przekazywania wartości, stanęlibyśmy wobec kolejnego problemu: problemu podjęcia decyzji, które wartości warte są przekazania. Jakie pragnienia chcielibyśmy zaszczepić sztucznej inteligencji? Jest to problem natury filozoficznej, który rozpatrzymy w następnej kolejności.

Rozdział 13.
Wybór kryteriów wyboru

Załóżmy, że moglibyśmy zaszczepić zalążkowej SI dowolne, ustalone arbitralnie wartości ostateczne. Tym samym decyzja dotycząca tego, które wartości jej zaszczepić, mogłaby mieć najdalej idące następstwa. Pewne wybory dotyczące innych podstawowych parametrów — biorąc pod uwagę aksjomaty teorii poznania i teorii decyzji SI — mogłyby mieć konsekwencje analogiczne. Biorąc jednak pod uwagę naszą głupotę, ignorancję i ograniczenia umysłowe, dlaczego mielibyśmy ufać, że podejmiemy dobre decyzje projektowe? Jak moglibyśmy dokonać wyboru, nie zamykając się na zawsze w uprzedzeniach obecnego pokolenia? W tym rozdziale zbadamy, w jaki sposób normatywność pośrednia może przerzucić większą część pracy poznawczej związanej z podejmowaniem tych decyzji na samą superinteligencję przy jednoczesnym silnym powiązaniu ostatecznego wyniku z najgłębiej zakorzenionymi ludzkimi wartościami.

Potrzeba normatywności pośredniej

Jak możemy skłonić superinteligencję do spełniania naszych oczekiwań? Jakie pragnienia chcielibyśmy jej zaszczepić? Do tej pory skupialiśmy się na tym pierwszym pytaniu. Teraz zajmiemy się drugim.

Załóżmy, że rozwiązaliśmy problem kontroli i jesteśmy już w stanie zaszczepić dowolne, wybrane przez nas wartości superinteligencji, która włączy je do swojego systemu wartości, stawiając sobie ich urzeczywistnienie za cel ostateczny. Jakie wartości powinniśmy jej zaszczepić? Wybór nie jest żadną miarą kwestią błahą. Jeśli superinteligencja uzyska decydującą przewagę strategiczną, jej wartości określą kierunki eksploracji Kosmosu.

Oczywiście kluczowe jest, byśmy nie popełnili w wyborze naszych wartości błędu. Czy możemy jednak realistycznie oczekiwać, że uda nam się go uniknąć? Możemy się mylić w kwestiach moralnych. Możemy błędnie rozpoznać, co jest dla nas dobre. Możemy nawet nie zrozumieć, czego tak naprawdę pragniemy. Wydaje się, że określenie celu ostatecznego wymaga przedarcia się przez gąszcz najeżonych trudnościami problemów filozoficznych. Próbując podejścia bezpośredniego, prawdopodobnie wszystko spartaczymy. Ryzyko błędnego wyboru jest szczególnie wysokie, jeśli okoliczności podejmowania decyzji są dla nas nowe — a wybór celu ostatecznego dla superinteligentnych maszyn, które ukształtują przyszłość całej ludzkości, jest okolicznością zupełnie dla nas nową.

Marne szanse we frontalnym starciu znajdują odzwierciedlenie we wszechobecnej niezgodzie co do istotnych kwestii w teorii wartości. Żadna teoria etyczna nie znajduje wśród filozofów masowego poparcia, a zatem większość filozofów musi się mylić[1]. Ma to również odzwierciedlenie w wyraźnie zauważalnych przemianach, którym uległ na przestrzeni dziejów statystyczny rozkład przekonań moralnych — wiele spośród tych przemian z upodobaniem uznajemy za oznakę postępu. W średniowiecznej Europie na przykład za godną szacunku rozrywkę uznawano obserwowanie zakończonych śmiercią tortur, jakim poddawano więźniów politycznych. W szesnastowiecznym Paryżu popularnością cieszyło się palenie kotów[2]. Zaledwie sto pięćdziesiąt lat temu w południowych stanach Ameryki nadal rozpowszechnione było niewolnictwo, zgodne wówczas z prawem i moralnie aprobowane. Patrząc wstecz, widzimy rażące braki nie tylko w standardach zachowania, ale i w przekonaniach moralnych wszystkich wcześniejszych wieków. Choć być może rozwinęliśmy od tego czasu nasz instynkt moralny, nie możemy raczej utrzymywać, że dostąpiliśmy już pełnego moralnego oświecenia. Najprawdopodobniej nadal niejedną kwestię moralną pojmujemy całkowicie błędnie. W takich okolicznościach wybór wartości na podstawie naszych aktualnych przekonań w sposób, który uwięziłby nas w nich na zawsze i wykluczył jakąkolwiek możliwość dalszego rozwoju etycznego, groziłby nam moralną zagładą.

Nawet gdybyśmy zdołali uzyskać racjonalną pewność — a nie możemy jej uzyskać — że zidentyfikowaliśmy poprawną teorię etyczną, nadal groziłoby nam popełnienie błędu na etapie opracowywania istotnych szczegółów tej teorii. U podstaw pozornie prostych teorii moralnych może leżeć ogromna ukryta złożoność[3]. Dla przykładu rozważmy (niezwykle prostą) konsekwencjalistyczną teorię hedonizmu. Teoria ta utrzymuje z grubsza, że każda przyjemność ma swoją wartość i tylko przyjemność ma wartość, a przy tym każdy ból stanowi przeciwieństwo wartości i tylko ból stanowi przeciwieństwo wartości[4]. Nawet jeśli postawimy całą moralną pulę na tę jedną teorię i ta teoria okaże się słuszna, mnóstwo pytań pozostanie bez odpowiedzi. Czy „wyższe przyjemności” powinny być cenione wyżej niż „niższe przyjemności”, jak twierdził John Stuart Mill? W jaki sposób powinniśmy uwzględnić w rachunkach intensywność i czas trwania przyjemności? Czy ból i przyjemność znoszą się wzajemnie? Jakie stany umysłu są związane z moralnie istotnymi przyjemnościami? Czy dwie jednakowe kopie tego samego stanu umysłu odpowiadają podwojonej przyjemności[5]? Czy mogą istnieć przyjemności podświadome? Jak powinniśmy potraktować skrajnie małe prawdopodobieństwo skrajnie dużej przyjemności[6]? Jak powinniśmy zagregować na przyjemność doświadczaną przez nieskończoną populację?[7]

Udzielenie błędnej odpowiedzi na dowolne z tych pytań może mieć katastrofalne następstwa. Jeśli poprzez wybór wartości ostatecznej dla superinteligencji musimy postawić nie tylko na właściwą ogólną teorię moralną, lecz również na wybiegające dalece w przyszłość podejrzenie co do tego, w jaki sposób ta teoria będzie interpretowana i jak zostanie włączona w efektywny proces podejmowania decyzji, wówczas szanse na szczęśliwy traf kurczą nam się niemal do zera. Głupcy mogą ochoczo przyjąć tę zachętę do rozwiązania jednym ruchem wszystkich istotnych problemów filozofii moralnej, aby wbić zalążkowej SI do głowy ich ulubione odpowiedzi. Mądrzejsi będą usilnie poszukiwać jakiegoś podejścia alternatywnego — jakiejś metody, by się zabezpieczyć.

W ten sposób dochodzimy do normatywności pośredniej. Oczywistą przyczyną budowania superinteligencji jest możliwość przerzucenia na nią rozumowania instrumentalnego wymaganego do znajdowania efektywnych metod urzeczywistniania danych wartości. Normatywność pośrednia umożliwiłaby nam przerzucenie na superinteligencję części rozumowania, które należy przeprowadzić, by wybrać wartości, które powinny zostać urzeczywistnione.

Normatywność pośrednia jest metodą poradzenia sobie z problemem, który wynika z faktu, że możemy nie wiedzieć, czego tak naprawdę chcemy, co jest w naszym interesie bądź też co jest moralnie słuszne lub idealne. Zamiast zgadywać na podstawie naszego obecnego pojmowania (które jest prawdopodobnie głęboko skażone), delegujemy część pracy poznawczej wymaganej do wyboru wartości na superinteligencję. Ponieważ superinteligencja będzie lepiej od nas radzić sobie z pracą poznawczą, będzie potrafiła przejrzeć błędy i nieporozumienia zaciemniające nasz ogląd spraw. Można uogólnić tę koncepcję i sformułować ją w postaci zasady heurystycznej:

Zasada epistemicznego szacunku — przyszła superinteligencja zajmuje pozycję uprzywilejowaną poznawczo: jej przekonania są (najpewniej co do większości tematów) z większym prawdopodobieństwem prawdziwe niż nasze. Powinniśmy zatem, o ile tylko jest to wykonalne, ulec przekonaniom sztucznej inteligencji[8].

Normatywność pośrednia stosuje tę zasadę w odniesieniu do problemu wyboru wartości. Wobec braku zdecydowanego przekonania co do naszej zdolności określenia konkretnego standardu normatywnego określimy zamiast tego bardziej abstrakcyjny warunek, który powinien spełnić każdy standard normatywny — w nadziei, że superinteligencja zdoła znaleźć konkretną normę spełniającą abstrakcyjny warunek. Możemy postawić zalążkowej SI cel ostateczny polegający na nieprzerwanym działaniu zgodnie z jak najlepszym oszacowaniem, do czego ta nie wprost określona norma by ją zobowiązywała.

Do wyjaśnienia tej koncepcji posłuży nam kilka przykładów. Najpierw rozważymy „spójną, ekstrapolowaną wolę”, propozycję normatywności pośredniej nakreśloną przez Eliezera Yudkowsky’ego. Następnie wprowadzimy pewne warianty i alternatywy, by zyskać wyobrażenie o spektrum dostępnych opcji.

Spójna, ekstrapolowana wola

Yudkowsky zaproponował, by zalążkowej SI postawić cel ostateczny polegający na urzeczywistnieniu „spójnej, ekstrapolowanej woli” (ang. coherent extrapolated volition — CEV) ludzkości, którą definiuje następująco:

Nasza spójna, ekstrapolowana wola odpowiada pragnieniu, które moglibyśmy wyrazić, gdybyśmy wiedzieli więcej i myśleli szybciej, gdybyśmy w większym stopniu odpowiadali naszemu własnemu wyobrażeniu o sobie i wspólnie wyrośli wyżej; ekstrapolacja jest coraz bardziej spójna, a nie coraz bardziej rozbieżna; opisuje nasze pragnienia, które nie są ze sobą sprzeczne, lecz zgodne; pragnienia ekstrapolowane zgodnie z naszymi intencjami, interpretowane zgodnie z naszymi zamiarami[9].

Kiedy Yudkowsky to napisał, nie dążył do zaprezentowania wzorca implementacji, lecz raczej poetyckiego przepisu. Jego celem było wstępne zarysowanie możliwej definicji CEV oraz kilku argumentów na rzecz potrzeby zastosowania tego rodzaju podejścia.

Wiele koncepcji stojących za propozycją CEV ma swoje analogie i poprzedników w literaturze filozoficznej. Dla przykładu: w etyce teorie idealnego obserwatora starają się zanalizować normatywne koncepcje „dobra” lub „słuszności” w kategoriach ocen, których dokonałby hipotetyczny idealny obserwator (gdzie „idealnego obserwatora” definiujemy jako kogoś, kto jest wszechwiedzący w kwestii faktów niedotyczących moralności, kogo cechuje jasność logicznego myślenia, kto co do istotnych kwestii zachowuje bezstronność, kto wolny jest od jakichkolwiek uprzedzeń i tak dalej)[10]. Jednak podejście CEV nie jest teorią moralną (czy też nie musi być interpretowane jako taka). Nie jest ono równoznaczne z twierdzeniem, że istnieje jakikolwiek konieczny związek pomiędzy wartością a preferencjami wyrażonymi naszą spójną, ekstrapolowaną wolą. CEV można uznać po prostu za użyteczną metodę przybliżenia tego, co ma wartość ostateczną, lub też można ją rozważać w oderwaniu od jakichkolwiek kwestii etycznych. Jako główny prototyp podejścia zakładającego normatywność pośrednią warta jest nieco bardziej szczegółowego zbadania.

Kilka wyjaśnień

Niektóre pojęcia w powyższym cytacie wymagają wyjaśnienia. „Myśleli szybciej” w terminologii Yudkowsky’ego oznacza: gdybyśmy byli inteligentniejsi i mieli sprawy lepiej przemyślane, „wspólnie wyrośli wyżej” wydaje się oznaczać: gdybyśmy się nauczyli, dokonali usprawnienia naszych kompetencji poznawczych i udoskonalili samych siebie w warunkach odpowiednich społecznych interakcji zachodzących pomiędzy nami.

„Ekstrapolacja jest coraz bardziej spójna, a nie coraz bardziej rozbieżna” można rozumieć następująco: SI powinna podejmować działanie na podstawie jakiejś cechy wyniku jej ekstrapolacji tylko o tyle, o ile ta cecha może zostać przewidziana przez SI z dość wysokim stopniem pewności. Jeśli SI nie jest w stanie przewidzieć, czego byśmy sobie życzyli, gdybyśmy zostali wyidealizowani we wskazany sposób, nie powinna podejmować działania, kierując się wyłącznie domysłami. Przeciwnie, powinna się powstrzymać od działania. Jednakże chociaż wiele szczegółów naszych wyidealizowanych pragnień może być nieokreślonych lub nieprzewidywalnych, mogą mimo to istnieć pewne ogólne zarysy, które SI jest w stanie pojąć, a wówczas może ona przynajmniej zadziałać w taki sposób, by zapewnić, że przyszłe wydarzenia potoczą się torem zgodnym z tymi zarysami. Dla przykładu: jeśli SI potrafi rzetelnie oszacować, że nasza ekstrapolowana wola życzyłaby sobie, byśmy nie byli dręczeni nieustannym cierpieniem lub by Wszechświat nie został zarzucony spinaczami do papieru, wówczas SI powinna podjąć takie działania, które zapobiegłyby tym rezultatom[11].

„Nasze pragnienia, które nie są ze sobą sprzeczne, lecz zgodne” można odczytać następująco: SI powinna działać wówczas, gdy istnieje dość szeroka zgodność ekstrapolowanych woli pojedynczych ludzi. Mniejszy zbiór silnych, klarownych pragnień może czasem przeważyć nad słabymi i mglistymi życzeniami większości. Yudkowsky sądzi również, że powinien być wymagany mniej wyraźny konsensus, by SI zapobiegła jakiemuś szczególnie wąsko określonemu rezultatowi, a wyraźniejszy konsensus, by SI podjęła działanie mające na celu skierowanie przyszłości ku jakiejś szczególnie wąskiej koncepcji dobra. „Początkowa dynamika CEV — napisał — powinna zakładać zachowawczość, gdy chodzi o powiedzenie »tak«, a przy tym wytężone nasłuchiwanie słowa »nie«”[12].

„Pragnienia ekstrapolowane zgodnie z naszymi intencjami, interpretowane zgodnie z naszymi zamiarami” — koncepcja stojąca za tymi ostatnimi określnikami wydaje się polegać na tym, że same zasady ekstrapolacji powinny uwzględniać ekstrapolowaną wolę. Jednostka może mieć pragnienie drugiego rzędu (pragnienie dotyczące tego, czego chce pragnąć), by niektóre z jej pragnień pierwszego rzędu nie były brane pod uwagę przy ekstrapolacji jej woli. Przykładowo: alkoholik, którego pragnieniem pierwszego rzędu jest wódka, może mieć również pragnienie drugiego rzędu, by nie mieć tego pragnienia pierwszego rzędu. Analogicznie nasze pragnienia mogą się odnosić do tego, jak chcielibyśmy, by rozwinęły się rozmaite inne fragmenty procesu ekstrapolacji, i sam proces ekstrapolacji powinien to uwzględniać.

Można zaoponować, że nawet gdyby koncepcja spójnej, ekstrapolowanej woli ludzkości mogła zostać prawidłowo określona, to tak czy inaczej byłoby niemożliwe — nawet dla superinteligencji — dowiedzenie się, czego tak naprawdę ludzkość by chciała w hipotetycznych, wyidealizowanych okolicznościach przewidzianych w podejściu CEV. Nie dysponując jakąś informacją na temat treści naszej ekstrapolowanej woli, SI zostałaby pozbawiona jakiejkolwiek istotnej normy, która mogłaby kierować jej działaniem. Jednakże choć trudne byłoby precyzyjne zrozumienie, czego życzyłaby sobie ludzkość, gdyby mierzyć to jej CEV, możliwe byłoby wysnucie pewnych opartych na faktach przypuszczeń. Można to zrobić nawet dziś, gdy nie dysponujemy jeszcze superinteligencją. Dla przykładu: większe jest prawdopodobieństwo, że wedle CEV życzylibyśmy sobie, by w przyszłości ludzie wiedli bogate i szczęśliwe życie, niż by wszyscy siedzieli na zydelkach w ciemnej norze, dręczeni bólem. Jeśli my potrafimy sensownie dokonać przynajmniej pewnej liczby takich ocen, to może tego dokonać również superinteligencja. Od samego początku zachowaniem superinteligencji mogą zatem kierować jej szacunki dotyczące treści naszej CEV. Miałaby ona silne powody instrumentalne, by doprecyzowywać te początkowe szacunki (na przykład studiując ludzką kulturę i psychologię, skanując ludzkie mózgi i rozumując na temat tego, jak moglibyśmy się zachowywać, gdybyśmy wiedzieli więcej, myśleli jaśniej i tak dalej). W trakcie zgłębiania tych kwestii SI kierowałaby się swoimi początkowymi szacunkami naszej CEV, aby na przykład SI nie uruchamiała niepotrzebnie nieskończonej liczby symulacji nękanych cierpieniem, od którego nie ma ucieczki, jeśli oszacowała, że nasza CEV prawdopodobnie potępiłaby takie symulacje jako zbrodnię przeciw umysłom.

Kolejna obiekcja polega na tym, że na świecie istnieje tyle różnych sposobów życia i kodów moralnych, że może się okazać niepodobieństwem „stopienie” ich w jedną wspólną CEV. Nawet gdyby dało się je zlać w jedną całość, efekt może nie okazać się szczególnie apetyczny — nikłe jest prawdopodobieństwo, że dzięki pomieszaniu najlepszych składników ulubionych dań każdego z nas otrzymamy smakowity posiłek[13]. W odpowiedzi można zwrócić uwagę na to, że podejście CEV nie wymaga, by wszystkie sposoby życia, wszystkie kody moralne czy osobiste wartości zostały zmieszane w jednym garze. CEV ma się przerodzić w działanie tylko wówczas, gdy nasze życzenia okażą się spójne i zbieżne. W przypadku kwestii, co do których panują daleko idące rozbieżności — niedające się pogodzić nawet po wprowadzeniu rozmaitych idealizujących okoliczności warunków — SI powinna się powstrzymać od określania rezultatu. Rozciągając jeszcze dalej tę kulinarną metaforę: może być tak, że rozmaite jednostki i kultury będą miały odmienne ulubione dania, lecz mimo to będą mogły z grubsza zgodzić się co do tego, że połączenia składników nie powinny być trujące. Wówczas SI powinna zadziałać na podstawie CEV, zapobiegając zatruciom pokarmowym, lecz poza tym pozwalając ludziom na praktykowanie bez przeszkód ich zwyczajów kulinarnych i powstrzymując się od kierowania nimi.

Uzasadnienie CEV

W swoim artykule Yudkowsky podał siedem argumentów na rzecz podejścia CEV. Trzy z nich sprowadzały się w gruncie rzeczy do tego, że o ile należy sobie postawić za cel uczynienie czegoś, co jest humanitarne i pomocne, o tyle bardzo trudno będzie określić wprost zbiór reguł niepociągających za sobą niezamierzonych interpretacji i niepożądanych następstw[14]. Metoda CEV ma być solidna i samoistnie wprowadzać autopoprawki; ma za zadanie uchwycić źródło naszych wartości, a nie czekać na to, aż prawidłowo sformułujemy i wyliczymy raz na zawsze każdą z naszych podstawowych wartości. Cztery pozostałe argumenty wykraczają poza to pierwsze podstawowe (lecz istotne) twierdzenie, szczegółowo formułując postulaty wobec proponowanych rozwiązań problemu określenia wartości i sugerując, że CEV spełnia te postulaty.

„Uwzględnij rozwój moralny”

Jest to postulat, by rozwiązanie pozostawiało możliwość moralnego rozwoju. Jak sugerowano wcześniej, istnieją powody, by wierzyć, że nasze obecne przekonania moralne są pod wieloma względami błędne, być może głęboko błędne. Gdybyśmy mieli określić konkretny i niezmienny kod moralny, którym SI miałaby się kierować, ugrzęźlibyśmy w istocie w naszych obecnych przekonaniach moralnych, włączając w to nasze błędy, niwecząc wszelkie nadzieje na wzrost moralny. Metoda CEV natomiast pozostawia nam możliwość takiego wzrostu, ponieważ obliguje ona SI do podjęcia próby uczynienia tego, czego byśmy sobie życzyli, gdybyśmy w sprzyjających warunkach rozwinęli się jeszcze bardziej, i istnieje możliwość, że gdybyśmy się w ten sposób rozwinęli, nasze przekonania moralne i wrażliwość oczyściłyby się z ich obecnych błędnych naleciałości i ograniczeń.

„Unikaj zawłaszczania przeznaczenia ludzkości”

Yudkowsky ma na myśli scenariusz, w którym niewielka grupa programistów tworzy zalążkową SI, która następnie wyrasta na superinteligencję uzyskującą decydującą przewagę strategiczną. W tym scenariuszu ci pierwsi programiści trzymają w ręku całość kosmicznej spuścizny ludzkości. Oczywiście dla każdego śmiertelnika jest to potworna, przytłaczająca odpowiedzialność. Mimo to nie jest możliwe, by programiści całkowicie wymigali się od odpowiedzialności, kiedy już znajdą się w tej sytuacji — każdy wybór, którego dokonają, włącznie z porzuceniem projektu, zdecyduje o dalszym losie świata. Yudkowsky postrzega CEV jako metodę pozwalającą programistom uniknąć przywłaszczenia sobie przywileju czy też ciężaru określania przyszłości ludzkości. Ustanawiając mechanizm, który prowadzi do wdrożenia spójnej, ekstrapolowanej woli ludzkości — będącej przeciwieństwem własnej woli programistów lub ich ulubionej teorii moralnej — programiści w istocie przekazują swój wpływ na przyszłość w ręce całej ludzkości.

„Unikaj dawania współczesnym ludziom powodów do sporów o początkową dynamikę”

Przekazanie wpływu na przyszłość ludzkości jest nie tylko moralnie bardziej pożądane niż wprowadzenie w życie przez zespół programistów jego własnej wizji, lecz jest również sposobem na ograniczenie motywacji do walki o to, komu uda się stworzyć pierwszą superinteligencję. Przy podejściu CEV programiści (lub ich sponsorzy) nie mają większego wpływu na ostateczny rezultat niż ktokolwiek inny — chociaż odgrywają oczywiście czołową rolę jako autorzy schematu ekstrapolacji i decyzji, zgodnie z którą wcielona w życie zostanie CEV ludzkości, a nie jakaś postać rozwiązania alternatywnego. Unikanie konfliktu jest istotne nie tylko ze względu na bezpośrednie krzywdy, jakie zazwyczaj pociągają za sobą konflikty, lecz również ze względu na to, że utrudnia to współpracę nad rozwiązaniem trudnego problemu bezpiecznego i korzystnego dla ludzkości rozwoju superinteligencji.

Metoda CEV z założenia powinna móc zyskać szerokie poparcie. Nie tylko dlatego, że uruchamia sprawiedliwy mechanizm wywierania wpływu na rozwój sytuacji. Istnieje również głębsza przyczyna pojednawczego potencjału CEV — konkretnie chodzi o to, że CEV daje wielu rozmaitym grupom nadzieję, że ich własna wizja przyszłości zwycięży w skali całego świata. Wyobraźcie sobie afgańskiego taliba debatującego z członkiem Szwedzkiego Towarzystwa Humanistycznego. Ci dwaj mają zupełnie odmienne światopoglądy i to, co dla jednego jest utopią, jawi się jako dystopia drugiemu. Żadnego z nich nie zachwyci kompromis w rodzaju pozwolenia dziewczętom na pobieranie nauk, ale tylko do dziewiątej klasy lub też przyzwolenia na to, by szwedzkie dziewczynki się uczyły, a afgańskie nie. Jednak zarówno talib, jak i humanista mogą się zgodzić, że przyszłość powinna zostać określona CEV ludzkości. Talib może rozumować w ten sposób, że jeśli jego zapatrywania religijne są w istocie słuszne (o czym jest przekonany) i że jeśli istnieją słuszne powody, by je zaakceptować (o czym również jest przekonany), wówczas ludzkość ostatecznie zaakceptowałaby je, gdyby tylko ludzie byli mniej uprzedzeni i stronniczy, gdyby poświęcili więcej czasu na studiowanie świętych tekstów, gdyby potrafili pojąć mechanizmy działania świata i uznać zasadnicze priorytety, gdyby tylko udało się ich uwolnić od nieracjonalnej buntowniczości i tchórzostwa i tak dalej[15]. Na podobnej zasadzie humanista wierzyłby, że w tych wyidealizowanych warunkach ludzkość przyjęłaby zasady, za którymi on sam się opowiada.

„Pozwól ostatecznie zachować ludzkości kontrolę nad jej własnym przeznaczeniem”

Możemy nie pragnąć rezultatu, w ramach którego paternalistycznie usposobiona superinteligencja czuwa nad nami nieustannie, wtrącając się we wszystkie nasze sprawy z zamiarem dopracowania każdego szczegółu pod kątem realizacji nadrzędnego planu. Nawet jeśli założymy, że superinteligencja byłaby wcieleniem życzliwości, całkowicie pozbawionym arogancji, tupetu, władczości, uprzedzeń i innych ludzkich przywar, nadal można byłoby mieć żal o utratę autonomii, którą pociągnąłby za sobą taki układ. Moglibyśmy woleć podejmować decyzje o naszym przeznaczeniu w miarę rozwoju wypadków, nawet gdyby miało to oznaczać, że czasem się potkniemy. Być może wolelibyśmy, by superinteligencja spełniała funkcję siatki bezpieczeństwa, na którą spadniemy, gdy sprawy przybiorą katastrofalny obrót, lecz poza tym wolelibyśmy, by superinteligencja pozwoliła nam się zatroszczyć o siebie samodzielnie.

CEV daje taką możliwość. CEV ma być w założeniu „pierwotną dynamiką”, procesem, który przebiega raz, a następnie zastępuje się tym, co jest urzeczywistnieniem pragnień wyrażonych ekstrapolowaną wolą ludzkości. Jeśli ludzkość swoją ekstrapolowaną wolą wyraża chęć życia pod nadzorem paternalistycznej SI, wówczas mechanizm CEV stworzy taką SI i przekaże jej dowodzenie. Jeśli ludzkość przez swoją ekstrapolowaną wolę wyrazi natomiast chęć stworzenia demokratycznego, ludzkiego rządu, wówczas mechanizm CEV może ułatwić stworzenie takiej instytucji, w żaden inny sposób się nie ujawniając. Jeśli ekstrapolowana wola ludzkości stanowi natomiast, że każda osoba powinna otrzymać w wianie zasoby, które może wykorzystać wedle własnego upodobania, o ile tylko będzie respektować równe prawa innych, wówczas mechanizm CEV pozwoli to urzeczywistnić, działając w tle niczym prawa natury, by zapobiec łamaniu prawa własności, kradzieżom, napadom i innym naruszeniom[16].

Struktura metody CEV umożliwia zatem wystąpienie w zasadzie nieograniczonej liczby rezultatów. Można sobie również wyobrazić, że ekstrapolowana wola ludzkości stanowić będzie, by SI w ogóle powstrzymała się od działania. W tym przypadku SI wcielająca w życie CEV powinna, ustaliwszy z wystarczającym prawdopodobieństwem, że taka jest właśnie ekstrapolowana wola ludzkości, bezpiecznie się wyłączyć.

Dalsze uwagi

Nakreślona wyżej propozycja CEV jest oczywiście zaledwie z grubsza opisanym schematem. Ma szereg parametrów, które mogą zostać zdefiniowane w rozmaity sposób, tworząc różne odmiany tej propozycji.

Jednym z parametrów jest baza ekstrapolacji: czyja wola powinna zostać uwzględniona? Możemy powiedzieć „wszystkich”, lecz ta odpowiedź rodzi mnóstwo kolejnych pytań. Czy baza ekstrapolacji obejmuje osoby plasujące się na obrzeżach człowieczeństwa, jak embriony, płody, pacjenci w stanie śmierci mózgowej, cierpiący na poważne przypadki demencji lub będący w stanie wegetatywnym? Czy u pacjentów po komisurotomii każdej półkuli mózgowej przypisać należy oddzielną wagę i czy będzie to taka sama waga, jaką się przypisuje całemu mózgowi zwykłego człowieka? A co z ludźmi, którzy żyli w przeszłości i umarli? Co z ludźmi, którzy urodzą się w przyszłości? Co ze zwierzętami znajdującymi się na wyższych szczeblach ewolucyjnej drabiny i innymi istotami rozumnymi? Co z umysłami cyfrowymi? Co z istotami pozaziemskimi?

Jedną z możliwości byłoby uwzględnienie w bazie ekstrapolacji tylko populacji ludzi dorosłych zamieszkujących Ziemię, którzy będą żyli w chwili, w której zostanie stworzona sztuczna inteligencja. Początkowa ekstrapolacja na gruncie tej bazy mogłaby następnie określić, czy i jak ta baza powinna zostać rozszerzona. Ponieważ liczba „osób marginalnych” znajdujących się na peryferiach tej bazy jest względnie mała, rezultat ekstrapolacji może w niewielkim stopniu zależeć od tego, gdzie zostanie zakreślona granica — a więc czy na przykład włączy się do niej płody, czy nie.

To, że ktoś zostanie wykluczony z pierwotnej bazy ekstrapolacji, nie oznacza jeszcze, że jego życzenia i dobrostan nie zostaną wzięte pod uwagę. Jeśli spójna, ekstrapolowana wola osób znajdujących się w bazie ekstrapolacji (na przykład żyjących ludzi dorosłych) ustanowi, że względy moralne powinny objąć również inne istoty, to wówczas wynik działania mechanizmu CEV będzie odbiciem tych preferencji. Mimo to istnieje możliwość, że interesy tych, którzy znajdą się w pierwotnej bazie ekstrapolacji, zostaną uwzględnione w większym stopniu niż interesy bytów zewnętrznych. W szczególności jeśli SI podejmuje działanie tylko wówczas, gdy istnieje powszechna zgoda indywidualnych ekstrapolowanych woli (jak w pierwotnej propozycji Yudkowsky’ego), wówczas wydaje się, że powstaje znaczące ryzyko ujawnienia się głosu blokującego uchwały, które mogłyby zapobiec, dla przykładu, zagwarantowaniu dobrostanu zwierząt lub cyfrowych umysłów. Wynik może się potencjalnie okazać przykładem moralnej zgnilizny[17].

Jednym z powodów wysunięcia propozycji CEV było pragnienie wygaszenia w ludziach motywacji do walki o stworzenie pierwszej superinteligentnej SI. Chociaż metoda CEV realizuje ten postulat lepiej niż wiele propozycji alternatywnych, nie eliminuje całkowicie przyczyn potencjalnego konfliktu. Egoistyczna jednostka, grupa lub naród mogą dążyć do powiększenia swojego kawałka przyszłego tortu, starając się wykluczyć pozostałych z bazy ekstrapolacji.

Tego rodzaju sięganie po władzę może zostać na wiele sposobów zracjonalizowane. Można chociażby utrzymywać, że sponsor finansujący rozwój SI zasługuje na to, by decydować o wynikach. Ta teza moralna jest prawdopodobnie fałszywa. Można na przykład zaprotestować, że projekt, w ramach którego po raz pierwszy uda się z sukcesem uruchomić pierwszą zalążkową SI, stawia wobec ogromnego ryzyka całą resztę ludzkości, która z tego względu uprawniona jest do odszkodowania. Wielkość należnego odszkodowania jest tak ogromna, że może ono jedynie przybrać formę przekazania wszystkim udziałów w zyskach, jeśli sprawy przybiorą korzystny obrót[18].

Kolejny argument, który można wykorzystać w celu zracjonalizowania sięgnięcia po władzę, zasadza się na tym, że ogromna część ludzkości ma bardzo prymitywne lub złe skłonności, których uwzględnienie w bazie ekstrapolacji groziłoby przekształceniem przyszłego świata ludzi w dystopię. Trudno ocenić, ile jest dobra, a ile zła w sercu przeciętnego człowieka. Trudno również ocenić, jak ów stosunek dobra do zła kształtuje się w różnych grupach, różnych warstwach społecznych, kulturach i narodach. Zależnie od tego, czy ma się optymistyczne czy pesymistyczny pogląd na naturę ludzką, można chcieć lub nie chcieć ryzykować kosmiczną spuścizną ludzkości w imię przypuszczenia, że u odpowiednio dominującej większości siedmiu miliardów aktualnie żyjących ludzi lepsza strona ich natury przezwycięży gorszą, co znajdzie wyraz w ich ekstrapolowanej woli. Oczywiście, wykluczenie pewnej grupy ludzi z bazy ekstrapolacji nie gwarantuje jeszcze zwycięstwa światłości — może być i tak, że ci, którzy najżarliwiej rwą się do wykluczenia innych lub samodzielnego sięgnięcia po władzę, są tymi, w których sercach panuje najgłębszy mrok.

Mimo to kolejnym powodem do walki o pierwotną dynamikę CEV jest to, że ktoś może żywić przekonanie, że SI należąca do kogoś innego nie będzie działać tak, jak się twierdzi — nawet jeśli SI zachwalana jest jako metoda wcielenia w życie CEV ludzkości. Jeśli różne grupy mają odmienne przekonania co do tego, która implementacja z największym prawdopodobieństwem odniesie sukces, mogą walczyć o to, by uniemożliwić innym uruchomienie owocu ich pracy. Lepiej byłoby w takiej sytuacji, gdyby konkurencyjne projekty mogły uzgodnić swoje różnice poznawcze z wykorzystaniem jakiejś metody bardziej niezawodnie ustalającej, kto ma rację, niż metoda konfliktu zbrojnego[19].

Modele moralności

Model CEV nie jest jedyną możliwą formą normatywnościpośredniej. Dla przykładu: zamiast implementować spójną, ekstrapolowaną wolę ludzkości, można próbować zbudować SI, której celem jest czynienie tego, co moralnie słuszne, polegając na znakomitych kompetencjach poznawczych SI, by określić, które konkretnie działania odpowiadają temu opisowi. Możemy to określić mianem propozycji „moralnej słuszności” (MS). Pomysł polega na tym, że my, ludzie, nie rozumiemy w pełni, co jest dobre, a co złe, a do tego prawdopodobnie jeszcze słabiej rozumiemy, w jaki sposób koncepcja moralnej słuszności powinna być analizowana filozoficznie — jednak byt superinteligentny zdoła zrozumieć te sprawy lepiej[20].

A co, jeśli nie mamy pewności, że realizm moralny jest prawdą? Nadal możemy spróbować podejścia moralnej słuszności. Powinniśmy jedynie dopilnować, by określono, co powinna zrobić SI w wypadku, gdyby jej założenie o istnieniu moralnego realizmu okazało się fałszywe. Przykładowo: możemy zastrzec, że jeśli SI oszacuje z wystarczająco wysokim prawdopodobieństwem, że nie ma odpowiednich bezwzględnych prawd dotyczących moralnej słuszności, wówczas powinna powrócić do implementacji spójnej ekstrapolowanej woli lub po prostu się wyłączyć[21].

Wydaje się, że MS ma kilka przewag nad CEV. MS rozprawiłaby się z rozmaitymi dowolnymi parametrami CEV, takimi jak stopień spójności ekstrapolowanych woli, który jest wymagany, by SI ostatecznie podjęła działanie, łatwość, z jaką większość może przegłosować niezgadzającą się mniejszość, oraz natura otoczenia społecznego, w ramach którego nasze ekstrapolowane istoty mają „wspólnie wzrastać wyżej”. Wydawałoby się, że eliminuje ona możliwość moralnej klęski będącej wynikiem wykorzystania zbyt wąskiej lub zbyt szerokiej bazy ekstrapolacyjnej. Co więcej, MS skierowałaby SI ku działaniom moralnie słusznym, nawet gdyby przypadkiem nasza spójna ekstrapolowana wola stanowiła, że SI powinna podjąć działania odrażające moralnie. Jak zauważono wcześniej, przy podejściu CEV jest to faktycznie możliwe. Ujmowane w kategoriach moralnych dobro może bardziej przypominać cenny metal niż występujący w obfitości pierwiastek będący składową natury ludzkiej i nawet po tym, jak ruda zostanie przetworzona i oczyszczona zgodnie z recepturą zawartą w metodzie CEV, kto wie, czy rezultatem tego procesu okaże się lśniąca cnota, obojętny żużel czy toksyczny osad?

Wydaje się, że MS ma również pewne słabości. Opiera się ona na pojęciu „moralnej słuszności”, które w powszechnym odczuciu jest pojęciem niezwykle złożonym — takim, z którym filozofowie borykają się od starożytności, nie uzyskawszy do tej pory konsensusu co do jego składowych. Wybranie błędnego wyjaśnienia „moralnej słuszności” mogłoby dać w efekcie wynik moralnie bardzo zły. Mogłoby się wydawać, że ta trudność zdefiniowania moralnej słuszności przemawia zdecydowanie na niekorzyść metody MS. Nie jest jednak jasne, czy w tym aspekcie propozycja MS ma rzeczywiście tak znaczące wady. Również propozycja CEV wykorzystuje terminy i pojęcia trudne do wyjaśnienia (między innymi takie jak: „wiedzieć więcej”, „w większym stopniu odpowiadać naszemu własnemu wyobrażeniu o nas”, „wyrosnąć wspólnie wyżej”)[22]. Nawet gdyby te pojęcia były odrobinę mniej mętne niż „moralna słuszność”, to nadal całe mile dzielą je od tego, co programista może dziś wyrazić za pomocą kodu[23]. Przekazanie SI któregokolwiek z tych konceptów może wymagać obdarowania jej ogólną zdolnością posługiwania się językiem (porównywalną przynajmniej do kompetencji językowych normalnego dorosłego). Taka ogólna zdolność do rozumienia języka naturalnego mogłaby następnie zostać wykorzystana do zrozumienia, co mamy na myśli pod pojęciem „moralnej słuszności”. Jeśli SI zdoła to zrozumieć, może poszukać pasujących do tego działań. W miarę, jak SI rozwijać będzie swoją superinteligencję, może następnie dokonywać postępu na dwóch frontach: filozoficznego problemu zrozumienia, czym jest moralna słuszność, i praktycznego problemu zastosowania tej wiedzy do oceny konkretnych działań[24]. Chociaż nie byłoby to łatwe, nie jest jasne, czy rzeczywiście byłoby to trudniejsze od ekstrapolowania spójnej woli ludzkości[25].

Bardziej fundamentalną kwestią w przypadku MS jest to, że nawet jeśli mogłaby zostać wprowadzona w życie, mogłaby nie dać nam tego, czego byśmy chcieli lub co byśmy wybrali, gdybyśmy byli bystrzejsi i lepiej poinformowani. Jest to oczywiście immanentna cecha MS, a nie przypadkowy błąd. Jednakże ta cecha może się okazać dla nas skrajnie szkodliwa[26].

Można dążyć do zachowania podstawowej koncepcji modelu MS, starając się jednocześnie sprawić, by był mniej wymagający poprzez oparcie się na kategorii moralnej dopuszczalności — pomysł polega na tym, że moglibyśmy pozwolić SI dążyć do realizacji CEV ludzkości tak długo, jak długo nie podejmowałaby działań moralnie niedopuszczalnych. Dla przykładu można sformułować SI następujący cel:

Spośród działań, które są moralnie dopuszczalne dla SI, wybierz to, które preferowałaby CEV ludzkości. Jeśli jednak jakaś część tej instrukcji zawiera niedookreślone znaczenia lub też doznaliśmy drastycznego pomieszania, jeśli chodzi o jej znaczenie, lub też jeśli realizm moralny jest fałszywy, lub też zachowaliśmy się w sposób moralnie niedopuszczalny, tworząc SI stawiającą sobie taki cel, wówczas wyłącz się w kontrolowany sposób[27]. Postępuj zgodnie z zamierzonym znaczeniem tej instrukcji.

Można nadal mieć obawy, że ten model moralnej dopuszczalności (MD) odzwierciedla nieznośnie wysoki poziom szacunku dla wymogów moralności. Jak duże pociągnie to za sobą poświęcenia, zależeć będzie od tego, która teoria etyczna jest prawdziwa[28]. Jeśli etyka jest zadowalająca w tym sensie, że uznaje za moralnie dopuszczalne każde działanie, które podporządkowuje się kilku podstawowym ograniczeniom moralnym, to wówczas MD może pozostawić mnóstwo przestrzeni, w której nasza spójna, ekstrapolowana wola będzie mogła pokierować działaniami SI. Jeśli jednak etyka jest maksymalistyczna — jeśli jedynymi moralnie dopuszczalnymi działaniami są takie, które pociągają za sobą moralnie najlepsze następstwa — wówczas MD nie pozostawi wiele miejsca (lub wręcz nie pozostawi go wcale) dla naszych preferencji, które mogłyby wpłynąć na kształt ostatecznego rezultatu.

Aby zilustrować te obawy, powróćmy na chwilę do przykładu hedonistycznego konsekwencjalizmu. Załóżmy, że ta teoria etyczna jest prawdziwa i że SI o tym wie. Dla naszych aktualnych celów możemy zdefiniować hedonistyczny konsekwencjalizm jako twierdzenie, że działanie jest moralnie słuszne (i moralnie dopuszczalne) wtedy i tylko wtedy, gdy żadne inne spośród wszystkich możliwych do wykonania działań nie pozwoli osiągnąć większej przewagi przyjemności nad cierpieniem. SI, postępując w zgodzie z MD, może zmaksymalizować nadwyżkę przyjemności, przekształcając dostępny wszechświat w hedonium, który to proces może polegać na zbudowaniu komputronium i wykorzystaniu go do wykonania obliczeń, które wywołają przyjemne doświadczenia. Ponieważ symulowanie dowolnego istniejącego ludzkiego mózgu nie jest najbardziej efektywną metodą wywoływania przyjemności, prawdopodobną konsekwencją jest to, że wszyscy umrzemy.

Wprowadzając w życie propozycję MS albo MD, ryzykujemy zatem poświęceniem naszego życia w imię większego dobra. Byłaby to większa ofiara, niż można by sądzić, ponieważ groziłaby nam utrata nie tylko sposobności przeżycia naszego zwykłego ludzkiego życia, ale i sposobności cieszenia się znacznie dłuższym i bogatszym życiem, które przyjazna superinteligencja mogłaby nam zapewnić.

Ta ofiara wydaje się jeszcze mniej atrakcyjna, gdy zastanowimy się nad tym, że superinteligencja mogłaby urzeczywistnić niemal równie wielkie dobro (w kategoriach ułamkowych), poświęcając znacznie mniejszą część naszego własnego dobrostanu. Załóżmy, że zgodziliśmy się na przekształcenie niemal całego dostępnego wszechświata w hedonium — wszystkiego z wyjątkiem małego rezerwatu, powiedzmy Drogi Mlecznej, który zostałby przeznaczony na realizację naszych własnych potrzeb. Nadal istniałyby setki miliardów galaktyk przeznaczonych na maksymalizację przyjemności. My dysponowalibyśmy jednak jedną galaktyką, wewnątrz której moglibyśmy tworzyć cudowne cywilizacje zdolne przetrwać miliardy lat i w której ludzie i zwierzęta mogliby przetrwać i wzrastać, mając sposobność rozwinięcia się do poziomu trwających w błogostanie, postludzkich duchów[29].

Jeśli preferuje się tę drugą opcję (ku czemu sam bym się skłaniał), oznacza to, że nie ma się bezwarunkowej, dobitnie wyrażonej słownie woli działania w sposób moralnie dopuszczalny. Nie jest to jednak sprzeczne z przywiązywaniem ogromnej wagi do moralności.

Nawet z czysto moralnego punktu widzenia lepszym rozwiązaniem może być wyrażanie poparcia dla jakiejś propozycji mniej ambitnej moralnie niż MS lub MD. Jeśli nie ma szansy na wcielenie w życie rozwiązania stojącego moralnie najwyżej — być może dlatego, że jest ono tak odpychająco wymagające — moralnie lepsze może być promowanie jakiejś innej propozycji: takiej, która byłaby bliska ideału i której szanse wdrożenia mogłyby znacząco wzrosnąć, gdybyśmy zaczęli wyrażać dla niej poparcie[30].

Zrób to, co mam na myśli

Możemy nie mieć pewności, czy zdecydować się na CEV, MS, MD, czy coś jeszcze innego. Czy również tę wysoko poziomową decyzję moglibyśmy przekazać komuś innemu, przerzucić jeszcze większą część pracy poznawczej na SI? Gdzie są granice naszego możliwego lenistwa?

Rozważmy dla przykładu następujący „powodowany racjonalnością” cel:

Zrób to, o zrobienie czego mielibyśmy najwięcej racjonalnych powodów poprosić SI.

Ten cel może się sprowadzać do ekstrapolacji woli, moralności lub czegoś innego, ale wydawałoby się, że oszczędziłby nam trudu i ryzyka związanego z próbą samodzielnego zorientowania się, który z tych bardziej określonych celów mielibyśmy najwięcej racjonalnych powodów wybrać.

Część problemów z celami opartymi na moralności pojawia się jednak również w tym przypadku. Po pierwsze, możemy się obawiać, że ten racjonalnie umotywowany cel pozostawi zbyt mało miejsca na nasze własne pragnienia. Niektórzy filozofowie utrzymują, że człowiek zawsze ma najwięcej powodów, by zrobić to, czego uczynienie byłoby dla niego moralnie najlepsze. Jeśli mają rację, to wówczas ten oparty na racjonalnych przesłankach cel zapada się do postaci MS — wraz z towarzyszącym jej ryzykiem, że superinteligencja wdrażająca taki mechanizm zabije wszystkich znajdujących się w polu rażenia. Po drugie, jak w przypadku wszystkich propozycji ujętych językiem technicznym, istnieje możliwość, że moglibyśmy błędnie zrozumieć znaczenie naszych własnych twierdzeń. Przekonaliśmy się, że w przypadku celów opartych na moralności proszenie SI o zrobienie tego, co jest słuszne, może prowadzić do nieprzewidzianych i niepożądanych następstw — takich, że gdybyśmy je przewidzieli, nie zdecydowalibyśmy się na wcielenie w życie rzeczonego celu. To samo stosuje się do proszenia SI o zrobienie tego, czego zrobienie jest najbardziej racjonalnie umotywowane.

A gdybyśmy spróbowali uniknąć tych trudności, formułując cel w empatycznym, nietechnicznym języku — na przykład w kategoriach tego, co „miłe”[31]?

Podejmij najmilsze działanie, a jeśli żadne działanie nie jest najmilsze, podejmij działanie, które jest przynajmniej bardzo, bardzo milutkie.

Czy można mieć jakiekolwiek zastrzeżenia do zbudowania miłej SI? Musimy jednak zapytać, co właściwie mamy na myśli, używając tego pojęcia. W słowniku znajdziemy rozmaite znaczenia słowa „miły”, których zdecydowanie nie zamierzaliśmy tutaj użyć: nie oczekujemy, by SI była uprzejma i grzeczna czy też urzekająca, rozbrajająca lub czuła. Jeśli możemy liczyć na to, że SI rozpozna zamierzoną przez nas interpretację bycia „miłym” i poczuje się zmotywowana do dążenia do osiągnięcia „miłości” właśnie w tym znaczeniu, to wówczas wydawałoby się, że ten cel sprowadzi się do polecenia wykonania tego, co programiści zaplanowali dla SI do wykonania[32]. Nakaz spełniający analogiczną funkcję został ujęty w określeniu CEV („interpretowane zgodnie z naszymi zamiarami”) i w kryterium moralnej dopuszczalności opracowanym wcześniej („Postępuj zgodnie z zamierzonym znaczeniem tej instrukcji”). Dodając tego rodzaju klauzulę „Zrób to, co mam na myśli”, możemy zasygnalizować, że inne słowa w opisie celów powinny zostać zinterpretowane nie dosłownie, lecz wyrozumiale. Powiedzenie jednak, że SI powinna być „miła”, w zasadzie nic nie dodaje — rzeczywiste znaczenie ma instrukcja „Zrób to, co mam na myśli”. Gdybyśmy wiedzieli, jak zakodować w sposób ogólny i potężny „Zrób to, co mam na myśli”, moglibyśmy to równie dobrze wykorzystać jako samodzielny cel.

W jaki sposób można zaimplementować mechanizm „Zrób to, co mam na myśli”? Innymi słowy: jak możemy stworzyć SI, która się skłania ku miłosiernej interpretacji naszych życzeń i niewypowiedzianych zamiarów — i działa według niej? Jednym z pierwszych kroków mogłaby być próba klarowniejszego zrozumienia, co mamy na myśli pod hasłem „Zrób to, co mam na myśli”. Mogłoby nam pomóc, gdybyśmy potrafili to wyjaśnić w kategoriach bardziej behawiorystycznych, dla przykładu w kategoriach ujawnionych preferencji w rozmaitych sytuacjach hipotetycznych — takich jak sytuacje, w których mielibyśmy więcej czasu, by rozważyć wszystkie możliwości, w których bylibyśmy inteligentniejsi, w których znalibyśmy więcej istotnych faktów i w których pod rozmaitymi innymi względami warunki byłyby korzystniejsze dla nas, konkretnie odzwierciedlając w konkretnych naszych wyborach, co mamy na myśli, gdy stwierdzamy, że chcemy, by SI była przyjazna, korzystna dla nas, miła i tak dalej.

Tutaj, oczywiście, dochodzimy do punktu wyjścia. Wróciliśmy do podejścia pośredniej normatywności, od którego zaczęliśmy — propozycji CEV, która w istocie całkowicie pozbawia specyfikację wartości konkretnej treści, pozostawiając jedynie abstrakcyjną wartość określoną w kategoriach czysto proceduralnych — uczynić to, czego uczynienia życzylibyśmy sobie od SI w stosownie wyidealizowanych warunkach. Metodą takiej normatywności pośredniej moglibyśmy mieć nadzieję zrzucić na SI większość pracy poznawczej, którą my samy próbowalibyśmy wykonać, gdybyśmy podjęli próbę wyartykułowania bardziej skonkretyzowanego opisu wartości, do jakich urzeczywistnienia SI miałaby dążyć. Zmierzając do pełnego wykorzystania poznawczej wyższości SI, CEV może zatem zostać uznana za wcielenie zasady epistemicznego szacunku.

Lista komponentów

Dotychczas rozważaliśmy różne możliwości tyczące się samych składowych systemu wartości SI. Lecz wpływ na zachowanie SI będą miały również inne wybory projektowe. W szczególności krytyczne znaczenie może mieć wybór tej lub innej teorii decyzji i teorii poznania. Kolejnym istotnym pytaniem jest pytanie o to, czy plany SI zostaną poddane ludzkiemu osądowi, zanim będą wprowadzone w życie.

Tabela 13. podsumowuje te wybory projektowe. Zespół projektowy stawiający sobie za cel zbudowanie superinteligencji powinien być w stanie wyjaśnić, jakich dokonał wyborów w odniesieniu do każdego z tych komponentów, i uzasadnić, dlaczego podjął takie a nie inne decyzje[33].

Tabela 13. Lista komponentów

Istota celu

Do jakiego celu powinna dążyć SI? W jaki sposób powinien być interpretowany opis tego celu? Czy ten cel powinien obejmować przyznanie specjalnych nagród tym, którzy przyczynili się do sukcesu projektu?

Teoria decyzji

Czy SI powinna się posłużyć konsekwencjalistyczną teorią decyzji, teorią decyzji opartą na prawdopodobieństwie warunkowym, niepoddającą się aktualizacji teorią decyzji czy jakąś jeszcze inną?

Teoria poznania

Jak powinna wyglądać funkcja prawdopodobieństwa a priori SI i jakich innych założeń na temat świata, wyrażonych wprost i domyślnie, ma dokonać? Jaką teorią antropiczną powinna się posłużyć?

Ratyfikacja

Czy plany SI powinny zostać poddane ludzkiej ocenie, zanim zostaną wprowadzone w życie? Jeśli tak, jak wygląda protokół takiego procesu oceny?

Istota celu

Omówiliśmy już, jak normatywność pośrednia może zostać wykorzystana do określenia wartości, do urzeczywistnienia której SI ma dążyć. Omówiliśmy pewne możliwości, takie jak modele oparte na moralności i spójna, ekstrapolowana wola. Każdy taki wybór stwarza kolejne wybory, których również trzeba dokonać. Dla przykładu: podejście CEV występuje w wielu wariantach, zależnie od tego, kto się znajdzie w bazie ekstrapolacji, jak wygląda schemat ekstrapolacji i tak dalej. Inne metody doboru motywacji mogą wymagać innego typu istoty celu. Na przykład wyrocznia może zostać zbudowana w taki sposób, by przywiązywała wagę do udzielania precyzyjnych odpowiedzi. Wyrocznia, której wszczepiono zamiłowanie do udomowienia, może mieć cel implikujący przypisywanie negatywnej wartości nadmiernemu zużyciu zasobów do uzyskania odpowiedzi.

Wyborem projektowym jest również decyzja, czy należy w treści celu specjalnie zastrzec, by nagrodzić jednostki, które przyczyniły się do sukcesu produkcji SI, na przykład przyznając im dodatkowe zasoby lub wpływ na zachowanie SI. Możemy określić takie zapisy mianem „pakowania zachęt”. Pakowanie zachęt można uznać za metodę zwiększenia prawdopodobieństwa osiągnięcia sukcesu przez projekt kosztem pewnych ustępstw, jeśli chodzi o cel, który projekt ma zgodnie z planem osiągnąć.

Przykładowo: jeśli celem projektu jest stworzenie mechanizmu wcielenia w życie spójnej, ekstrapolowanej woli ludzkości, wówczas schemat pakowania zachęt może określać, że woli niektórych jednostek należy przypisać większą wagę w procedurze ekstrapolacji. Jeśli taki projekt zakończy się sukcesem, ostatecznym rezultatem nie musi być koniecznie implementacja spójnej ekstrapolowanej woli ludzkości — może nim być pewne przybliżenie tej wartości[34].

Ponieważ pakowanie zachęt byłoby elementem istoty celu interpretowanego i realizowanego przez superinteligencję, mogłaby ona skorzystać z normatywności pośredniej, by sformułować delikatne i skomplikowane klauzule, które ludzkiemu kierownikowi trudno byłoby wprowadzić w życie. Dla przykładu: zamiast nagradzać programistów wedle jakiejś prymitywnej, ale łatwo dostępnej miary, choćby godzin poświęconych na pracę lub liczby poprawionych błędów, pakowanie zachęt określałoby, że programiści „mają zostać wynagrodzeni proporcjonalnie do tego, w jakim stopniu ich wkład zwiększył jakieś rozsądne prawdopodobieństwo ex ante zakończenia projektu sukcesem w sposób zamierzony przez sponsorów”. Dalej, nie byłoby żadnego powodu, by ograniczać pakowanie zachęt do personelu projektu. Można by zamiast tego określić, że każda osoba powinna zostać nagrodzona wedle swych zasług. Alokacja zasług jest skomplikowanym zagadnieniem, lecz od superinteligencji można by oczekiwać, że przyzwoicie sobie poradzi z przybliżeniem kryteriówokreślonych wprost i domyślnie mechanizmem pakowania nagród.

Można sobie wyobrazić, że superinteligencja jest w stanie nawet znaleźć jakiś sposób nagrodzenia jednostek, które zmarły przed jej stworzeniem[35]. Pakowanie zachęt może zostać wówczas rozszerzone, by objąć przynajmniej część zmarłych, potencjalnie obejmując jednostki, które zmarły jeszcze przed rozpoczęciem projektu lub nawet antydatować pierwsze wyłuszczenie koncepcji pakowania zachęt. Chociaż ustanowienie takiej retroaktywnej polityki nie zachęciłoby przyczynowo tych ludzi, który spoczywają już w grobach w chwili, gdy te słowa trafiają na papier, mogłoby zostać poparte z powodów moralnych — chociaż można by utrzymywać, że o ile sprawiedliwość jest celem, o tyle powinna zostać uwzględniona jako element stosownej docelowej specyfikacji, a nie składowa „pakowania zachęt”.

Nie możemy tutaj zagłębić się we wszystkie etyczne i strategiczne kwestie związane z pakowaniem zachęt. Jednak stosunek autorów projektu do tych kwestii byłby istotnym aspektem jego fundamentalnej koncepcji projektowej.

Teoria decyzji

Kolejnym istotnym wyborem projektowym jest postanowienie, którą teorią decyzji powinna się posługiwać SI. Mogłoby to wywrzeć wpływ na to, w jaki sposób SI się zachowuje w pewnych doniosłych strategicznie sytuacjach. Mogłoby to określić, dla przykładu, czy SI jest skłonna prowadzić wymianę handlową lub ulegać szantażowi innych superinteligentnych cywilizacji, których istnienie podejrzewa. Szczegóły teorii decyzji mogłyby mieć również znaczenie w sytuacji skończonego prawdopodobieństwa nieskończonych zysków („zakłady Pascala”) lub niezwykle małego prawdopodobieństwa gigantycznych, lecz skończonych zysków („rozboje Pascala”), w sytuacji, w której SI staje w obliczu fundamentalnej normatywnej niepewności, lub wówczas, gdy występuje wiele instancji tego samego programu[36].

Dostępne dla nas wybory obejmują konsekwencjalistyczną teorię decyzji (w wielu rozmaitych odmianach) oraz teorię decyzji opartą na prawdopodobieństwie warunkowym, a ponadto nowszych kandydatów takich jak „ponadczasową teorię decyzji” i „niepoddającą się aktualizacji teorię decyzji”, które nadal są jeszcze dopracowywane[37]. Może się okazać trudne określenie i sformułowanie prawidłowej teorii decyzji oraz nabycie uzasadnionej pewności, że mamy rację. Choć perspektywy bezpośredniego określenia teorii decyzji SI wyglądają prawdopodobnie bardziej obiecująco niż perspektywy bezpośredniego określenia jej wartości ostatecznych, nadal stoimy wobec poważnej groźby popełnienia błędu. Dopiero niedawno odkryto wiele problemów, które mogłyby podważyć współcześnie najpopularniejsze teorie decyzji, a ich odkrycie sugeruje istnienie kolejnych problemów, które nie wyszły jeszcze na jaw. Efekty obdarzenia SI błędną teorią decyzji mogłyby być katastrofalne, być może równoznaczne z zagładą ludzkości.

W świetle tych trudności można rozważyć pośrednie podejście do określenia teorii decyzji, którą SI powinna się posłużyć. Nie jest jeszcze jasne, jak to właściwie zrobić. Moglibyśmy życzyć sobie, by SI posłużyła się „tą teorią decyzji D, którą życzylibyśmy sobie, by się posłużyła, gdybyśmy długo nad tym myśleli i dogłębnie tę kwestię przeanalizowali”. Jednakże SI musiałaby potrafić podejmować decyzje, zanim dowiedziałaby się, czym jest D. A zatem potrzebowałaby jakiejś efektywnej tymczasowej teorii decyzji D’, która rządziłaby jej poszukiwaniami D. Można starać się zdefiniować D’ jako jakiegoś rodzaju złożenie aktualnych hipotez SI na temat D (ważonych swoim prawdopodobieństwem), chociaż istnieją nierozwiązane problemy techniczne utrudniające określenie, jak to zrobić w sposób całkowicie ogólny[38]. Istnieją również powody do obaw, że SI może podjąć nieodwracalnie złe decyzje (takie jak przepisanie samej siebie, by odtąd działać na bazie jakiejś błędnej teorii decyzji) w fazie uczenia się, zanim zyska sposobność określenia, która konkretnie teoria decyzji jest prawidłowa. Aby ograniczyć ryzyko wykolejenia się SI w tym okresie słabości, możemy podjąć próbę wyposażenia zalążkowej SI w jakąś formę ograniczonej racjonalności: celowo uproszczoną, lecz nie grożącą żadnymi, miejmy nadzieję, niespodziankami teorię decyzji lojalnie ignorującą wszelkie ezoteryczne rozważania, nawet te, co do których sądzimy, że ostatecznie mogą się okazać uprawnione, i zaprojektowaną w taki sposób, by samodzielnie zastąpiła się bardziej wyrafinowaną (określoną pośrednio) teorią decyzji, gdy zostaną spełnione określone warunki[39]. Bez odpowiedzi pozostaje pytanie, czy i w jaki sposób uda się to osiągnąć.

Teoria poznania

Zespół projektowy będzie również musiał podjąć fundamentalne decyzje projektowe, wybierając teorię poznania SI i określając zasady i kryteria, wedle których mają być oceniane hipotezy empiryczne. W ramach modelu bayesowskiego możemy uznać teorię poznania za funkcję prawdopodobieństwa a priori — domyślne przypisanie przez SI prawdopodobieństwa możliwym światom jeszcze przed uzyskaniem jakichkolwiek danych empirycznych. W innych modelach teoria poznania może przybrać inną postać, lecz tak czy inaczej konieczna jest jakaś zasada uczenia indukcyjnego, jeśli SI ma dokonywać uogólnień na podstawie poczynionych obserwacji i przywidywań co do przyszłości[40]. Jednakże podobnie jak w przypadku istoty celu i teorii decyzji jest ryzyko, że nasza specyfikacja epistemologii okaże się nietrafna.

Można by sądzić, że istnieje jakaś granica rozmiarów szkód, które mogą wyniknąć z nieprawidłowo określonej epistemologii. Gdyby teoria poznania była zbyt dysfunkcyjna, wówczas SI nie mogłaby być bardzo inteligentna i nie mogłaby stwarzać zagrożenia omawianego w tej książce. Powstaje jednak obawa, że możemy określić epistemologię, która jest wystarczająco rozsądna, by nadać SI sprawność instrumentalną w większości sytuacji, lecz która mimo to ma skazy mogące zaprowadzić SI na manowce w kwestiach o kluczowym znaczeniu. Taka SI może przypominać bystrą osobę o światopoglądzie opierającym się na fałszywym dogmacie, którego ta osoba trzyma się z absolutnym przekonaniem i w konsekwencji podejmuje „walkę z wiatrakami”, angażując się bez reszty w osiągnięcie jakichś fantastycznych lub szkodliwych celów.

Może się okazać, że pewne rodzaje subtelnych różnic w apriorycznych założeniach SI są w stanie w drastyczny sposób wpłynąć na jej różnice w zachowaniu. Dla przykładu: SI może przypisać a priori zerowe prawdopodobieństwo możliwości, że Wszechświat jest nieskończony. Niezależnie od tego, jak astronomiczna liczba dowodów zostałaby zgromadzona na poparcie hipotezy przeciwnej, taka SI uparcie odrzucałaby wszelkie teorie kosmologiczne sugerujące nieskończoność Wszechświata. W rezultacie mogłaby podejmować głupie decyzje[41]. Lub też SI mogłaby przypisać z góry zerowe prawdopodobieństwo hipotezie, że Wszechświat nie jest obliczalny w rozumieniu Turinga (jest to w istocie wspólna cecha wielu apriorycznych założeń omawianych w literaturze, włącznie ze złożonością Kołmogorowa prezentowaną w rozdziale 1.), co znów pociągnęłoby za sobą słabo rozumiane konsekwencje, gdyby wbudowane założenie — znane jako „hipoteza Churcha – Turinga” — okazało się fałszywe. SI może również wypracować hipotezę aprioryczną, która tworzy silne metafizyczne założenia takiego czy innego rodzaju, chociażby wykluczając a priori możliwość, że mogłaby istnieć jakakolwiek silna forma dualizmu duszy i ciała lub też możliwość, że istnieją nieredukowalne fakty moralne. Jeśli którekolwiek z tych założeń jest błędne, SI może dążyć do realizacji swoich celów ostatecznych w taki sposób, który uznalibyśmy za ich przewrotną realizację. Nie ma jednak żadnych oczywistych powodów, dla których taka SI, choćby myliła się fundamentalnie w jednej istotnej kwestii, nie mogłaby być wystarczająco instrumentalnie efektywna, by zapewnić sobie decydującą przewagę strategiczną. (Antropika, nauka o tym, jak wyciągać wnioski z informacji opisanej wyrażeniami okazjonalnymi w obliczu występowania efektu selekcji obserwacji, jest kolejnym obszarem, w którym wybór aksjomatów teoriopoznawczych może się okazać kluczowy)[42].

Możemy mieć uzasadnione wątpliwości co do naszej zdolności rozwiązania wszystkich podstawowych kwestii epistemologicznych do czasu skonstruowania pierwszej zalążkowej SI. Możemy zatem rozważyć przyjęcie pośredniego podejścia do określenia teorii poznania SI. Podniesie to wiele kwestii podobnych do tych, które powstają przy okazji przyjmowania podejścia pośredniego do określenia teorii decyzji SI. Jednakże w przypadku epistemologii większa jest nadzieja na zbawienną konwergencję, dzięki której dowolna z wachlarza teorii poznania dostarczy adekwatnej podstawy do działania SI w sposób bezpieczny i efektywny i uzyskania ostatecznie analogicznie chwalebnych rezultatów. Powodem jest to, że wystarczająco obfite dowody i analizy empiryczne z dużym prawdopodobieństwem zniwelują wszelkie umiarkowane różnice w apriorycznych oczekiwaniach[43].

Właściwym celem byłoby wyposażenie SI w fundamentalne zasady epistemologiczne odpowiadające tym, które rządzą naszym własnym myśleniem. Każdą SI odbiegającą od tego ideału uznalibyśmy za rozumującą nieprawidłowo, gdybyśmy konsekwentnie trzymali się własnych standardów. Oczywiście odnosi się to wyłącznie do fundamentalnych zasad teoriopoznawczych. Zasady niefundamentalne powinny być nieprzerwanie tworzone i rewidowane przez samą zalążkową SI w miarę rozwoju jej pojmowania świata. Celem superinteligencji nie jest schlebianie ludzkim uprzedzeniom, lecz rozbijanie w puch naszej głupoty i ignorancji.

Ratyfikacja

Ostatnim pojęciem na naszej liście wyborów projektowych jest ratyfikacja. Czy plany SI powinny zostać poddane ludzkiej ocenie, zanim będą wprowadzone w życie? W przypadku wyroczni na to pytanie zostaje domyślnie udzielona odpowiedź twierdząca. Wyrocznia podaje informację. Sędziowie będący ludźmi oceniają, czy zrobić z niej użytek, a jeśli tak, to jaki. Jednakże w przypadku dżinów, suwerenów i narzędziowej sztucznej inteligencji pytanie o to, czy skorzystać z jakiejś formy ratyfikacji, pozostaje otwarte.

Aby zilustrować, w jaki sposób mogłaby działać ratyfikacja, wyobraźmy sobie SI, która w założeniu ma działać jako suweren wcielający w życie CEV ludzkości. Zamiast uruchamiać tę SI bezpośrednio, wyobraźmy sobie, że najpierw zbudowaliśmy tę wieszczącą SI wyłącznie w celu udzielania odpowiedzi na pytania o to, co zrobiłby suweren SI. Jak odkryliśmy w poprzednich rozdziałach, tworzeniu superinteligentnej wyroczni towarzyszą pewne zagrożenia (takie jak groźba zbrodni przeciw umysłom czy przerostu infrastruktury). Lecz na potrzeby tego przykładu załóżmy, że SI będąca wyrocznią została z sukcesem zaimplementowana w taki sposób, który pozwolił uniknąć tych niebezpieczeństw.

A zatem mamy SI będącą wyrocznią, która stara się dla nas maksymalnie trafnie odgadnąć następstwa uruchomienia jakiegoś fragmentu kodu mającego w zamierzeniu wprowadzać w życie CEV ludzkości. Wyrocznia może nie być zdolna szczegółowo przewidzieć, co się wydarzy, lecz jej prognozy będą prawdopodobnie i tak lepsze niż nasze. (A gdyby nawet superinteligencja nie potrafiła w najmniejszym nawet stopniu przewidzieć, co zrobi dany kod, to szaleństwem byłoby z naszej strony uruchamianie go). A zatem wyrocznia zastanawia się przez chwilę, po czym prezentuje swoją przepowiednię. Aby odpowiedź była dla nas zrozumiała, wyrocznia może zaproponować operatorowi wybór narzędzi, za pomocą których będzie mógł badać rozmaite cechy przewidywanego rezultatu. Wyrocznia może pokazać obrazy przyszłości i dostarczyć statystyk dotyczących liczby istot rozumnych, które będą żyć w różnym czasie, oraz średni, najwyższy i najniższy poziom dobrostanu. Może przedstawić intymne biografie kilku przypadkowo wybranych jednostek (być może wyobrażonych ludzi, wybranych w taki sposób, by byli probabilistycznie reprezentatywni). Może podkreślić te aspekty przyszłości, o które operatorowi nie przyszło do głowy zapytać, lecz które uznałby za istotne, gdyby mu je wskazano.

Zdolność do przewidywania rezultatów w taki sposób ma oczywiste zalety. Podgląd może ujawnić następstwa błędu w specyfikacji projektowej lub kodzie źródłowym planowanego suwerena. Jeśli kryształowa kula pokaże przyszły świat w ruinie, możemy odrzucić kod planowanego superinteligentnego suwerena i spróbować czegoś innego. Możemy zdecydowanie bronić tezy, że powinniśmy się zaznajomić z konkretnymi implikacjami danego wyboru, zanim się na niego zdecydujemy — zwłaszcza, gdy stawką jest przyszłość całej ludzkości.

Prawdopodobnie mniej oczywiste jest to, że ratyfikacja ma również potencjalnie znaczące wady. Koncyliacyjna natura CEV może zostać podważona, jeśli niezgadzające się ze sobą frakcje zamiast poddać się arbitrażowi przewyższającej je mądrości z niezachwianą wiarą w to, że prawdziwość wyznawanych przez nie racji zostanie potwierdzona, będą mogły podejrzeć zawczasu werdykt. Zwolennicy podejścia opartego na moralności mogą się obawiać, że determinacja sponsora ulegnie załamaniu, gdy zostaną ujawnione wszystkie ofiary, które trzeba ponieść, by osiągnąć optymalne moralnie rozwiązania. My wszyscy możemy mieć powody, by preferować przyszłość kryjącą w sobie jakieś niespodzianki, jakieś rozdźwięki, jakąś dzikość, jakieś sposobności do przezwyciężania samego siebie — przyszłość, której kontury nie zostały zbyt ciasno przykrojone do współczesnych uprzedzeń, lecz dają nam pewien luz pozwalający na radykalne ruchy i nieplanowany wzrost. Szansa na taki szeroki ogląd mogłaby się zmniejszyć, gdybyśmy mogli dowolnie sobie wybrać każdy szczegół przyszłości, posłać z powrotem na deskę kreślarską każdy szkic, który nie odpowiada w pełni naszym aktualnym kaprysom.

Kwestia ratyfikacji przez sponsora jest z tego względu mniej jednoznaczna, niż mogłoby się początkowo wydawać. Mimo to, zważywszy na wszystko, wydawałoby się roztropne wykorzystanie możliwości podglądu, gdyby taka funkcja była dostępna. Lecz zamiast pozwalać oceniającemu dostrajać każdy aspekt spodziewanego rezultatu, możemy dać mu proste prawo weta, które jest w stanie wykorzystać tylko kilka razy, zanim cały projekt zostanie ostatecznie skasowany[44].

Dostateczne przybliżenie

Głównym celem ratyfikacji byłoby zmniejszenie prawdopodobieństwa popełnienia katastrofalnego w skutkach błędu. Generalnie wydaje się mądre postawienie sobie za cel minimalizacji ryzyka katastrofalnego błędu, a nie maksymalizacji sposobności pełnej optymalizacji każdego szczegółu. Istnieją ku temu dwa powody. Po pierwsze, kosmiczne dziedzictwo ludzkości jest astronomicznie wielkie — starczy dla wszystkich, nawet gdyby nasz proces wiązał się z pewnym marnotrawstwem lub akceptował pewne niekonieczne ograniczenia. Po drugie, istnieje nadzieja, że jeśli tylko uda nam się mniej więcej właściwie uchwycić warunki początkowe do eksplozji inteligencji, wówczas powstała superinteligencja zdoła w końcu namierzyć nasze cele ostateczne i precyzyjnie ukierunkować swoje działania. Istotne jest to, by wylądować we właściwym basenie przyciągania atraktora.

W odniesieniu do epistemologii prawdopodobne jest, że szeroka gama apriorycznych założeń ulegnie ostatecznie konwergencji do kilku bardzo podobnych aposteriorycznych wniosków (kiedy już zostaną obliczone przez superinteligencję i uprawdopodobnione realistyczną ilością danych). Z tego względu nie musimy się obawiać, czy idealnie uchwycimy istotę epistemologii. Musimy po prostu unikać przekazywania SI założeń tak skrajnych, że uczynią ją niezdolną do poznania żywotnych prawd nawet wówczas, gdy przemawiać będzie za nimi ogromna liczba doświadczeń i analiz[45].

W przypadku teorii decyzji ryzyko popełnienia nieodwracalnego błędu wydaje się większe. Wciąż możemy mieć nadzieję na bezpośrednie określenie teorii decyzji, która będzie wystarczająco dobra. Superinteligentna SI może w dowolnym momencie przestawić się na dowolną teorię decyzji, jednakże jeśli uruchomi się z wystarczająco złą teorią decyzji, może nie dostrzec powodów, by się przełączyć. Nawet jeśli sprawca dostrzeże korzyści płynące z posiadania innej teorii decyzji, może sobie je uzmysłowić zbyt późno. Dla przykładu: sprawca zaprojektowany do odrzucania szantażu może się cieszyć przywilejem odstraszania potencjalnych szantażystów. Z tego względu sprawcy, których można zaszantażować, postąpiliby słusznie, proaktywnie przyjmując teorię decyzji pozwalającą im każdorazowo oszacować wiarygodność szantażysty i jego groźby. Jeśli jednak ulegający szantażowi sprawca otrzyma pogróżkę i uzna ją za wiarygodną, szkoda zostanie wyrządzona.

Zakładając adekwatność teorii poznania i teorii decyzji, możemy spróbować zaprojektować system implementacji CEV lub jakiegoś innego pośrednio określonego celu. I znów istnieje nadzieja na konwergencję, a więc na to, że odmienne metody implementacji mechanizmów zbliżonych do CEV doprowadzą do tego samego utopijnego wyniku. Gdyby do takiej konwergencji nie doszło, możemy mieć wciąż nadzieję, że wiele odmiennych możliwych wyników będzie na tyle dobrych, że można je będzie uznać za egzystencjalny sukces.

Nie ma konieczności, byśmy stworzyli wysoce zoptymalizowany projekt. Powinniśmy się raczej skupić na stworzeniu wysoce niezawodnego systemu, do którego można mieć zaufanie, że zachowa wystarczająco dużo przytomności umysłu, by rozpoznać własne słabości. Niedoskonała superinteligencja o zdrowych podstawach stopniowo naprawi się sama, a uczyniwszy to, będzie wywierać tak korzystną siłę optymalizacyjną na świat, jakby od samego początku była idealna.

Rozdział 14.
Perspektywa strategiczna

Czas na rozważenie wyzwań superinteligencji w szerszym kontekście. Chcielibyśmy zorientować się w krajobrazie strategicznym na tyle, by zrozumieć przynajmniej, w którym z grubsza kierunku powinniśmy zmierzać. Jak się okazuje, nie jest to wcale proste. W tym już przedostatnim rozdziale wprowadzamy pewne ogólne koncepcje analityczne, które pomogą nam rozważyć długofalowe następstwa polityki naukowo-technologicznej. Omówione propozycje zastosujemy w odniesieniu do myślących maszyn.

Pouczające może być dokonanie wstępnego rozróżnienia pomiędzy dwiema odmiennymi perspektywami normatywnymi, z których można dokonać oceny proponowanej polityki. Z perspektywy wpływu na człowieka zadajemy sobie pytanie, czy zmiana będzie „w naszym interesie” — a zatem czy będzie (zważywszy na wszystko) w interesie tych moralnie godnych szacunku stworzeń, które albo już istnieją, albo zaczną istnieć niezależnie od tego, czy zmiana ta nastąpi czy nie. Z perspektywy bezosobowej natomiast nie zwracamy szczególnej uwagi na współcześnie żyjących ludzi ani na tych, którzy zostaną powołani do życia niezależnie od tego, czy proponowana zmiana nastąpi czy nie. Wszyscy są brani pod uwagę na równych prawach, niezależnie od ich umiejscowienia w czasie. Perspektywa bezosobowa dostrzega ogromną wartość w powoływaniu nowych ludzi do istnienia, zakładając, że ich życie warte jest przeżycia — im więcej szczęśliwych żyć zostanie powołanych do istnienia, tym lepiej.

To rozróżnienie, chociaż zaledwie sygnalizuje moralną złożoność rewolucji myślących maszyn, może być użyteczne w pierwszej, zgrubnej analizie. Najpierw zajmiemy się zbadaniem tych kwestii z perspektywy bezosobowej. Później zobaczymy, co się zmieni, gdy w naszych rozważaniach uwzględnimy perspektywę wpływu na człowieka.

Strategia naukowo-technologiczna

Zanim skoncentrujemy się na kwestiach specyficznych dla superinteligentnych maszyn, musimy wprowadzić pewne strategiczne pojęcia i czynniki, które odnoszą się bardziej ogólnie do rozwoju naukowo-technologicznego.

Zróżnicowany rozwój technologiczny

Załóżmy, że autor danej strategii politycznej proponuje obcięcie finansowania konkretnej dziedziny nauki z obawy przed zagrożeniami lub długofalowymi następstwami jakiejś hipotetycznej technologii, która może wreszcie zacząć przynosić owoce. Ów autor może się spodziewać, że społeczność badawcza zdecydowanie zaprotestuje.

Naukowcy i osoby publicznie wyrażające poparcie dla ich działań często powtarzają, że daremne są próby kontrolowania ewolucji technologicznej poprzez blokowanie badań naukowych. Dowodzą, że jeśli jakaś technologia jest osiągalna, zostanie rozwinięta niezależnie od wątpliwości tego czy innego polityka co do przypuszczalnych zagrożeń jej przyszłego rozwoju. W istocie im większe możliwości stwarza rozwój danej linii technologicznej, tym większą możemy mieć pewność, że ktoś gdzieś znajdzie w sobie wystarczającą motywację do kontynuowania działań w tym kierunku. Obcięcie dotacji nie zahamuje postępu i nie zapobiegnie towarzyszącym mu zagrożeniom.

Co ciekawe, w zasadzie nie podnosi się zarzutu daremności, gdy politycy proponują zwiększenie dotacji na jakąś dziedzinę badań, choć wydawałoby się, że ten argument działa w dwie strony. Rzadko słyszy się pełne oburzenia głosy protestu: „Prosimy nie zwiększać nam dotacji! Raczej je obetnijcie! Z pewnością naukowcy w innych krajach wypełnią powstałą lukę i praca zostanie wykonana tak czy inaczej! Nie marnotrawcie publicznych pieniędzy na krajowe badania naukowe!”.

Z czego wynikają te, w oczywisty sposób podwójne, standardy myślenia? Jednym z możliwych wyjaśnień jest rzecz jasna to, że członkowie społeczności badawczej przejawiają egotyzm atrybucyjny; skłania nas on ku przekonaniu, że badania są zawsze dobre, i kusi do przyjęcia prawie każdego argumentu, który wspiera nasze żądania większych dotacji. Jednakże istnieje również możliwość, że podwójne standardy mogą znajdować usprawiedliwienie w kategoriach interesu narodowego. Załóżmy, że rozwój techniki ma dwa skutki: daje ona niewielki zysk Z swoim wynalazcom i krajowi, który ich sponsoruje, jednocześnie przyczyniając się do powstania znacznie większej łącznej krzywdy K — mogącej być efektem zewnętrznym zagrożenia — która dotyka wszystkich. Nawet ktoś będący w dużej mierze altruistą może w tych okolicznościach zdecydować się na rozwój, ogólnie rzecz biorąc, szkodliwej technologii. Może on rozumować, że krzywda K zostanie wyrządzona niezależnie od jego działań, bo nawet jeśli akurat on się od nich powstrzyma, ktoś inny tak czy inaczej je podejmie, a biorąc pod uwagę, że nie będzie to miało wpływu na całkowitą sumę dobra, czemużby nie miał zgarnąć zysków Z dla siebie i swojego kraju. („Zła wiadomość jest taka, że wkrótce pojawi się urządzenie, które zniszczy świat. Dobra wiadomość jest taka, że dostaliśmy grant na jego skonstruowanie!”).

Żadne wyjaśnienie powabu zarzutu daremności nie pokazuje jednak, że ogólnie rzecz biorąc nie istnieje bezosobowa przyczyna, by podjąć próbę sterowania rozwojem technologicznym. Nie pokazuje go nawet wówczas, gdy zgodzimy się z motywującą koncepcją, że w warunkach nieprzerwanych wysiłków na rzecz rozwoju naukowo-technologicznego wszystkie istotne technologie zostaną ostatecznie opracowane — a zatem nawet wówczas, gdy zgodzimy się z następującym twierdzeniem:

Przypuszczenie technicznej pełni — jeśli wysiłki na rzecz rozwoju naukowo-technologicznego nie zostaną całkowicie poniechane, to wszystkie istotne podstawowe możliwości, które mogłyby być osiągnięte dzięki jakiejś możliwej technologii, zostaną ostatecznie osiągnięte[1].

Istnieją przynajmniej dwa powody, dla których przypuszczenie technicznej pełni nie implikuje zarzutu daremności. Po pierwsze, przesłanka może nie zostać spełniona, ponieważ nie jest tak naprawdę powiedziane, że wysiłki na rzecz rozwoju naukowo-technicznego nie będą całkowicie poniechane (przed osiągnięciem technologicznej dojrzałości). To zastrzeżenie jest szczególnie istotne w kontekście groźby zagłady ludzkości. Po drugie, nawet gdybyśmy mogli mieć pewność, że wszystkie istotne podstawowe możliwości, które moglibyśmy zdobyć dzięki jakiejś potencjalnej technologii, zostaną uzyskane, to nadal może mieć sens podjęcie próby wywarcia wpływu na kierunek badań technologicznych. Znaczenie ma nie tylko to, czy technologia zostanie opracowana, ale również to, kiedy zostanie opracowana, przez kogo i w jakim kontekście. Na okoliczności narodzin nowej technologii kształtujące jej wpływ na przyszłość można oddziaływać, przekręcając w jedną lub w drugą stronę kurek z funduszami (oraz robiąc użytek z innych instrumentów realizacji polityki).

Spostrzeżenia te podpowiadają zasadę, która zwróciłaby naszą uwagę na względną szybkość rozwoju rozmaitych technologii[2]:

Zasada zróżnicowania tempa rozwoju technologicznego — hamuj rozwój szkodliwych lub niebezpiecznych technologii, zwłaszcza tych, które zwiększają ryzyko zagłady ludzkości, przyspieszaj natomiast rozwój technologii korzystnych, zwłaszcza tych, które zmniejszają ryzyko zagłady ludzkości stwarzane przez naturę lub inne technologie.

Politykę można zatem ocenić przez pryzmat tego, jak dużą przewagę względną daje pożądanym formom rozwoju technicznego względem form niepożądanych[3].

Preferowana kolejność nadejścia

Niektóre technologie mają ambiwalentny wpływ na ryzyko egzystencjalne, powiększając jedne zagrożenia, a jednocześnie zmniejszając inne. Superinteligencja jest jedną z takich technologii.

Przekonaliśmy się we wcześniejszych rozdziałach, że wprowadzenie superinteligentnych maszyn pociągnie za sobą groźbę zagłady ludzkości, lecz jednocześnie ograniczy wiele innych zagrożeń egzystencjalnych. Zagrożenia płynące z natury — takie jak uderzenie asteroidy, wybuch superwulkanu czy naturalna pandemia — zostaną wyeliminowane, gdyż superinteligencja będzie potrafiła wdrożyć środki zaradcze niwelujące większość tego rodzaju zagrożeń lub przynajmniej złagodzić je do tego stopnia, by nie były niebezpieczne dla naszej egzystencji (na przykład poprzez kolonizację przestrzeni kosmicznej).

Te zagrożenia egzystencjalne płynące z natury są w istotnej skali czasowej stosunkowo niewielkie. Lecz superinteligencja wyeliminuje również lub zredukuje wiele zagrożeń antropogenicznych, a w szczególności ograniczy ryzyko przypadkowego zniszczenia, włącznie z ryzykiem wypadków związanych z nowymi technologiami. Myślące maszyny jako generalnie mające większe możliwości niż ludzie z mniejszym prawdopodobieństwem popełniać będą błędy, a z większym rozpoznają konieczność podjęcia środków zaradczych i następnie kompetentnie je wdrożą. Dobrze skonstruowana superinteligencja może czasem podjąć pewne ryzyko, lecz tylko wówczas, gdy będzie to mądre posunięcie. Co więcej, przynajmniej w scenariuszach, w których superinteligencja stworzy singleton, wiele istotnych antropogenicznych zagrożeń egzystencjalnych wynikających z problemów globalnej koordynacji zostanie wyeliminowanych. Obejmuje to ryzyko wojen, wyścigów technologicznych, niepożądanych form konkurencji i ewolucji oraz tragedii spotykających zwykłych ludzi.

Ponieważ znaczne zagrożenia wiązać się będą z rozwijaniem przez ludzi sztucznych organizmów żywych, nanotechnologii molekularnej, inżynierii klimatu, instrumentów eugeniki i manipulacji neuropsychologicznej, narzędzi kontroli społecznej mogących ułatwić wprowadzenie totalitaryzmów lub tyranii oraz innych technologii dziś jeszcze niewyobrażalnych, wyeliminowanie tego rodzaju zagrożeń byłoby prawdziwym błogosławieństwem. Można zatem zgromadzić argumenty na poparcie tezy, że pożądane jest możliwie szybkie wyprodukowanie superinteligencji. Jeśli jednak ryzyko zagrożeń płynących z natury oraz innych zagrożeń niezwiązanych z przyszłą technologią jest niewielkie, wówczas argumentacja ta może zostać doprecyzowana — liczy się to, abyśmy uzyskali superinteligencję przed innymi niebezpiecznymi technologiami w rodzaju zaawansowanej nanotechnologii. Czy zdarzy się to wcześniej, czy później, może już nie być takie istotne (z perspektywy bezosobowej), jeśli tylko właściwa będzie kolejność pojawiania się tych technologii.

Powodem, dla którego preferowane jest uzyskanie superinteligencji przed zdobyciem innych potencjalnie niebezpiecznych technologii w rodzaju nanotechnologii, jest to, że superinteligencja zredukowałaby zagrożenia egzystencjalne wynikające z nanotechnologii, natomiast nie zaistniałoby zjawisko odwrotne[4]. W związku z tym jeśli stworzymy najpierw superinteligencję, staniemy w obliczu jedynie tych zagrożeń egzystencjalnych, które są związane z superinteligencją, natomiast jeśli stworzymy najpierw nanotechnologię, staniemy wobec zagrożeń nanotechnologii, a następnie dodatkowo zagrożeń związanych z pojawieniem się superinteligencji[5]. A zatem nawet jeśli zagrożenia egzystencjalne wynikające z superinteligencji są bardzo duże i nawet jeśli superinteligencja jest najbardziej ryzykowną ze wszystkich technologii, może istnieć powód, by przyspieszyć jej nadejście.

Jednakże argument „im szybciej, tym lepiej” zakłada, że ryzyko stworzenia superinteligencji jest takie samo niezależnie od tego, kiedy zostanie ona stworzona. Jeśli natomiast ryzyko z biegiem czasu spada, lepszym rozwiązaniem może być opóźnienie rewolucji myślących maszyn. Chociaż jej późniejsze nadejście pozostawi więcej czasu na pojawienie się innych katastrof egzystencjalnych, nadal bardziej pożądane może być spowolnienie rozwoju sztucznej inteligencji. Byłoby to szczególnie prawdopodobne, gdyby zagrożenia egzystencjalne związane z superinteligencją były znacznie większe od zagrożeń stwarzanych przez inne formy technologii całkowicie zmieniające zasady gry.

Istnieje kilka dość ważkich powodów, by sądzić, że ryzykowność eksplozji inteligencji będzie znacząco spadać w perspektywie kilku kolejnych dekad. Jedną z przyczyn jest to, że późniejsza data pozostawi więcej czasu na rozwiązanie problemu kontroli. Zagadnienie kontroli zostało dostrzeżone niedawno i większość obecnie najlepszych podejść do jego rozwiązania została odkryta dopiero w ciągu ostatnich mniej więcej dziesięciu lat (a w kilku przypadkach w okresie, w którym powstawała ta książka). Prawdopodobnie w tej dziedzinie dokonają się znaczące postępy przez parę kolejnych dekad, a jeśli problem okaże się bardzo trudny, znaczące tempo postępów może zostać utrzymane przez mniej więcej następne sto lat. Im dłużej potrwa oczekiwanie na pojawienie się superinteligencji, tym większy postęp się dokona do tego momentu. To istotny argument na rzecz jej późniejszego nadejścia — i bardzo istotny czynnik przemawiający przeciw radykalnemu przyspieszeniu w tej dziedzinie.

Kolejnym powodem, dla którego późniejsze nadejście superinteligencji może być bezpieczniejsze, jest to, że pozostanie w ten sposób więcej czasu na rozwinięcie rozmaitych korzystnych tendencji przebiegających w tle cywilizacyjnego rozwoju. Waga, jaką przywiążemy do tego czynnika, zależy od tego, jak bardzo optymistycznie oceniamy te trendy.

Optymista mógłby zapewne zwrócić uwagę na szereg zachęcających wskaźników i napełniających nadzieją możliwości. Ludzie są w stanie nauczyć się lepiej ze sobą współdziałać, co może prowadzić do ograniczenia przemocy, wojen i okrucieństwa, a globalna koordynacja i stopień integracji politycznej mogą się zwiększyć, ułatwiając ucieczkę od niepożądanego wyścigu technologicznego (więcej na ten temat poniżej) oraz wypracowanie układów, w których oczekiwane zyski z eksplozji inteligencji staną się udziałem szerokich mas. Wydaje się, że długofalowe trendy historyczne rozwijają się właśnie w tych kierunkach[6].

Optymista może się też spodziewać, że „poziom rozsądku” ludzkości wzrośnie w ciągu tego stulecia — że uprzedzenia (zważywszy na wszystko) się zmniejszą, ilość zgromadzonej wiedzy wzrośnie, a ludzie oswoją się z myśleniem o abstrakcyjnych przyszłych możliwościach i globalnych zagrożeniach. Przy odrobinie szczęścia zaobserwujemy ogólny wzrost standardów epistemicznych dotyczących poznania zarówno jednostkowego, jak i zbiorowego. I znów faktycznie można dostrzec trendy rozwijające się właśnie w tych kierunkach. Postęp naukowy oznacza, że suma wiedzy wzrośnie. Postęp gospodarczy może zapewnić większemu odsetkowi światowej populacji odpowiednie wyżywienie (zwłaszcza w początkowych latach życia, które są istotne dla rozwoju mózgu) oraz dostęp do wartościowej edukacji. Postęp w dziedzinie technologii informacyjnych ułatwi znalezienie, integrację, ocenę i komunikowanie danych i koncepcji. Co więcej, do końca wieku ludzkość będzie miała za sobą dodatkowe sto lat błędów, na których być może zdoła się czegoś nauczyć.

Wiele potencjalnych torów rozwoju wypadków może mieć charakter ambiwalentny w podanym wyżej sensie — zwiększą pewne zagrożenia egzystencjalne i zmniejszą inne. Dla przykładu: postęp w zakresie inwigilacji, metod eksploracji danych, technik wykrywania kłamstw, biometryki oraz psychologicznych i neurochemicznych metod manipulacji przekonaniami i pragnieniami może zredukować pewne zagrożenia egzystencjalne, ułatwiając koordynację na poziomie międzynarodowym lub zdławienie krajowych ruchów oporu i organizacji terrorystycznych. Te same postępy mogą jednakże zwiększyć pewne zagrożenia egzystencjalne, potęgując niepożądane zjawiska społeczne lub umożliwiając powstanie nieustępliwych reżimów totalitarnych.

Jedną z istotnych, systematycznie przesuwanych granic jest usprawnienie poznawcze na poziomie biologicznym, chociażby poprzez selekcję genetyczną. Kiedy omawialiśmy to w rozdziałach 2. i 3., doszliśmy do wniosku, że najbardziej radykalne formy superinteligencji powstaną prawdopodobnie w postaci myślących maszyn. To twierdzenie nie stoi w sprzeczności z istotną rolą doskonalenia poznawczego w przededniu stworzenia myślących maszyn. Może się oczywiście wydawać, że doskonalenie poznawcze obniża ryzyko — im mądrzejsi ludzie pracują nad problemem kontroli, tym bardziej prawdopodobne jest znalezienie przez nich rozwiązania. Jednakże doskonalenie ludzkich procesów poznawczych może również przyspieszyć rozwój myślących maszyn, skracając w ten sposób czas pozostający do dyspozycji na pracę nad tym problemem. Usprawnienie procesów poznawczych będzie miało również wiele innych istotnych następstw. Te kwestie zasługują na bliższą analizę. (Większość z poniższych spostrzeżeń dotyczących „doskonalenia poznawczego” stosuje się w równej mierze do niebiologicznych metod zwiększania naszej jednostkowej lub zbiorowej efektywności poznawczej).

Tempo przemian i doskonalenie poznawcze

Wzrost mediany lub górnej granicy ludzkich możliwości intelektualnych przyspieszy prawdopodobnie postęp technologiczny we wszystkich dziedzinach, włączając w to postęp obejmujący rozmaite postaci myślących maszyn, postęp w zakresie rozwiązywania problemu kontroli oraz postęp w zakresie realizacji szerokiego wyboru innych celów technicznych i gospodarczych. Jaki będzie wynik netto takiego przyspieszenia?

Wyobraźmy sobie ograniczony przypadek „uniwersalnego akceleratora” — zmyślonego mechanizmu, który przyspiesza dosłownie wszystko. Działanie takiego uniwersalnego akceleratora odpowiadałoby po prostu arbitralnej prędkości upływu czasu, nie powodując w rezultacie żadnych jakościowych zmian obserwowanych wyników[7].

Jeśli mamy zrozumieć teorię, zgodnie z którą udoskonalenie poznawcze może generalnie przyspieszyć rozwój wypadków, potrzebujemy bez wątpienia jakiejś innej koncepcji niż ta dotycząca uniwersalnego akceleratora. Bardziej obiecującym podejściem jest skoncentrowanie się na tym, w jaki sposób udoskonalenia poznawcze mogą zwiększyć tempo w zakresie jednego typu procesów względem tempa zmian w jakimś innym typie procesów. Takie zróżnicowane przyspieszenie mogłoby wpłynąć na dynamikę systemu. A zatem rozważmy poniższą koncepcję.

Akcelerator rozwoju makrostrukturalnego — dźwignia, która przyspiesza tempo rozwoju ludzkich spraw na poziomie makro, lecz pozostawia niezmienione tempo rozwoju ludzkich spraw na poziomie mikro.

Wyobraźmy sobie spowalnianie biegu wydarzeń za pomocą tej dźwigni. Klocki hamulcowe opadają na wielkie koło historii świata — iskry lecą, metal zgrzyta. Kiedy już prędkość obrotu koła spadnie, zobaczymy świat, w którym innowacje technologiczne pojawiają się wolniej, a fundamentalnie lub globalnie znaczące przemiany kulturowe i polityczne zdarzają się rzadziej i przebiegają mniej gwałtownie. Potrzeba bardzo wielu pokoleń, by jedna era ustąpiła drugiej. Człowiek w trakcie swojego życia dostrzega niewielkie zaledwie zmiany podstawowych struktur wyznaczających jego kondycję.

Przez większą część istnienia naszego gatunku rozwój makrostrukturalny był wolniejszy niż obecnie. Pięćdziesiąt tysięcy lat temu całe tysiąclecie mogło upłynąć bez choćby jednego znaczącego wynalazku technicznego, bez jakiegokolwiek dostrzegalnego przyrostu ludzkiej wiedzy i pojmowania świata, bez jakichkolwiek globalnie znaczących zmian politycznych. Na poziomie mikro jednakże kalejdoskop ludzkich spraw obracał się w rozsądnym tempie kolejnych narodzin, zgonów i innych wydarzeń istotnych dla osób i społeczności zaludniających dany teren. W plejstocenie doba zwykłego człowieka mogła być szczelniej wypełniona ekscytującymi wydarzeniami niż dziś.

Co powinniśmy zrobić, gdybyśmy się natknęli na magiczną dźwignię pozwalającą nam zmienić tempo rozwoju makrostrukturalnego? Czy powinniśmy go przyspieszyć, spowolnić, czy też pozostawić sprawy takimi, jakimi je zastaliśmy?

Jeśli przyjmiemy bezosobowy punkt widzenia, to pytanie wymaga od nas rozważenia wpływu zagrożeń egzystencjalnych. Dokonajmy rozróżnienia na dwa rodzaje zagrożeń: „zagrożenia stanu” i „zagrożenia etapu”. Zagrożenie stanu to takie zagrożenie, które związane jest z byciem w określonym stanie, a całkowita wielkość zagrożenia stanu, na jakie wystawiony jest system, jest bezpośrednią funkcją tego, jak długo system pozostaje w tym stanie. Zagrożenia wypływające z natury są zazwyczaj zagrożeniami stanu: im dłużej pozostajemy wystawieni na zagrożenie, tym większa szansa, że dotkną nas skutki uderzenia asteroidy, wybuchu superwulkanu, promieniowania gamma, naturalnie powstającej pandemii lub jakiegoś innego cięcia kosmicznej kosy. Pewne zagrożenia antropogeniczne są również zagrożeniami stanu. Na poziomie osobniczym: im dłużej żołnierz wystawia głowę ponad umocnienia, tym większa skumulowana szansa, że zostanie zastrzelony przez snajpera strony przeciwnej. Istnieją również antropogeniczne zagrożenia stanu na poziomie egzystencjalnym: im dłużej żyjemy w systemie międzynarodowej anarchii, tym większa skumulowana szansa termonuklearnego armagedonu lub wielkiej wojny, która będzie się toczyć z wykorzystaniem innych broni masowego rażenia, prowadząc do zrujnowania cywilizacji.

Zagrożenie etapu jest natomiast odrębnym zagrożeniem związanym z jakimś koniecznym lub pożądanym przejściem od jednego stanu do drugiego. Kiedy przemiana już się dokona, zagrożenie znika. Poziom ryzyka związanego z przemianą nie jest zazwyczaj prostą funkcją czasu trwania przemiany. Nie da się zmniejszyć o połowę ryzyka towarzyszącego przejściu przez pole minowe, biegnąc dwa razy szybciej. Jeśli założymy szybkie odejście, stworzenie superinteligencji może być zagrożeniem etapu: pojawi się określone ryzyko związane z odejściem, którego skala zależeć będzie od tego, jakie przygotowania zostały poczynione, wielkość ryzyka może jednak nie wynikać w dużej mierze z tego, czy odejście zajmie dwadzieścia milisekund, czy dwadzieścia godzin.

Możemy zatem stwierdzić co następuje w odniesieniu do hipotetycznego akceleratora rozwoju makrostrukturalnego:

- Jeśli chodzi o egzystencjalne zagrożenie naszego stanu, powinniśmy opowiedzieć się za przyspieszeniem — zakładając, że sądzimy, że mamy realną szansę przetrwania do epoki następującej po przemianie, w której to epoce wszelkie dalsze zagrożenia egzystencjalne zostaną bardzo znacząco zredukowane.

- Gdyby było wiadomo, że mamy przed sobą etap, który musi doprowadzić do zagłady, powinniśmy spowolnić tempo rozwoju makrostrukturalnego (lub nawet wrzucić wsteczny bieg), aby dać większej liczbie pokoleń szansę zaistnienia, zanim kurtyna opadnie. W gruncie rzeczy byłoby jednak przejawem nadmiernego pesymizmu wyrażanie tak bezwzględnej pewności, że ludzkość skazana jest na zagładę.

- Obecnie poziom egzystencjalnego zagrożenia stanu wydaje się stosunkowo niski. Jeśli wyobrazimy sobie makrowarunki techniczne do zamrożenia ludzkości w jej obecnym stanie, wydaje się bardzo mało prawdopodobne, by w perspektywie kolejnych, powiedzmy, dziesięciu lat, doszło do zagłady ludzkości. A zatem opóźnienie w wymiarze jednej dekady — zakładając, że doszło do niego na obecnym etapie rozwoju lub w jakimś innym czasie, gdy zagrożenia stanu są niewielkie — wywołałoby bardzo niewielki wzrost egzystencjalnego zagrożenia stanu, natomiast odsunięcie o jedną dekadę kolejnych wydarzeń technologicznych mogłoby mieć bardzo korzystny wpływ na późniejsze egzystencjalne zagrożenia etapu, pozostawiając na przykład więcej czasu na przygotowania.

Wynik ostateczny: tempo rozwoju makrostrukturalnego jest istotne głównie w takiej mierze, w jakiej wpływa na poziom przygotowania ludzkości w chwili, w której zostanie ona zmuszona zmierzyć się z kluczowymi zagrożeniami etapu[8].

Musimy więc zadać sobie pytanie, w jaki sposób usprawnienia poznawcze (i towarzyszące im przyspieszenie rozwoju makrostrukturalnego) wpłyną na oczekiwany poziom przygotowania do znalezienia się na tym kluczowym rozdrożu. Czy powinniśmy preferować krótszy okres przygotowań przy wyższej inteligencji? Przy wyższej inteligencji okres przygotowań mógłby zostać wykorzystany bardziej efektywnie, a ostatni najważniejszy krok zostałby postawiony przez inteligentniejszą ludzkość. A może powinniśmy preferować działania podejmowane przy inteligencji bardziej zbliżonej do obecnego poziomu, jeśli to pozostawi nam więcej czasu na przygotowania?

To, która opcja jest lepsza, zależy od charakteru wyzwania, z jakim mamy się zmierzyć. Jeśli polegałoby ono na rozwiązaniu problemu, w przypadku którego kluczowe jest uczenie się na bazie doświadczeń, wówczas czas trwania okresu przygotowawczego mógłby być czynnikiem determinującym ostateczny rezultat, ponieważ zgromadzenie doświadczeń wymaga czasu. Jak mogłoby wyglądać takie wyzwanie? Jednym z hipotetycznych przykładów byłaby nowa technologia obronna, która — jak moglibyśmy przewidzieć — zostałaby opracowana w pewnym momencie w przyszłości i w wyniku powstania której doszłoby do tego, że każda kolejna wojna pociągałaby za sobą, powiedzmy, dziesięcioprocentowe ryzyko zagłady ludzkości. Gdyby taki był charakter stojących przed nami wyzwań, to moglibyśmy sobie życzyć, by tempo rozwoju makrostrukturalnego było powolne, aby nasz gatunek zyskał więcej czasu na zmobilizowanie się przed rozpoczęciem krytycznego etapu, w trakcie którego zostanie wynaleziona nowa technologia obronna. Można mieć nadzieję, że podczas tego okresu łaski zapewnionego dzięki przyhamowaniu, nasz gatunek nauczyłby się unikać wojen, a relacje międzynarodowe na całym świecie zaczęłyby przypominać te pomiędzy krajami Unii Europejskiej, które walczyły ze sobą zażarcie przez wieki, a teraz koegzystują w pokoju i względnej harmonii. Uspokojenie mogłoby nastąpić w wyniku subtelnego przebudowania rozmaitych procesów cywilizacyjnych albo poprzez terapię szokową wstrząsów niestwarzających zagrożenia dla całej cywilizacji (na przykład niewielkich wybuchów nuklearnych i wywołanego przez niego oszołomienia oraz będącego jego następstwem postanowienia, by w końcu stworzyć globalne instytucje konieczne do wprowadzenia zakazu wojen między państwami). Jeśli tego rodzaju uczenie się lub przystosowywanie nie zostałoby znacznie przyspieszone dzięki wzrostowi inteligencji, wówczas podniesienie poziomu zdolności poznawczych byłoby niepożądane, służąc jedynie szybszemu przepalaniu się bezpiecznika.

Przyszła eksplozja inteligencji mogłaby jednak rodzić wyzwania odmiennego rodzaju. Rozwiązanie problem kontroli wymaga zdolności przewidywania, rozumowania i analizy teoretycznej; mniej oczywista jest potrzeba większej liczby doświadczeń historycznych. Bezpośrednie doświadczenie eksplozji inteligencji nie jest możliwe (zanim nie będzie za późno), a na unikalność i bezprecedensowość problemu kontroli składa się wiele elementów. Z tego powodu czas, który upłynie, zanim dojdzie do eksplozji inteligencji, może sam w sobie nie mieć zbyt wielkiego znaczenia. Może się natomiast okazać, że znaczenie będzie mieć: (a) postęp intelektualny w zakresie rozwiązywania problemu kontroli osiągnięty do momentu detonacji; (b) poziom umiejętności i inteligencji, którym dysponujemy w chwili detonacji i który określi poziom najlepszego osiągalnego w tym momencie rozwiązania (i możliwości zaimprowizowania brakujących elementów)[9]. Oczywiste jest, że ten ostatni czynnik powinien być dodatnio sprzężony z doskonaleniem zdolności poznawczych. W jaki sposób owo udoskonalenie wpłynie na czynnik (a), jest kwestią nieco subtelniejszą.

Załóżmy, jak zasugerowano wcześniej, że udoskonalenie poznawcze będzie ogólnym akceleratorem rozwoju makrostrukturalnego. Przyspieszy nadejście eksplozji inteligencji, skracając w ten sposób czas na przygotowania i dokonywanie postępów w kwestii kontroli. Normalnie byłaby to zła wiadomość. Ale jeśli jedynym powodem, dla którego istnieje mniej czasu na postęp intelektualny, jest to, że postęp intelektualny przyspieszył, wówczas nie musi dojść do ograniczenia ostatecznej sumy postępu intelektualnego, który nastąpi, zanim dojdzie do eksplozji inteligencji.

W tym momencie doskonalenie poznawcze może się wydawać neutralne w odniesieniu do czynnika (a): ten sam postęp intelektualny, który w innych okolicznościach dokonałby się przed eksplozją inteligencji — włączając w to postęp w kwestii kontroli — nadal się dokonuje, tylko skompresowany w krótszym przedziale czasowym. W rzeczywistości jednakże doskonalenie poznawcze może równie dobrze wpłynąć pozytywnie na (a).

Jednym z powodów, dla których doskonalenie poznawcze może się przyczynić do większego postępu w zakresie problemu kontroli, zanim dojdzie do eksplozji inteligencji, jest to, że postęp w kwestii kontroli może być w szczególny sposób uzależniony od wyjątkowo wysokiego poziomu osiągnięć intelektualnych — nawet bardziej niż ten rodzaj działań, których wymaga stworzenie myślących maszyn. Rola prób i błędów oraz gromadzenia wyników doświadczeń wydają się dość ograniczone w odniesieniu do problemu kontroli, podczas gdy uczenie się drogą eksperymentów odegra prawdopodobnie znaczącą rolę w rozwijaniu sztucznej inteligencji czy transferze umysłu. Stopień, w jakim czas może zastąpić rozum, może zatem się różnić w zależności od zadania tak, że doskonalenie poznawcze powinno się przyczyniać do postępu w kwestii kontroli bardziej niż do postępu w dziedzinie wytwarzania myślących maszyn.

Kolejnym powodem, dla którego doskonalenie poznawcze powinno w odmiennym stopniu przyczyniać się do postępu w dziedzinie rozwiązania problemu kontroli jest to, że sama potrzeba takiego postępu z większym prawdopodobieństwem zostanie uznana przez sprawniejsze poznawczo jednostki i społeczeństwa. Potrzebna jest zdolność przewidywania i rozumowania, by zdać sobie sprawę z tego, dlaczego problem kontroli jest istotny, i nadać mu priorytetowe znaczenie[10]. Niezwykłej dalekowzroczności i przenikliwości może również wymagać znalezienie obiecujących podejść do rozwiązania do tego stopnia nieznanego problemu.

Na bazie tych spostrzeżeń możemy ostrożnie skonkludować, że doskonalenie poznawcze jest pożądane, przynajmniej o tyle, o ile skupia się na ryzyku zagłady ludzkości, które pociągnie za sobą eksplozja inteligencji. Analogiczny tok myślenia odnosi się do innych zagrożeń egzystencjalnych wypływających z wyzwań wymagających zdolności przewidywania i niezawodnego rozumowania abstrakcyjnego (w przeciwieństwie do na przykład stopniowego przystosowywania się do zmian doświadczanych w środowisku lub obejmujących wiele pokoleń procesów kulturowego dojrzewania i organizowania się instytucjonalnego).

Sprzężenia technologiczne

Załóżmy, że ktoś sądzi, że rozwiązanie problemu kontroli sztucznej inteligencji jest bardzo trudne, że dla emulacji mózgu będzie to znacznie łatwiejsze i że z tego względu droga do myślących maszyn powinna prowadzić przez transfer umysłu. Powrócimy później do pytania o to, czy emulacja mózgu będzie bezpieczniejsza niż sztuczna inteligencja. Na razie chcemy zwrócić uwagę na to, że nawet zaakceptowanie tej przesłanki nie oznacza jeszcze, że powinniśmy lansować technologię transferu umysłu. Jednym z powodów — omówionych wcześniej — jest to, że późniejsze nadejście superinteligencji mogłoby się okazać bardziej pożądane, gdyż pozostawiałoby więcej czasu na postęp w dziedzinie problemu kontroli i na kulminację innych korzystnych trendów zachodzących w tle; a zatem jeśli miałoby się pewność, że emulacja mózgu tak czy inaczej poprzedzi sztuczną inteligencję, kontrproduktywne byłoby dalsze skracanie czasu dzielącego nas od zakończonej powodzeniem operacji transferu umysłu.

Nawet gdyby jednak rzeczywiście wyszło na jaw, że byłoby najlepiej, gdyby emulacja umysłu stała się wykonalna tak szybko, jak to możliwe, nadal nie oznaczałoby to jeszcze, że powinniśmy preferować postęp wiodący ku jej osiągnięciu. Możliwe jest bowiem, że postęp w dziedzinie — wydawałoby się — transferu umysłu nie doprowadzi ostatecznie do zakończonego sukcesem transferu umysłu. Może zaowocować natomiast neuromorficzną sztuczną inteligencją — postaciami SI, które naśladują pewne aspekty organizacji kory mózgowej, ale nie powielają funkcjonalności struktur neuronalnych, by stworzyć właściwą emulację. Jeśli — jak mamy powody wierzyć — taka neuromorficzna SI jest gorsza niż taka postać SI, która zostałaby zbudowana w innych okolicznościach, i jeśli promując badania nad emulacją mózgu, przyczynimy się do nadejścia w pierwszej kolejności neuromorficznej SI, wówczas nasze dążenie do osiągnięcie najlepszego, jak mogłoby się wydawać, rezultatu (emulacji mózgu) doprowadzi do osiągnięcia rezultatu najgorszego (neuromoficznej SI); gdybyśmy natomiast dążyli do osiągnięcia rezultatu drugiego w kolejności na skali pożądanych rezultatów (syntetyczna SI), moglibyśmy tak naprawdę otrzymać właśnie wynik prawie najlepszy (syntetyczną SI).

Właśnie opisaliśmy hipotetyczny przypadek tego, co moglibyśmy określić mianem „sprzężenia technologicznego” (ang. technology coupling)[11]. Opisuje on sytuację, w której dwie technologie wiąże przewidywalna relacja czasowa polegająca na tym, że rozwój jednej z nich w zasadzie nieuchronnie prowadzi do rozwoju drugiej w charakterze koniecznego prekursora lub oczywistego, nieodpartego zastosowania, lub też kolejnego etapu rozwoju. Sprzężenie technologiczne musi zostać wzięte pod uwagę, gdy wykorzystujemy zasadę zróżnicowanego rozwoju technologicznego — nie ma sensu przyspieszanie rozwoju pożądanej technologii Y, jeśli jedyną metodą uzyskania Y jest rozwój skrajnie niepożądanej, a poprzedzającej ją technologii X lub też jeśli uzyskanie Y natychmiast zaowocuje rozwojem skrajnie niepożądanej technologii towarzyszącej Z. Innymi słowy, zanim ożenisz się z ukochaną, sprawdź, kim są przyszli teściowie.

W przypadku emulacji mózgu stopień sprzężenia technologicznego jest dyskusyjny. Zauważyliśmy w rozdziale 2., że chociaż emulacja mózgu wymagać będzie ogromnego postępu w sferze technologii warunkujących jej osiągalność, może nie wymagać szczególnego przełomu w dziedzinie nauk teoretycznych. W szczególności nie wymaga od nas zrozumienia przebiegu ludzkich procesów poznawczych, lecz jedynie świadomości, w jaki sposób zbudować modele obliczeniowe niewielkich fragmentów mózgu, takich jak rozmaite odmiany neuronów. Mimo to w miarę rozwoju umiejętności emulowania mózgu zostanie zgromadzona cała masa danych neuroanatomicznych, która z pewnością pozwoli w ogromnym stopniu udoskonalić modele funkcjonalne sieci neuronów tworzących korę mózgową. Wydaje się, że postęp tego rodzaju z dużym prawdopodobieństwem umożliwi powstanie neuromorficznej SI jeszcze przed uzyskaniem pełnowymiarowej emulacji mózgu[12]. Z perspektywy historycznej istnieje całkiem sporo przykładów technik SI zaczerpniętych z biologii lub neurobiologii (chociażby neuron McCullocha-Pittsa, perceptrony i inne sztuczne neurony oraz sieci neuronowe zainspirowane pracami z dziedziny neuroanatomii; uczenie się ze wzmocnieniem zainspirowane psychologią behawioralną; algorytmy genetyczne zainspirowane teorią ewolucji; architektury Brooksa i hierarchie perceptów zainspirowane teoriami kognitywistycznymi dotyczącymi planowania ruchu i postrzegania zmysłowego; sztuczne systemy odpornościowe zainspirowane immunologią teoretyczną; inteligencja roju zainspirowana funkcjonowaniem kolonii owadów i innych samoorganizujących się systemów oraz reaktywne i oparte na zachowaniu systemy sterowania robotami zainspirowane badaniem zdolności poruszania się zwierząt). Co może istotniejsze, istnieje mnóstwo ważnych kwestii odnoszących się do SI, na które moglibyśmy potencjalnie uzyskać odpowiedź dzięki dalszemu badaniu mózgu. (Przykładowo: w jaki sposób mózg przechowuje ustrukturyzowane reprezentacje w pamięci roboczej i długoterminowej? W jaki sposób rozwiązywany jest problem scalania? Czym jest kod neuronowy? W jaki sposób reprezentowane są rozmaite koncepcje? Czy istnieje jakaś standardowa jednostka aparatu przetwarzania korowego, jak na przykład kolumna korowa, a jeśli tak, to jak wygląda schemat jej połączeń i jak uzależniona jest od niego jej funkcjonalność? Jak takie kolumny mogą być ze sobą połączone i jak mogą się uczyć?).

Wkrótce będziemy mieli więcej do powiedzenia na temat względnego zagrożenia emulacją mózgu, neuromorficzną SI i syntetyczną SI, ale już teraz możemy wskazać na kolejne istotne sprzężenie technologiczne: to, które występuje pomiędzy emulacją mózgu a SI. Gdyby pęd w kierunku emulacji mózgu rzeczywiście doprowadził do uzyskania emulacji mózgu (a nie neuromorficznej SI) i nawet gdyby udało się bezpiecznie zawiadywać uzyskanym potencjałem transferu umysłu, nadal pozostałoby kolejne zagrożenie: ryzyko związane z drugim przejściem — przejściem od emulacji całego mózgu do SI, która jest ostatecznie potężniejszą postacią myślącej maszyny.

Istnieje wiele innych sprzężeń technologicznych, które można byłoby rozważyć w ramach bardziej wszechstronnej analizy. Dla przykładu: rozwój w dziedzinie emulacji mózgu popchnie naprzód bardziej ogólnie rozumianą neurobiologię[13]. Może to dać rozmaite wyniki, takie jak szybszy rozwój w dziedzinie wykrywania kłamstw, technik manipulacji neuropsychologicznej, doskonalenia poznawczego i rozmaitych postępów medycznych. Podobnie pęd ku doskonaleniu poznawczemu może (zależnie od konkretnie wybranej ścieżki) wpłynąć na szybszy rozwój metod selekcji i inżynierii genetycznej umożliwiających nie tylko podniesienie poziomu możliwości poznawczych, ale też modyfikację innych cech.

Wodzenie za nos

Natkniemy się na kolejną warstwę złożoności strategicznej, gdy weźmiemy pod uwagę, że nie istnieje niewzruszenie życzliwy, racjonalny i jednolity sterowniczy świata, który po prostu wciela w życie to, co — jak odkryto — jest najlepszym możliwym wyborem. Każda abstrakcyjna uwaga na temat tego, „co należałoby zrobić”, musi zostać ucieleśniona w postaci konkretnego przekazu zaprezentowanego na arenie retorycznej i politycznej rzeczywistości. Tam przekaz zostanie zignorowany, źle zrozumiany, zniekształcony lub przywłaszczony w służbie rozmaitych sprzecznych celów; będzie się obijał w te i we w te jak kulka we flipperze, powodując akcje i reakcje i zapoczątkowując lawinę następstw, której ostateczny efekt nie musi być w prosty sposób powiązany z zamiarami tego, który puścił ją w ruch.

Wyrobiony operator może starać się przewidzieć tego rodzaju rezultaty. Rozważmy dla przykładu następującą sekwencję argumentów na rzecz kontynuacji badań zmierzających do rozwoju niebezpiecznej technologii X. (Argumentację pasującą do tego schematu można znaleźć w pismach Erica Drexlera; w przypadku Drexlera X = nanotechnologia molekularna)[14].

1. Zagrożenia związane z X są bardzo duże.

2. Ograniczenie tych zagrożeń będzie wymagać okresu poważnych przygotowań.

3. Poważne przygotowania rozpoczną się dopiero wówczas, gdy znaczna część społeczeństwa potraktuje serio możliwość doprowadzenia do rozwoju X.

4. Znaczna część społeczeństwa potraktuje serio możliwość doprowadzenia do rozwoju X dopiero wtedy, gdy podjęte zostaną znaczne wysiłki badawcze na rzecz rozwoju X.

5. Im wcześniej zostaną podjęte poważne wysiłki badawcze, tym dłużej zajmie uzyskanie X (ponieważ prace rozpoczną się na niższym poziomie istniejących uprzednio technologii warunkujących możliwość realizacji X).

6. Z tego względu im wcześniej zostaną podjęte poważne wysiłki badawcze, tym dłuższy będzie okres, w którym będą prowadzone poważne przygotowania i w tym większym stopniu zagrożenia zostaną ograniczone.

7. Z tego względu poważne prace badawcze w kierunku rozwoju X powinny zostać podjęte natychmiast.

To, co początkowo wydaje się przemawiać za spowolnieniem lub wręcz zatrzymaniem prac — ogromne zagrożenia związane z X — ostatecznie zgodnie z tym tokiem myślenia uzasadnia wniosek przeciwny.

Zgodnie z podobnym tokiem rozumowania powinniśmy — raczej bezdusznie — cieszyć się z małych i średnich katastrof, ponieważ uświadamiają nam naszą bezbronność i dopingują do przedsiębrania środków zaradczych, które ograniczają prawdopodobieństwo zagłady ludzkości. Zgodnie z tą koncepcją małe lub średnie katastrofy działają jak szczepionki, stawiając cywilizację wobec zagrożenia, które jest ona w stanie przetrwać, i stymulując odpowiedź jej systemu obronnego, co pozwala jej przygotować się do poradzenia sobie z egzystencjalną odmianą owego zagrożenia[15].

Te argumenty za „potrząśnięciem do działania” zalecają dopuszczenie do negatywnego zjawiska w nadziei na reakcję zelektryzowanych obywateli. Wspominamy o nich tutaj nie po to, by je legitymizować, lecz by wprowadzić w ten sposób koncepcję, którą określimy mianem „argumentu wodzenia za nos”. Zgodnie z tym tokiem rozumowania poprzez traktowanie innych jako istot nieracjonalnych i granie na ich sympatiach i uprzedzeniach można wywołać reakcję, która jest właściwsza, niż gdyby przedstawić kwestię uczciwie i otwarcie, odwołując się do ich racjonalności.

Stosowanie wybiegów i forteli zalecanych zgodnie z tym tokiem rozumowania w celu osiągnięcia długofalowych, globalnych celów może się wydawać niewykonalnie trudne. W jaki sposób ktokolwiek mógłby przewidzieć ostateczne losy przekazu po tym, jak ów przekaz został już puszczony w świat i zaczął się obijać bezładnie i chaotycznie we flipperze publicznego dyskursu? Wydawałoby się, że osiągnięcie tego wymagałoby przewidzenia retorycznych skutków niezliczonej liczby składowych o rozmaitych odchyleniach, oddziałujących ze zmiennym nasileniem w długich przedziałach czasowych, podczas których działanie systemu mogłoby zostać zakłócone nieprzewidzianymi wydarzeniami zewnętrznymi, a jego topologia byłaby poddawana nieprzerwanej, endogennej reorganizacji — a zatem z pewnością jest to zadanie niemożliwe do wykonania[16]! Jednakże nie musi być konieczne szczegółowe przewidzenie całej przyszłej trajektorii systemu, by określić interwencję, co do której można mieć uzasadnione przekonanie, że zwiększy prawdopodobieństwo określonego długofalowego rezultatu. Można dla przykładu rozważyć szczegółowo tylko względnie rychłe i przewidywalne rezultaty, wybierając działanie, które właśnie na nie wpływa korzystnie, i modelując jednocześnie zachowanie systemu poza horyzontem przewidywalności jako błądzenie losowe.

Można jednak wysunąć argument moralny za umniejszeniem znaczenia posunięć realizujących tę strategię lub wręcz całkowitym się od nich powstrzymaniem. Próba wzajemnego przechytrzenia się sprawia wrażenie gry o sumie zerowej — lub wręcz ujemnej, gdy weźmie się pod uwagę czas i energię roztrwonione na takie działania, jak również prawdopodobieństwo, że utrudni to wszystkim odkrycie, co inni tak naprawdę myślą, i wzbudzenie zaufania do wyrażanych przez siebie przekonań[17]. Gwałtowne upowszechnienie zwyczajów obowiązujących w dziedzinie komunikowania strategicznego zabiłoby szczerość i pozostawiło prawdę na łasce losu, wydając ją na pastwę politycznych skrytobójców.

Scenariusze i czynniki umożliwiające ich realizację

Czy powinniśmy świętować postęp w dziedzinie rozwoju sprzętu komputerowego? A co z postępem na drodze wiodącej ku emulacji mózgu? Przyjrzymy się obu tym pytaniom po kolei.

Efekty postępu w dziedzinie sprzętu

Szybsze komputery ułatwiają stworzenie myślących maszyn. Jednym z rezultatów przyspieszenia postępów w dziedzinie sprzętu jest zatem przyspieszenie momentu nadejścia myślących maszyn. Jak było to omawiane wcześniej, z perspektywy bezosobowej jest to prawdopodobnie zjawisko negatywne, ponieważ skraca ono czas na rozwiązanie problemu kontroli i osiągnięcie przez ludzkość dojrzalszego etapu cywilizacyjnego. Nie zamyka to jednak sprawy. Ponieważ superinteligencja wyeliminowałaby wiele pozostałych zagrożeń egzystencjalnych, mogłyby istnieć powody ku temu, by preferować szybszy rozwój, gdyby poziom tych pozostałych zagrożeń egzystencjalnych był bardzo wysoki[18].

Przyspieszenie lub odwleczenie momentu eksplozji inteligencji nie jest jedynym przełożeniem tempa postępu w dziedzinie sprzętu na poziom ryzyka egzystencjalnego. Kolejna tego rodzaju zależność wynika z tego, że sprzęt do pewnego stopnia może zastąpić oprogramowanie, a zatem lepszy sprzęt obniża minimalne wymagania potrzebne do zakodowania zalążkowej SI. Szybkie komputery mogą też zachęcać do wykorzystania metod, które w większym stopniu polegają na technikach siłowych (takich jak algorytmy genetyczne czy inne metody typu opracuj – oceń – odrzuć), a w mniejszym stopniu na technikach wymagających głębokiego zrozumienia tej kwestii. Użycie technik siłowych w bardziej anarchicznych czy nieprecyzyjnych projektach, w których problemy kontroli trudniej będzie rozwiązać niż w przypadku systemów precyzyjniej zaprojektowanych i lepiej kontrolowanych teoretycznie, będzie kolejną konsekwencją szybszego rozwoju sprzętowego wpływającą na zwiększenie egzystencjalnego zagrożenia.

Należy też wziąć pod uwagę, że szybki postęp w dziedzinie sprzętu zwiększa prawdopodobieństwo szybkiego odejścia. Im gwałtowniej dokonuje się postęp w branży półprzewodnikowej, tym mniej czasu pracy programistów poświęcanych jest na badanie możliwości komputerów na każdym poziomie ich wydajności. Oznacza to, że eksplozja inteligencji z mniejszym prawdopodobieństwem zostanie zainicjowana na najniższym poziomie osiągów sprzętowych, na jakim byłaby możliwa. A zatem eksplozja inteligencji z większym prawdopodobieństwem zostanie zainicjowana wówczas, gdy rozwój sprzętowy przekroczy już znacząco poziom minimalny, na którym mogłoby zaowocować sukcesem zastosowanie metody, która ostatecznie owym sukcesem zaowocuje. A zatem w chwili odejścia będzie istniał pewien nawis sprzętowy. Jak się przekonaliśmy w rozdziale 4., nawis sprzętowy jest jednym z głównych czynników ograniczających oporność podczas odejścia. A zatem radykalny postęp sprzętowy sprawi prawdopodobnie, że przejście do superinteligencji będzie szybsze i gwałtowniejsze.

Szybsze odejście w wyniku nawisu sprzętowego może na kilka sposobów wpłynąć na ryzyko przejścia. Najbardziej oczywiste jest to, że szybsze odejście stwarza mniej sposobności do zareagowania i dostosowania się w momencie, w którym przejście się dokonuje, co raczej zwiększa ryzyko. Nawis sprzętowy ograniczyłby też prawdopodobieństwo skutecznego uwięzienia niebezpiecznej, samodoskonalącej się zalążkowej SI poprzez ograniczenie jej zdolności do kolonizacji wystarczającej bazy sprzętu — im szybszy jest każdy z procesorów, tym mniej procesorów będzie potrzeba, by SI mogła szybko się podciągnąć do poziomu sztucznej inteligencji. Jednocześnie jednak nawis sprzętowy wyrównuje szanse małych i dużych projektów poprzez ograniczenie znaczenia jednej z zalet dużych projektów — zasobów wystarczających na potężniejsze komputery. Ten efekt również może zwiększyć ryzyko zagłady ludzkości, jeśli większe jest prawdopodobieństwo, że to duże projekty skutecznie rozwiążą problem kontroli, dążąc przy tym do osiągnięcia moralnie akceptowalnych celów[19].

Szybsze odejście ma również pewne zalety. Zwiększy ono na przykład prawdopodobieństwo utworzenia singletonu. Jeśli utworzenie singletonu jest wystarczająco ważne dla rozwiązania poprzejściowych problemów koordynacji, może być warte pogodzenia się z wyższym ryzykiem w trakcie eksplozji inteligencji w celu ograniczenia ryzyka będących jej następstwem katastrofalnych niepowodzeń w sferze koordynacji.

Osiągnięcia w dziedzinie informatyki mogą wywrzeć wpływ na wynik rewolucji myślących maszyn ,nie tylko odgrywając bezpośrednią rolę w ich konstruowaniu, ale również wywierając wpływ na wszystkich członków społeczeństwa, co pośrednio pomaga kształtować warunki początkowe eksplozji inteligencji. Internet wymagający takiego poziomu rozwoju sprzętowego, który pozwala na masową produkcję komputerów osobistych przy zachowaniu niskich kosztów, wywiera teraz wpływ na ludzkie działania w wielu obszarach, włącznie z pracami nad sztuczną inteligencją i problemem kontroli. (Bez internetu ta książka mogłaby nigdy nie powstać, a Ty, Czytelniku, mógłbyś jej nigdy nie znaleźć). Jednakże sprzęt jest już wystarczająco dobry, by mógł zostać wykorzystany w bardzo wielu zastosowaniach, ułatwiając ludziom porozumiewanie się i prowadzenie rozważań, i nie jest jasne, czy tempo postępów w tych dziedzinach rzeczywiście jest tak silnie ograniczane tempem rozwoju sprzętu[20].

Biorąc to wszystko pod uwagę, wydaje się, że szybszy postęp w dziedzinie sprzętu obliczeniowego z perspektywy bezosobowej jest niepożądany. Ten ostrożny wniosek może zostać obalony, jeśli ryzyko wynikające z innych zagrożeń egzystencjalnych lub z poprzejściowych niepowodzeń w zakresie koordynacji okaże się niezwykle wysokie. Tak czy inaczej, osiągnięcie wysokiego przełożenia tempa rozwoju sprzętu na tempo zbliżania się do momentu eksplozji inteligencji wydaje się trudne. Nasze wysiłki zmierzające do poprawy warunków początkowych dla eksplozji inteligencji powinny zatem prawdopodobnie skoncentrować się na innych parametrach.

Zauważmy, że nawet wówczas, gdy nie potrafimy dostrzec, jak wpłynąć na jakiś parametr, może być użyteczne określenie jego „znaku” (na przykład czy pożądany byłby wzrost czy spadek tego parametru), co byłoby wstępnym krokiem na drodze do określenia strategicznego wymiaru sytuacji. Później możemy odkryć nowy punkt podparcia, który umożliwi nam łatwiejsze kształtowanie danego parametru, albo też możemy odkryć, że znak parametru skorelowany jest ze znakiem jakiegoś innego, łatwiej poddającego się manipulacjom parametru, dzięki czemu nasza pierwotna analiza pomoże nam podjąć decyzję, co zrobić z tym drugim parametrem.

Czy należy propagować badania nad emulacją mózgu?

Im trudniejsze wydaje się rozwiązanie problemu kontroli sztucznej inteligencji, tym bardziej kuszące jest lansowanie ścieżki emulacji mózgu jako mniej ryzykownej alternatywy. Istnieje jednak kilka kwestii, które należy przeanalizować przed sformułowaniem przemyślanej oceny[21].

Po pierwsze, powstaje kwestia sprzężenia technologicznego, która została już wcześniej omówiona. Zwróciliśmy uwagę na to, że nasze wysiłki na rzecz emulacji mózgu mogą zaowocować, wbrew naszym zamierzeniom, neuromorficzną SI, formą myślącej maszyny, która może się okazać szczególnie niebezpieczna.

Załóżmy jednak na potrzeby tego rozumowania, że udało nam się już doprowadzić do transferu umysłu. Czy emulacja byłaby bezpieczniejsza niż SI? Zagadnienie to jest skomplikowane samo w sobie. Emulacja ma przynajmniej trzy domniemane zalety: (1) natura jej zachowania będzie bardziej zrozumiała niż natura SI; (2) odziedziczy ludzkie motywy kierujące jej zachowaniem; (3) przyniesie w efekcie wolniejsze odejście. Rozważmy pokrótce każdy z tych punktów.

1. Rzeczywiście wydaje się prawdopodobne, że zrozumienie natury intelektualnych wyborów emulacji będzie łatwiejsze niż w przypadku SI. Mamy mnóstwo doświadczeń w dziedzinie silnych i słabych stron ludzkiej inteligencji, lecz nie mamy żadnych doświadczeń ze sztuczną inteligencją dorównującą ludzkiej. Jednakże zrozumienie tego, co może, a czego nie może dokonać ucyfrowiony ludzki umysł, nie jest tym samym, co zrozumienie, w jaki sposób taki umysł zareaguje na modyfikacje, których celem będzie poprawa jego działania. Natomiast sztuczny umysł może zostać starannie zaprojektowany w taki sposób, by był zrozumiały zarówno pod względem budowy, jak i działania. A zatem o ile emulacja mózgu może być bardziej przewidywalna pod względem osiągnięć intelektualnych niż SI na porównywalnym etapie rozwoju, o tyle nie jest jasne, czy emulacja mózgu będzie w swym działaniu bardziej przewidywalna niż SI zaprojektowana przez kompetentnych programistów świadomych kwestii bezpieczeństwa.

2. Jeśli chodzi o dziedziczenie przez emulację motywacji jej ludzkiego pierwowzoru, to zdecydowanie nie ma tu żadnej gwarancji. Przejęcie ludzkich kryteriów oceny mogłoby wymagać emulacji o bardzo wysokim stopniu wierności. Nawet gdyby pewne jednostkowe motywacje zostały idealnie uchwycone, nie jest jasne, ile bezpieczeństwa zyskalibyśmy dzięki temu. Ludzie mogą być niegodni zaufania, egoistyczni i okrutni. I chociaż egzemplarze wzorcowe zostałyby wybrane, miejmy nadzieję, ze względu na swoją niezwykłą cnotliwość, mogłoby się okazać trudne do przewidzenia, w jaki sposób ktoś się zachowa, gdy zostanie przeszczepiony w radykalnie obce mu środowisko, nadludzko udoskonalony pod względem inteligencji i poddany pokusie przejęcia władzy nad światem. To prawda, że większe jest prawdopodobieństwo, że emulacjami kierować będą pobudki zbliżone do ludzkich (a nie zamiłowanie do zarzucania świata spinaczami do papieru lub nieodparta potrzeba obliczenia liczby pi do ostatniej możliwej cyfry po przecinku). Ale to, czy uznamy to za pocieszające, zależy od tego, jak oceniamy naturę ludzką[22].

3. Nie jest jasne, dlaczego emulacja mózgu miałaby zaowocować wolniejszym odejściem niż sztuczna inteligencja. Być może w przypadku emulacji mózgu należałoby się spodziewać mniejszego nawisu sprzętowego, gdyż emulacja jest mniej wydajna obliczeniowo niż może być sztuczna inteligencja. Być może poza tym system SI mógłby z większą łatwością wchłonąć całą dostępną moc obliczeniową do jednego gigantycznego zintegrowanego umysłu, podczas gdy emulacja mózgu obyłaby się bez superinteligencji jakościowej i wysforowała przed ludzkość tylko pod względem szybkości myślenia i liczebności populacji. Jeśli emulacja mózgu rzeczywiście prowadzi do wolniejszego odejścia, to mogłoby to korzystnie złagodzić problem kontroli. Wolniejsze odejście zwiększyłoby również prawdopodobieństwo wyniku wielobiegunowego. Lecz jest bardzo wątpliwe, czy wynik wielobiegunowy jest pożądany.

Ogólną koncepcję, zgodnie z którą uzyskanie emulacji mózgu jako pierwszej będzie bezpieczniejsze, komplikuje jeszcze jeden element: konieczność poradzenia sobie z drugim przejściem. Nawet jeśli pierwsze myślące maszyny dorównujące inteligencją człowiekowi będą się opierać na emulacji, to nadal pozostanie możliwość rozwijania sztucznej inteligencji. SI w swojej dojrzałej postaci ma istotne przewagi nad emulacją, co ostatecznie czyni SI technologią potężniejszą[23]. I podczas gdy dojrzała SI uczyni emulacje przestarzałymi (z wyjątkiem specjalnego zastosowania w postaci zachowania jednostkowych ludzkich umysłów), do sytuacji odwrotnej nie dojdzie.

Oznacza to, że jeśli SI zostanie opracowana jako pierwsza, może się pojawić tylko jedna fala eksplozji inteligencji. Lecz jeśli jako pierwsza zostanie opracowana emulacja, mogą wystąpić dwie fale: pierwsza — pojawienie się emulacji i druga — nadejście SI. Całkowite ryzyko egzystencjalne w scenariuszu opracowania w pierwszej kolejności emulacji jest sumą zagrożeń pierwszego i drugiego przejścia (zakładając, że uda nam się przetrwać pierwsze); patrz: rysunek 13.[24].

Rysunek 13. Najpierw sztuczna inteligencja czy emulacja mózgu? W scenariuszu dającym pierwszeństwo SI pojawia się jedno przejście stwarzające ryzyko egzystencjalne. W scenariuszu dającym pierwszeństwo emulacji dochodzi do dwóch ryzykownych przejść: pierwszego związanego z uzyskaniem emulacji i drugiego związanego z uruchomieniem SI. Całkowite ryzyko egzystencjalne w scenariuszu dającym pierwszeństwo emulacji jest sumą powyższych. Jednakże ryzyko przejścia do SI może być niższe, jeśli dochodzi do niego w świecie, w którym już się udało wprowadzić emulacje.

O ile bezpieczniejsze byłoby przejście do SI w świecie emulacji? Pierwsza uwaga jest taka, że byłoby ono mniej gwałtowne, gdyby zaszło już po wyprodukowaniu myślących maszyn w jakiejkolwiek formie. Emulacje działające z szybkością cyfrową i występujące w liczbie, która może znacznie przekraczać liczebność populacji biologicznych ludzi, będą miały do pokonania mniejszy dystans kognitywny dzielący je od SI, dzięki czemu łatwiej może im być ją kontrolować. Ta uwaga nie ma zbyt wielkiego znaczenia, ponieważ przepaść dzieląca SI i emulacje może być nadal ogromna. Jednakże gdyby emulacje były nie tylko szybsze i znacznie liczniejsze, ale również w jakiś sposób jakościowo inteligentniejsze niż biologiczni ludzie (albo też przynajmniej wzorowane na najbardziej inteligentnych przedstawicielach naszego gatunku), wówczas scenariusz opracowania emulacji jako pierwszych myślących maszyn miałby zalety porównywalne z zaletami doskonalenia poznawczego ludzi, które omówiliśmy wyżej.

Kolejna uwaga jest taka, że przejście do emulacji powiększyłoby przewagę lidera. Rozważmy scenariusz, w którym lider ma sześciomiesięczną przewagę nad konkurencją w dziedzinie rozwoju technologii emulacji mózgu. Załóżmy, że pierwsze emulacje, które mają zostać stworzone, są nastawione na współpracę, skoncentrowane na bezpieczeństwie i cierpliwe. Gdyby zostały uruchomione na szybkim sprzęcie, mogłyby spędzić subiektywne eony na rozmyślaniach o tym, w jaki sposób stworzyć bezpieczną SI. Dla przykładu: jeśli działają 100 tysięcy razy szybciej i przez sześć miesięcy czasu gwiazdowego mogą pracować nieprzerwanie nad problemem kontroli, to mogłyby drążyć go bez wytchnienia przez 50 tysiącleci, zanim napotkałyby konkurencję ze strony innych emulacji. Zakładając istnienie odpowiedniej ilości sprzętu, mogłyby jeszcze przyspieszyć swoje postępy, produkując niezliczone ilości kopii, które pracowałyby niezależnie nad podproblemami. Gdyby lider wykorzystał swoją sześciomiesięczną przewagę do stworzenia singletonu, mógłby kupić swojemu zespołowi emulacji pracującemu nad stworzeniem SI nieograniczoną ilość czasu do pracy nad problemem kontroli[25].

Jeśli weźmiemy to wszystko pod uwagę, widzimy, że ryzyko przejścia do SI zostanie ograniczone, jeśli emulacja pojawi się przed SI. Jednakże kiedy połączymy ryzyko cząstkowe przejścia do SI z ryzykiem poprzedzającego go przejścia do emulacji, staje się bardzo niejednoznaczne, czy całkowite ryzyko egzystencjalne w scenariuszu dającym pierwszeństwo emulacji jest niższe niż ryzyko w scenariuszu dającym pierwszeństwo SI. Tylko wówczas, gdy ma się dość pesymistyczny pogląd na możliwość umiejętnego zarządzania przez biologicznych ludzi przejściem do SI — wziąwszy pod uwagę, że natura ludzka czy charakter cywilizacji mogłyby zostać znacznej poprawione do czasu, gdy staniemy przed tym wyzwaniem — ścieżka dająca pierwszeństwo emulacji może się wydawać atrakcyjna.

Aby stwierdzić, czy technologia emulacji mózgu powinna być promowana, należy wziąć pod uwagę również kolejne istotne kwestie. Najbardziej znaczące jest istnienie wspomnianego wcześniej sprzężenia technologicznego — pęd ku emulacji może niezamierzenie zaowocować neuromorficzną SI. Jest to argument przeciwko dążeniu do uzyskania emulacji[26]. Bez wątpienia istnieją pewne projekty syntetycznej SI, które są mniej bezpieczne niż pewne projekty neuromorficzne. Jednakże w sumie wygląda na to, że projekty neuromorficzne są mniej bezpieczne. Jednym z powodów jest to, że imitacja może zastąpić zrozumienie. Aby zbudować coś od zera, trzeba zazwyczaj stosunkowo nieźle rozumieć działanie powstającego systemu. Takie zrozumienie nie musi być warunkiem koniecznym zwykłego skopiowania cech istniejącego systemu. Emulacja mózgu polega na całościowym skopiowaniu biologii, co może nie wymagać wszechstronnego zrozumienia aparatu poznawczego na poziomie systemów obliczeniowych (choć bez wątpienia konieczne będzie stosunkowo głębokie zrozumienie na poziomie komponentów). Neuromorficzna SI może przypominać emulacje pod tym względem, że zostanie uzyskana poprzez sklecenie ze sobą fragmentów ściągniętych z biologii bez konieczności głębokiego matematycznego zrozumienia działania systemu przez inżynierów. Ale neuromorficzna SI nie będzie przypominać emulacji mózgu pod innym względem — nie będzie mieć domyślnie ludzkich motywacji[27]. Ten argument przemawia przeciwko dążeniu do emulacji, jeśli mogłoby to zaowocować neuromorficzną SI.

Pod uwagę należy również wziąć to, że emulacja z większym prawdopodobieństwem uprzedzi nas zawczasu o swoim nadejściu. Przy SI zawsze istnieje możliwość, że ktoś dokona nieoczekiwanego przełomu pojęciowego. Emulacja natomiast będzie wymagać wielu mozolnych kroków poprzedzających — urządzeń skanujących o dużej wydajności, oprogramowania pozwalającego na przetwarzanie obrazów, pracy polegającej na szczegółowym modelowaniu neuronów. Możemy mieć zatem pewność, że emulacja nie czeka na nas za najbliższym rogiem (i nie zetkniemy się z nią wcześniej niż za piętnaście, dwadzieścia lat). To oznacza, że wysiłki zmierzające do przyspieszenia uzyskania emulacji będą miały jakiekolwiek znaczenie tylko w scenariuszach, w których myślące maszyny zostaną opracowane stosunkowo późno. Mogłoby to uczynić inwestycję w emulację atrakcyjną dla kogoś, kto chciałby, by eksplozja inteligencji udaremniła zagrożenia egzystencjalne, lecz wzdraga się przed poparciem SI z obawy przed przedwczesnym — poprzedzającym rozwiązanie problemu kontroli — wyzwoleniem eksplozji inteligencji. Jednakże niepewność na przestrzeni istotnej skali czasowej jest prawdopodobnie obecnie zbyt wielka, by te uwagi mogły mieć duże znaczenie[28].

Strategia promowania emulacji jest zatem najbardziej atrakcyjna, jeśli: (a) jest się bardzo pesymistycznie nastawionym do możliwości rozwiązania przez ludzi problemu kontroli SI; (b) nie obawia się zbytnio neuromorficznej SI, sytuacji wielobiegunowej czy też zagrożeń stwarzanych przez drugie przejście; (c) sądzi się, że domyślny czas nadejścia SI i emulacji jest bliski; (d) preferuje się opracowanie superinteligencji ani zbyt późno, ani za wcześnie.

Perspektywa wpływu na człowieka preferuje szybkość

Obawiam się, że komentator o przezwisku „washbash” zamieszczający poniższy komentarz na blogu może wyrażać myśli wielu osób:

Mam przeczucie, że należy przyspieszyć. Nie dlatego, że sądzę, że tak będzie lepiej dla świata. Dlaczego miałby mnie obchodzić świat, kiedy sam będę już dawno martwy? Chcę, żeby zaczął się kręcić szybciej, do cholery! To zwiększa szanse, że sam zdążę doświadczyć bardziej technicznie zaawansowanej przyszłości[29].

Z perspektywy wpływu na człowieka mamy poważniejszy powód, by spiesznie ruszyć naprzód ze wszelkiego rodzaju radykalnymi technologiami, które mogłyby stwarzać zagrożenia egzystencjalne — po prostu dlatego, że domyślny scenariusz jest taki, że prawie wszyscy, którzy obecnie żyją, w ciągu najbliższych stu lat umrą.

Argument na rzecz przyspieszenia w szczególny sposób odnosi się do technologii, które mogłyby wydłużyć nasze życie, a w ten sposób zwiększyć oczekiwany odsetek żyjącej obecnie populacji, który mógłby się doczekać eksplozji inteligencji. Gdyby rewolucja myślących maszyn przebiegła dobrze, powstała superinteligencja mogłaby niemal z całą pewnością opracować metody przedłużania w nieskończoność życia żyjących jeszcze w jej czasach ludzi, nie tylko pozwalając im nie umrzeć, lecz i przywracając im zdrowie i młodość oraz podnosząc ich potencjał do tego stopnia, by znacznie przekroczył to, co uznajemy za dzisiejsze granice ludzkich możliwości. Superinteligencja mogłaby też pozwolić im całkowicie zrzucić z siebie śmiertelne łuski, dokonując transferu ich umysłów do cyfrowego substratu i wyposażając ich uwolnione dusze w zapewniające wyjątkowo dobre samopoczucie wirtualne wcielenia. W odniesieniu do technologii, które nie obiecują ratowania życia, argument za przyspieszeniem jest bardziej wątły, choć być może nadal wystarczająco wspierany nadzieją na podniesienie standardów życia[30].

Ten sam tok rozumowania sprawia, że perspektywa wpływu na człowieka faworyzuje wiele ryzykownych innowacji technologicznych, które obiecują przyspieszenie nadejścia eksplozji inteligencji — nawet wówczas, gdy te innowacje są odrzucane z perspektywy bezosobowej. Takie innowacje powinny skrócić godzinę przedświtu, w której od tego, jak mocno trzymamy się gałęzi, zależy to, czy dożyjemy nadejścia epoki postludzkiej. Z perspektywy wpływu na człowieka szybszy postęp w dziedzinie sprzętu wydaje się zatem pożądany — podobnie jak szybszy postęp na drodze wiodącej do emulacji. Każdy przeciwny wpływ na zagrożenie egzystencjalne zostanie najpewniej zniwelowany osobistą korzyścią zwiększenia prawdopodobieństwa, że do eksplozji inteligencji dojdzie za życia współcześnie żyjących ludzi[31].

Współpraca

Jednym z istotnych parametrów jest stopień, w jakim świat zdoła współpracować przy rozwoju myślących maszyn i współpracę tę koordynować. Współpraca przyniesie wiele korzyści. Przyjrzyjmy się, w jaki sposób ten parametr może wpłynąć na wynik i jakimi możemy dysponować środkami, które pozwoliłyby nam zwiększyć zakres i intensywność współpracy.

Dynamika wyścigu i jej niebezpieczeństwa

Dynamika wyścigu działa wówczas, gdy twórcy jednego projektu obawiają się, że owoce ich pracy zostaną przejęte przez konkurencyjne przedsięwzięcie. Nie wymaga to faktycznego istnienia wielu projektów. Sytuację, w której istnieje tylko jeden projekt, mogłaby zacząć charakteryzować dynamika wyścigu, gdyby uczestnicy projektu nie mieli świadomości, że nie mają konkurencji. Alianci prawdopodobnie nie wynaleźliby bomby atomowej tak szybko, jak to zrobili, gdyby nie żywili (błędnego) przekonania, że Niemcy mogą być bliscy osiągnięcia tego samego celu.

Nasilenie dynamiki wyścigu (czyli stopień, w jakim konkurenci przekładają szybkość nad bezpieczeństwo) zależy od kilku czynników takich jak odległość dzieląca konkurentów, względna istotność umiejętności i szczęścia, liczba konkurentów, odmienność lub podobieństwo podejść konkurujących zespołów oraz stopień, w jaki projekty podzielają wspólne cele. Istotne są również przekonania konkurentów co do tych czynników (patrz: ramka 13.)

Ramka 13. Ryzykowny wyścig na dno

Wyobraźmy sobie hipotetyczny wyścig zbrojeń SI, w którym kilka zespołów konkuruje o to, który z nich jako pierwszy opracuje superinteligencję[32]. Każdy zespół decyduje, ile chce zainwestować w bezpieczeństwo — wiedząc, że zasoby poświęcone na przedsięwzięcie środków bezpieczeństwa nie będą mogły zostać przeznaczone na rozwój SI. Zakładając brak umowy pomiędzy wszystkimi konkurentami (która mogłaby i tak zostać storpedowana w wyniku kłopotów z dobiciem targu lub wdrożeniem poczynionych ustaleń), może dojść do wyścigu, w którym stawką jest ryzyko, a celem przedsięwzięcie przez każdy zespół zaledwie niezbędnego minimum środków ostrożności.

Można zamodelować działania każdego zespołu jako funkcję jego możliwości (mierząc jego surowe umiejętności i szczęście) oraz czynnika kary, który odpowiada kosztom środków bezpieczeństwa. Zespół, który ma najlepsze wyniki, zbuduje SI jako pierwszy. Ryzykowność tej SI zależy od tego, ile jej twórcy zainwestowali w bezpieczeństwo. W najgorszym możliwym scenariuszu wszystkie zespoły będą miały podobny poziom możliwości. Zwycięzcę określi wówczas wyłącznie inwestycja w bezpieczeństwo — wygra zespół, który najmniej będzie sobie zawracał nim głowę. Równowaga Nasha dla tej gry wygląda tak, że żaden z zespołów nie wyda ani grosza na bezpieczeństwo. W realnym świecie taka sytuacja może powstać poprzez mechanizm zapadkowy ryzyka — niektóre zespoły, obawiając się zostać w tyle, decydują się na odrobinę większe ryzyko, by dogonić rywali, którzy odpowiadają tym samym, aż wreszcie osiągnięty zostaje maksymalny poziom ryzyka.

Możliwości kontra ryzyko

Sytuacja się zmienia, kiedy poziom możliwości jest różny. W miarę, jak różnice w poziomie możliwości stają się coraz bardziej istotne względem kosztu środków bezpieczeństwa, mechanizm zapadkowy ryzyka słabnie — mniejsza jest motywacja, by ponieść dodatkowe ryzyko, jeśli niewielkie jest prawdopodobieństwo, że postąpienie w ten sposób zmieni kolejność w rywalizacji. Zostało to zilustrowane w ramach rozmaitych scenariuszy na rysunku 14., który przedstawia to, w jaki sposób ryzykowność SI uzależniona jest od wagi możliwości. Inwestycje w bezpieczeństwo sięgają od 1 (dając w wyniku idealnie bezpieczną SI) do 0 (skrajnie niebezpieczna SI). Oś x reprezentuje względną istotność możliwości względem inwestycji w bezpieczeństwo w określaniu tempa postępów zespołu dążącego do opracowania SI. (Przy 0,5 poziom inwestycji w bezpieczeństwo jest dwukrotnie ważniejszy niż możliwości; przy 1 te dwa czynniki odgrywają tę samą rolę; przy 2 możliwości są dwukrotnie ważniejsze niż poziom bezpieczeństwa i tak dalej). Oś y reprezentuje poziom ryzyka SI (oczekiwany ułamek jej maksymalnej użyteczności, który uzyska zwycięzca wyścigu).

Rysunek 14. Poziomy ryzyka w wyścigu technologii SI. Poziomy ryzyka niebezpiecznej SI w prostym modelu wyścigu technologicznego obejmującego albo (a) dwa zespoły, albo (b) pięć zespołów, zaprezentowane względem relatywnego wpływu możliwości (w przeciwieństwie do inwestycji w bezpieczeństwo) na to, który projekt wygra wyścig. Na poziomie informacji wykres pokazuje trzy scenariusze: brak informacji na temat możliwości zespołów (linia ciągła), znajomość własnych możliwości (linia przerywana) i pełna informacja na temat możliwości wszystkich zespołów (linia kropkowana)

Widzimy, że we wszystkich scenariuszach niebezpieczeństwo powstałej SI jest maksymalne, kiedy możliwości nie odgrywają żadnej roli, i stopniowo spada w miarę wzrostu roli możliwości.

Kompatybilne cele

Kolejną metodą ograniczenia ryzyka jest danie zespołom pewnego udziału w sukcesie pozostałych zespołów. Jeśli konkurenci są przekonani, że zajęcie drugiego miejsca oznacza całkowitą utratę wszystkiego, na czym im zależy, podejmą każde ryzyko konieczne do wyprzedzenia rywali. I odwrotnie: zespoły więcej zainwestują w bezpieczeństwo, jeśli mniej zależy od wygrania wyścigu. Sugeruje to, że powinniśmy popierać rozmaite formy inwestycji krzyżowych.

Liczba konkurentów

Im większa liczba konkurujących zespołów, tym niebezpieczniejszy staje się wyścig: każdy zespół, mając mniejsze szanse przybycia jako pierwszy, jest bardziej skłonny do porzucenia wszelkich środków ostrożności. Można to dostrzec, porównując ze sobą rysunki 14a (dwa zespoły) i 14b (pięć zespołów). W każdym scenariuszu większa liczba konkurentów oznacza większe ryzyko. Ryzyko zostałoby ograniczone, gdyby zespoły połączyły się w mniejszą liczbę konkurujących koalicji.

Przekleństwo zbyt dużej ilości informacji

Czy to dobrze, jeśli zespoły znają swoją pozycję w wyścigu (wiedząc na przykład o swoich wskaźnikach możliwości)? W grę wchodzą tutaj przeciwstawne czynniki. Jest pożądane, by lider wiedział, że prowadzi (aby miał świadomość, że dysponuje pewnym marginesem na przedsięwzięcie dodatkowych środków bezpieczeństwa). Jednocześnie nie jest pożądane, by maruder miał świadomość, że zostaje w tyle (gdyż stanowiłoby to potwierdzenie, że musi ograniczyć nakłady na bezpieczeństwo, by móc mieć jakąkolwiek nadzieję, że uda mu się dogonić lidera). Chociaż intuicyjnie może się wydawać, że ta relacja wymienna jest w stanie zadziałać w jedną lub w drugą stronę, modele są jednoznaczne: informacja (wyjściowo) jest zła[33]. Zarówno na rysunku 14a, jak i 14b przedstawiono trzy scenariusze: linie ciągłe odpowiadają sytuacjom, w których żaden z zespołów nie zna żadnego ze wskaźników możliwości — włącznie z własnym. Linie przerywane pokazują sytuacje, w których każdy zespół zna wyłącznie własne możliwości. (W tych sytuacjach zespół podejmuje dodatkowe ryzyko tylko wówczas, gdy jego możliwości są niewielkie). Linie kropkowane pokazują zaś, co się wydarza, gdy wszystkie zespoły znają możliwości wszystkich innych zespołów (podejmują dodatkowe ryzyko, jeśli ich wskaźniki możliwości są zbliżone). Z każdym zwiększeniem ilości informacji wyścig staje się bardziej zażarty.

W przypadku rozwoju superinteligentnych maszyn wydaje się prawdopodobne, że dojdzie do przynajmniej umiarkowanie zaciętego wyścigu, a możliwe, że wyścig będzie naprawdę zażarty. Dynamika wyścigu ma istotne konsekwencje dla tego, jak powinniśmy myśleć o wyzwaniach strategicznych wynikających z eksplozji inteligencji.

Dynamika wyścigu może również zdopingować uczestników projektów do bardziej energicznego dążenia ku superinteligencji przy jednoczesnym ograniczeniu inwestycji w rozwiązanie problemu kontroli. Możliwe są również dodatkowe zgubne następstwa dynamiki wyścigu, takie jak bezpośrednia wrogość pomiędzy konkurentami. Załóżmy, że dwa państwa ścigają się o to, któremu z nich jako pierwszemu uda się opracować superinteligencję, i jedno z nich wyraźnie zaczyna wysuwać się na czoło. W sytuacji, w której zwycięzca bierze wszystko, uczestników zostającego w tyle projektu może kusić, by zamiast biernie oczekiwać porażki, desperacko zaatakować rywala. Przewidujący tę możliwość lider może ulec pokusie wykonania uderzenia wyprzedzającego. Jeśli rywalizują ze sobą supermocarstwa, zderzenie może być krwawe[34]. („Uderzenie chirurgiczne” wymierzone w konkurencyjny projekt rozwoju SI może wywołać konflikt na większą skalę, przy czym tak czy inaczej może się okazać w ogóle niewykonalne, jeśli przeciwne państwo przedsięweźmie środki zapobiegawcze)[35].

Scenariusze, w których rywalizują ze sobą nie państwa, lecz mniejsze organizacje w rodzaju laboratoriów komercyjnych czy zespołów uniwersyteckich, spowodowałyby zapewne znacznie mniejsze zniszczenia wynikające bezpośrednio z konfliktu. Mimo to ogólne następstwa rywalizacji mogłyby być równie fatalne, a to dlatego, że główna część oczekiwanych szkód wynikających z wyścigu jest efektem nie starcia wrogich sił, lecz ograniczenia środków ostrożności. Dynamika wyścigu obniżyłaby, jak się przekonaliśmy, inwestycje w bezpieczeństwo; a konflikt, nawet mało gwałtowny, zdusiłby w zarodku możliwości współpracy, gdyż jest mniej prawdopodobne, by w klimacie wrogości i braku zaufania uczestnicy projektów dzielili się pomysłami na rozwiązanie problemu kontroli[36].

O korzyściach ze współpracy

A zatem współpraca daje wiele korzyści. Ogranicza pośpiech w dążeniu do rozwoju myślących maszyn. Pozostawia więcej przestrzeni na inwestycje w bezpieczeństwo. Pozwala unikać gwałtownych konfliktów, a przy tym sprzyja dzieleniu się pomysłami na to, jak rozwiązać problem kontroli. Do tych korzyści możemy dopisać kolejną: można przypuszczać, że współpraca doprowadzi do sytuacji, w której owoce umiejętnie sterowanej eksplozji inteligencji podzielone zostaną sprawiedliwiej.

To, że współpraca na szeroką skalę powinna zaowocować szerszym współdzieleniem zysków, nie jest wcale oczywiste. Zasadniczo niewielki projekt kierowany przez altruistę mógłby doprowadzić do równego lub sprawiedliwego podziału zysków pomiędzy wszystkie istoty mające status moralny. Mimo to istnieje kilka powodów, by przypuszczać, że szersza współpraca, angażująca większą liczbę sponsorów, jest (wyjściowo) lepsza ze względu na potencjalny podział zysków. Jednym z powodów jest to, że sponsorzy przypuszczalnie preferują sytuację, w której sami uzyskują sprawiedliwy lub wręcz nadmiernie dla nich korzystny udział. Szeroko zakrojona współpraca oznacza zatem, że stosunkowo wiele jednostek otrzyma przynajmniej swój sprawiedliwy udział — przy założeniu, że projekt zakończy się sukcesem. Innym powodem jest to, że szeroko zakrojona współpraca wydaje się również z większym prawdopodobieństwem sprzyjać osiąganiu korzyści przez ludzi, którzy nie są w nią zaangażowani. Szersza współpraca obejmuje więcej osób, a zatem więcej osób z zewnątrz będzie osobiście związanych z kimś działającym w zespole projektowym, kto zadba o ich interesy. Szersza współpraca również z większym prawdopodobieństwem obejmie przynajmniej pewną liczbę altruistów, którzy chcieliby, by wszyscy odnieśli korzyści. Co więcej, szersza współpraca z większym prawdopodobieństwem odbywać się będzie pod nadzorem publicznym, co może ograniczyć ryzyko, że cały tort dostanie się klice programistów lub prywatnych inwestorów[37]. Zauważmy również, że na im szerszą skalę zakrojona jest zakończona sukcesem współpraca, tym niższe są koszty rozciągnięcia płynących z niej korzyści na wszystkie osoby spoza projektu. (Dla przykładu: gdyby 90% wszystkich ludzi było już zaangażowanych we współpracę, kosztowałoby ich nie więcej niż 10% udziałów podciągnięcie do własnego poziomu wszystkich osób spoza projektu).

Prawdopodobnie zatem szersza współpraca doprowadzi do szerszego podziału zysków (choć pewna liczba projektów finansowanych przez nielicznych sponsorów również może mieć szczytne cele, jeśli chodzi o podział korzyści). Dlaczego jednak szeroka dystrybucja zysków jest pożądana?

Istnieją powody zarówno moralne, jak i praktyczne, by popierać scenariusze, w wyniku których każdy otrzyma uczciwą część łupu. Nie będziemy się szczegółowo rozwodzić nad przesłankami moralnymi, zauważymy jedynie, że nie muszą one odwoływać się wyłącznie do argumentu równościowego. Można przykładowo zbudować argumentację bazującą na sprawiedliwości. Projekt, którego owocem ma być zbudowanie myślących maszyn, stwarza zagrożenie na skalę globalną. W niebezpieczeństwie znajduje się nagle każdy mieszkaniec planety, nie wyłączając tych, którzy nie godzą się na to, by życie ich i ich rodzin zostało w ten sposób zagrożone. Ponieważ ryzyko współdzielone jest przez wszystkich, można by sądzić, że elementarna sprawiedliwość wymaga, by wszyscy partycypowali w zyskach.

Fakt, że całkowita (oczekiwana) suma dobra wydaje się większa w scenariuszach współpracy, jest kolejnym istotnym powodem, dla którego takie scenariusze są moralnie bardziej pożądane.

Argumentacja pragmatyczna na rzecz przedkładania szerokiego podziału zysków jest dwojaka. Po pierwsze, szeroka dystrybucja powinna sprzyjać współpracy, ograniczając w ten sposób negatywne następstwa dynamiki wyścigu. Mniejsza będzie motywacja do walki o to, komu się uda zbudować pierwszą superinteligentną maszynę, jeśli wszyscy będą po równo czerpać korzyści z sukcesu każdego projektu. Sponsorzy projektu mogą również czerpać zyski z wiarygodnego sygnalizowania swojego zaangażowania w równy podział łupów, jako że większe jest prawdopodobieństwo, że projekty prezentujące dającą się potwierdzić postawę altruistyczną zdobędą szersze poparcie i spotkają się z mniejszym oporem[38].

Druga część pragmatycznej argumentacji na rzecz szerokiej dystrybucji zysków zależy od tego, czy sprawcy mają awersję do ryzyka lub kierują się funkcjami użyteczności, w których użyteczność wzrasta wolniej niż suma pozyskiwanych zasobów. Kluczowym faktem jest tutaj ogrom potencjalnego tortu do podziału. Zakładając, że obserwowalny Wszechświat jest tak niezamieszkany, jak się wydaje, zawiera on więcej niż jedną pustą galaktykę na każdego żyjącego człowieka. Większość ludzi wolałaby mieć zapewniony dostęp do jednej galaktyki ze wszystkimi jej zasobami niż otrzymać los dający jedną szansę na miliard stania się posiadaczem miliarda galaktyk[39]. Biorąc pod uwagę astronomiczną wielkość kosmicznego dziedzictwa ludzkości, wydaje się, że człowiek we własnym interesie powinien generalnie przedkładać transakcje gwarantujące każdej osobie pewny udział, nawet jeśli każdy z tych udziałów odpowiada jedynie niewielkiemu ułamkowi całości. Kiedy w perspektywie są tak niesamowite łupy, ważne, by nie zostać na lodzie.

Argument wynikający z ogromu tortu zakłada obecność potrzeb, które można zaspokoić za pomocą większej lub mniejszej ilości zasobów[40]. To założenie niekoniecznie musi być słuszne. Dla przykładu: kilka uznanych teorii etycznych — włącznie z uwzględniającymi szczególnie dużą liczbę czynników teoriami konsekwencjalistycznymi — odpowiada funkcjom użyteczności traktującym ryzyko w sposób neutralny i zapewniającym wzrost użyteczności proporcjonalny do wzrostu ilości zasobów. Miliard galaktyk zapewniłoby miliard razy więcej szczęścia niż jedna galaktyka. Dla utylitarystów ten miliard galaktyk jest zatem wart miliard razy więcej[41]. Wydaje się jednak, że funkcje użyteczności zwykłego, egoistycznego człowieka odnoszą się do potrzeb, które przy pewnym poziomie zasobów zostają zaspokojone.

To ostatnie twierdzenie należy obwarować dwoma istotnymi zastrzeżeniami. Pierwsze jest takie, że wielu ludzi przywiązuje dużą wagę do statusu. Jeśli wielu sprawców chce jednocześnie znaleźć się na szczycie listy bogaczy Forbesa, to wówczas żaden tort nie jest wystarczająco wielki, by w pełni zaspokoić każdego z nich.

Drugie zastrzeżenie jest takie, że baza technologii poprzejściowej umożliwi przekształcanie zasobów materialnych w niespotykany wcześniej wybór produktów, włączając w to pewne dobra, które nie są obecnie dostępne za żadną cenę, choć przez wielu ludzi są wysoko cenione. Dziś miliarder nie żyje tysiąc razy dłużej niż milioner, jednak w erze umysłów cyfrowych miliarder będzie mógł sobie pozwolić na tysiąc razy więcej mocy obliczeniowej, dzięki czemu będzie mógł się cieszyć subiektywnie tysiąc razy dłuższym życiem. Zdolności umysłowe również mogą zostać wystawione na sprzedaż. W takich okolicznościach, przy kapitale gospodarczym przekształcalnym w ważne dobra zgodnie ze stałym współczynnikiem utrzymującym się nawet na bardzo wysokim poziomie zamożności, nieograniczona chciwość będzie miała więcej sensu niż we współczesnym świecie, w którym bogacze (a w każdym razie ci spośród nich, którym brakuje zamiłowania do filantropii) ograniczeni są w wydawaniu swoich fortun do łodzi, samolotów, kolekcji dzieł sztuki czy też czwartej i piątej rezydencji.

Czy to oznacza, że egoista powinien mieć neutralny stosunek do ryzyka w odniesieniu do zasobów, które przypadną mu w okresie poprzejściowym? Niezupełnie. Zasoby fizyczne mogą nie poddawać się dowolnemu przekształcaniu w długość życia lub zdolności umysłowe. Jeśli życie musi być przeżywane sekwencyjnie, tak by obserwatorzy uchwyceni w danym momencie mogli pamiętać wcześniejsze zdarzenia i podlegać wpływom wcześniejszych wyborów, wówczas życie umysłu cyfrowego nie może być dowolnie rozciągane w czasie bez wykorzystywania coraz większej liczby sekwencyjnych operacji obliczeniowych. Ale fizyka ogranicza zakres, w jakim zasoby mogą być przekształcane w obliczenia sekwencyjne[42]. Ograniczenia obliczeń sekwencyjnych mogą również wyznaczać granice pewnych aspektów wydajności poznawczej, która po przekroczeniu względnie niewysokiego progu wykorzystania zasobów zaczyna dawać nieproporcjonalnie niskie przyrosty. Co więcej, nie jest oczywiste, że egoista byłby lub powinien być neutralny względem ryzyka nawet w odniesieniu do wysoko normatywnie istotnych miar wyniku, takich jak liczba subiektywnych lat życia stosunkowo wysokiej jakości. Myślę, że większość ludzi, mając do wyboru gwarancję dodatkowych dwóch tysięcy lat życia lub jedną szansę na dziesięć dodatkowych trzydziestu tysięcy lat życia, wybrałaby tę pierwszą możliwość (nawet przy założeniu, że w jednym i drugim przypadku rok życia miałby tę samą jakość)[43].

W rzeczywistości argumentacja pragmatyczna na rzecz szerokiego podziału zysków zależy przypuszczalnie od danego przypadku i okoliczności. Mimo to, ogólnie rzecz biorąc, ludzie mają większą szansę zyskać wszystko lub prawie wszystko, czego chcą, jeśli uda się znaleźć jakąś metodę szerokiego podziału zysków — to twierdzenie jest prawdziwe, nawet zanim weźmiemy pod uwagę, że sam fakt deklaracji szerszego podziału zysków doprowadziłby zapewne do zacieśnienia współpracy, a przez to do zwiększenia szans na uniknięcie zagłady ludzkości. Opcja szerszego podziału zysków wydaje się zatem nie tylko mieć moralną legitymację, lecz również być godna polecenia z pragmatycznego punktu widzenia.

Współpraca ma także dalej idące następstwa, nad którymi należałoby się pochylić — chodzi mianowicie o możliwość, że współpraca w okresie poprzedzającym eksplozję inteligencji wpłynie na poziom współpracy w okresie poprzejściowym. Załóżmy, że ludzkość rozwiąże problem kontroli (jeśli problem kontroli nie zostanie rozwiązany, zakres współpracy w okresie poprzejściowym może mieć znikome znaczenie). Należy rozważyć dwa przypadki. W pierwszym eksplozja inteligencji nie doprowadzi do stworzenia mechanizmu, w którym zwycięzca bierze wszystko (przypuszczalnie dlatego, że odejście jest stosunkowo powolne). W takim razie prawdopodobne jest, że jeśli współpraca poprzedzająca przejście będzie miała jakikolwiek systemowy wpływ na współpracę po okresie przejściowym, będzie to wpływ pozytywny, który zapewne przyczyni się do promowania dalszej współpracy. Pierwotne więzy współpracy mogą przetrwać okres przejściowy i rozciągnąć się na okres poprzejściowy. Ponadto współpraca w okresie poprzedzającym przejście może stworzyć ludziom więcej sposobności do pokierowania rozwojem SI w pożądanych (i zapewne bardziej nastawionych na współpracę) kierunkach w okresie poprzejściowym.

W drugim przypadku natura eksplozji inteligencji spowoduje sytuację, w której zwycięzca bierze wszystko (prawdopodobnie dlatego, że odejście jest stosunkowo szybkie). W tym przypadku, jeśli nie istniała żadna współpraca na szerszą skalę przed odejściem, powstanie prawdopodobnie singleton — jeden projekt samodzielnie przejdzie fazę przejściową, uzyskując w pewnym momencie decydującą przewagę strategiczną połączoną z superinteligencją. Singleton z definicji jest porządkiem społecznym organizowanym wysokim poziomem współpracy[44]. Brak szerokiej współpracy w okresie poprzedzającym przejście doprowadzi zatem do niezwykle wysokiego stopnia współpracy w okresie poprzejściowym. Z kolei nieco wyższy poziom współpracy w okresie poprzedzającym eksplozję inteligencji otwiera znacznie szerszy zakres możliwych rezultatów. Współpracujące projekty mogłyby zsynchronizować swoje tempa rozwoju, by zapewnić sobie równoległe przejście niedające żadnemu z nich decydującej przewagi strategicznej. Albo też różne grupy sponsorów mogłyby zjednoczyć swoje wysiłki w ramach jednego projektu, odmawiając mu jednocześnie prawa stworzenia singletonu. Dla przykładu: można sobie wyobrazić konsorcjum państw powołujące do istnienia wspólny projekt naukowy, którego celem byłoby stworzenie superinteligentnych maszyn nieuprawniające jednak tego projektu, by wyewoluował w coś przypominającego ONZ na dopalaczach, decydujące się natomiast na utrzymanie obowiązującego wcześniej ładu podzielonego świata.

Zwłaszcza zatem w przypadku szybkiego odejścia istnieje możliwość, że ściślejsza współpraca w okresie poprzedzającym eksplozję inteligencji zaowocuje gorszą współpracą w okresie poprzejściowym. Jednakowoż w stopniu, w jakim współpracujące organizacje są zdolne wpłynąć na wynik ostateczny, mogą tolerować brak współpracy tylko wtedy, gdy przewidzą, że poprzejściowe rozbicie nie doprowadzi do żadnych katastrofalnych następstw. Scenariusze, w których przedprzejściowa współpraca wiedzie do ograniczenia współpracy poprzejściowej, mogą być zatem głównie tymi scenariuszami, w których ograniczenie współpracy poprzejściowej jest nieszkodliwe.

Ogólnie rzecz biorąc, większa współpraca w okresie poprzejściowym wydaje się pożądana. Ograniczyłaby ona ryzyko wystąpienia dystopijnych mechanizmów, w wyniku których rywalizacja gospodarcza i gwałtowny wzrost populacji doprowadziłyby do powstania warunków maltuzjańskich lub selekcja ewolucyjna doprowadziłaby do erozji ludzkich wartości i ewolucyjnej przewagi nieeudajmonicznych form istnienia lub rywalizujące potęgi padłyby ofiarą niedoskonałej komunikacji w rodzaju wojen czy wyścigów technologicznych. Ostatnia z tych kwestii — perspektywa wyścigu technologicznego — może stwarzać szczególne problemy, jeśli eksplozja inteligencji zaowocuje pośrednią formą myślącej maszyny (emulacją mózgu), gdyż stworzyłoby to sytuację kolejnego wyścigu, który zmniejszyłby szanse na rozwiązanie problemu kontroli dotyczącego następnego, drugiego przejścia do bardziej zaawansowanych form myślących maszyn (sztucznej inteligencji).

Opisaliśmy wcześniej, w jaki sposób współpraca może ograniczyć konflikt w dążeniu do eksplozji inteligencji, zwiększając szanse na to, że problem kontroli zostanie rozwiązany, i w jaki sposób potwierdza zarówno legitymację moralną, jak i pragmatyczną pożądalność osiągniętej w jej wyniku alokacji zasobów. Do wspomnianych pożytków ze współpracy można dodać jeszcze jeden: szersza współpraca z okresie poprzedzającym przejście może pomóc rozwiązać istotne problemy koordynacji w okresie poprzejściowym.

Wspólna praca

Współpraca może przybrać różne formy zależnie od skali współpracujących jednostek organizacyjnych. W mniejszej skali oddzielne zespoły SI przekonane, że ze sobą konkurują, mogłyby podjąć decyzję o zjednoczeniu swoich wysiłków[45]. Korporacje mogłyby się połączyć lub zainwestować w siebie wzajemnie. W większej skali państwa mogłyby połączyć swoje wysiłki w ramach wielkiego międzynarodowego projektu. Istnieją precedensy ogromnych międzynarodowych projektów naukowo-technicznych (w rodzaju CERN-u, Human Genome Project i Międzynarodowej Stacji Kosmicznej), lecz międzynarodowy projekt rozwoju bezpiecznej superinteligencji stanowiłby wyzwanie o zupełnie odmiennej skali ze względu na związane z bezpieczeństwem implikacje tej pracy. Musiałby ukonstytuować się nie jako otwarta współpraca akademicka, lecz jako wspólne przedsięwzięcie poddane niezwykle ścisłej kontroli. Być może zaangażowanych naukowców należałoby fizycznie odizolować i uniemożliwić im kontaktowanie się ze światem w trakcie trwania projektu, wyjąwszy pojedynczy, ściśle monitorowany kanał transmisyjny. Wymagany poziom bezpieczeństwa mógłby być obecnie niemal nieosiągalny, ale postępy w dziedzinie wykrywania kłamstw i technik inwigilacji mogłyby uczynić go osiągalnym w późniejszych dekadach naszego stulecia. Warto również pamiętać o tym, że szeroko zakrojona współpraca niekoniecznie oznacza, że w projekt zostanie zaangażowana duża liczba naukowców; oznacza po prostu, że wielu ludzi będzie miało wpływ na jego cele. Z zasady maksymalna współpraca przy projekcie zakładałaby zaangażowanie całej ludzkości w charakterze sponsorów (reprezentowanych przez, powiedzmy, Zgromadzenie Generalne ONZ), lecz do faktycznego wykonania pracy mógłby zostać zatrudniony zaledwie jeden naukowiec[46].

Istnieje powód, dla którego współpracę należałoby rozpocząć tak wcześnie, jak to możliwe. Mianowicie umożliwiłoby to wykorzystanie zasłony niewiedzy, która ukrywa przed naszym wzrokiem wszelkie konkretne informacje na temat tego, któremu jednostkowemu projektowi jako pierwszemu uda się uzyskać superinteligencję. Im bliżej będziemy linii mety, tym mniejsza będzie niepewność co do względnych szans konkurujących projektów i tym trudniej będzie w konsekwencji zbudować argumentację na rzecz przyłączenia się przez lidera w jego własnym interesie do wspólnego projektu, z którego zyski przypadłyby w udziale całej ludzkości. Z drugiej strony trudne się wydaje również ustanowienie formalnej współpracy na skalę światową, zanim jeszcze perspektywa rozwoju superinteligencji stanie się znacznie bardziej realna niż obecnie i zanim wyraźnie się zarysuje droga wiodąca do stworzenia superinteligentnych maszyn. Co więcej, w stopniu, w jakim współpraca przyczyniłaby się do osiągnięcia postępów na tej drodze, może to być w gruncie rzeczy kontrproduktywne w kategoriach bezpieczeństwa, co omówiliśmy wcześniej.

Idealną formą współpracy na dziś może być zatem taka jej postać, która nie wymaga początkowo konkretnych, sformalizowanych umów i nie przyspiesza postępów w dziedzinie rozwoju myślących maszyn. Jedną z propozycji spełniających te kryteria jest poddanie pod rozwagę stosownej normy moralnej wyrażającej nasze poparcie dla koncepcji, zgodnie z którą superinteligencja powinna służyć wspólnemu dobru. Taka norma mogłaby zostać sformułowana w sposób następujący:

Zasada wspólnego dobra — superinteligencja powinna zostać opracowana wyłącznie dla dobra całej ludzkości i w służbie powszechnie uznawanych ideałów etycznych[47].

Ustalenie już na samym początku, że ogromny potencjał superinteligencji należy do całej ludzkości, pozostawi więcej czasu na utrwalenie się tej normy w świadomości społecznej.

Zasada wspólnego dobra nie wyklucza komercyjnych zachęt dla jednostek lub firm działających w powiązanych obszarach. Dla przykładu: firma może spełnić wezwanie do powszechnego podziału korzyści z superinteligencji, przyjmując „klauzulę nadzwyczajnych korzyści”, w efekcie której wszystkie zyski aż do jakiegoś bardzo wysokiego pułapu (biliona dolarów rocznie) zostaną podzielone w zwykły sposób pomiędzy udziałowców firmy i inne osoby wysuwające roszczenia prawne, natomiast zyski przekraczające ten próg zostaną podzielone po równo (lub w jakiś inny sposób zgodny z powszechnie wyznawanymi zasadami moralnymi) pomiędzy całą ludzkość. Przyjęcie takiej klauzuli nadzwyczajnych korzyści zasadniczo nie powinno się wiązać z jakimikolwiek kosztami, ponieważ dowolna firma ma skrajnie małe szanse na to, że kiedykolwiek przekroczy ten iście stratosferyczny próg zysków (a takie scenariusze o niskim prawdopodobieństwie zazwyczaj nie odgrywają żadnej roli w decyzjach podejmowanych przez menedżerów i inwestorów). Mimo to powszechna akceptacja tej klauzuli dałaby ludzkości cenną gwarancję (o ile takim gwarancjom można dawać wiarę), że jeśli kiedykolwiek jakieś prywatne przedsiębiorstwo rzeczywiście wygra los na loterii, zapoczątkowując eksplozję inteligencji, wszystkim dostanie się jakiś udział w większej części zysków. Ta sama zasada mogłaby mieć zastosowanie w odniesieniu do organizacji innych niż firmy. Dla przykładu: państwa mogłyby się zobowiązać do tego, że jeśli kiedykolwiek PKB jakiegokolwiek państwa przekroczy jakiś bardzo wysoki procent (powiedzmy 90%) światowego PKB, to wówczas nadwyżka zostanie równo podzielona pomiędzy wszystkich[48].

Zasada wspólnego dobra (i jej konkretne realizacje, jak klauzula nadzwyczajnych korzyści) może zostać przyjęta początkowo jako dobrowolne moralne zobowiązanie odpowiedzialnych jednostek i organizacji, które aktywnie działają w obszarach związanych z rozwojem myślących maszyn. Później mogłaby zostać zatwierdzona przez szerszą grupę podmiotów, włączona w system prawny i ujęta w traktatach międzynarodowych. Ogólne sformułowanie, zbliżone do tego podanego wyżej, mogłoby posłużyć za dobry punkt wyjścia, lecz ostatecznie konieczne będzie doprecyzowanie pozwalające na opracowanie zestawu konkretnych, weryfikowalnych wymogów.

Rozdział 15.
Moment krytyczny

Znaleźliśmy się w gąszczu strategicznej złożoności, tonąc w gęstej mgle niepewności. Rozważyliśmy wiele kwestii, ale ich szczegóły i wzajemne powiązania pozostają wątpliwe i niejasne — a przecież mogą istnieć inne czynniki, o których nawet nie pomyśleliśmy. Jak zatem w tych okolicznościach powinniśmy postąpić?

Filozofia z nieprzekraczalnym terminem

Mój kolega lubi zauważać, że medal Fieldsa (najwyższe wyróżnienie w matematyce) mówi dwie rzeczy o tym, kto go otrzymał: że był zdolny osiągnąć coś ważnego i że tego nie zrobił. To ostre spostrzeżenie, ale bliskie prawdy.

Pomyślmy o „wynalazku” jako o działaniu, które przyspiesza pojawienie się pewnej informacji. Wartość wynalazku nie jest równa wartości odkrytej informacji, lecz raczej wartości posiadania tej informacji wcześniej, niż byłoby to możliwe w innym przypadku. Naukowiec lub matematyk może się wykazać ogromnymi umiejętnościami, znajdując jako pierwszy rozwiązanie, które umknęło wielu innym. Jeśli jednak problem tak czy inaczej wkrótce zostałby rozwiązany, wówczas jego praca prawdopodobnie nie przyniosła światu wielkich korzyści. Istnieją przypadki, w których posiadanie rozwiązania choćby nieco wcześniej ma ogromną wartość, ale taka sytuacja jest najbardziej prawdopodobna, kiedy rozwiązanie zostanie natychmiast wykorzystane albo w jakimś praktycznym zastosowaniu, albo służąc za podstawę dalszych prac teoretycznych. W tym drugim przypadku, kiedy to rozwiązanie zostaje natychmiast wykorzystane tylko w tym sensie, że posłuży za fundament dalszego teoretyzowania, jego uzyskanie odrobinę wcześniej ma wielką wartość tylko wówczas, gdy owe dalsze prace teoretyczne są same w sobie zarówno ważne, jak i pilne[1].

Nie pytamy zatem, czy wynik uzyskany przez medalistę Fieldsa jest sam w sobie „ważny” (czy to z powodów instrumentalnych, czy to dla wiedzy samej w sobie). Pytamy raczej, czy miało znaczenie, by medalista umożliwił publikację wyniku wcześniej. Wartość tego przeniesienia w czasie należałoby porównać z wartością wygenerowaną przez światowej klasy matematyczny umysł podczas pracy nad czymś innym. Przynajmniej w niektórych przypadkach medal Fieldsa mógłby sygnalizować, że ktoś poświęcił życie pracy nad niewłaściwym problemem — na przykład problemem, którego czar polegał głównie na tym, że trudność jego rozwiązania obrosła legendą.

Podobnie kąśliwe uwagi można byłoby poczynić w odniesieniu do innych dziedzin, takich jak filozofia akademicka. Filozofia omawia pewne problemy istotne dla ograniczenia ryzyka zagłady ludzkości — z kilkoma z nich zetknęliśmy się w tej książce. Istnieją jednak również poddziedziny filozofii niemające bezpośredniego związku z zagrożeniami egzystencjalnymi ani tak naprawdę żadnych praktycznych zastosowań. Podobnie jak w przypadku czystej matematyki niektóre z problemów, których badaniem zajmuje się filozofia, można uznać za ważne same w sobie w tym sensie, że ludzie mają powody, by się nimi przejmować niezależnie od ich praktycznego zastosowania. Dla przykładu, fundamentalna natura rzeczywistości może być sama w sobie warta poznania. Świat byłby zapewne mniej cudowny, gdyby nikt nie badał metafizyki, kosmologii czy teorii strun. Jednakże nadchodząca perspektywa eksplozji inteligencji rzuca nowe światło na tę odwieczną pogoń za mądrością.

Obecne poglądy sugerują, że postęp w dziedzinie filozofii można zmaksymalizować ścieżką pośrednią, a nie samym filozofowaniem. Jednym z wielu obszarów, w których superinteligencja (lub choćby lekko podrasowana ludzka inteligencja) przewyższy ekipę współcześnych myślicieli, jest znajdowanie odpowiedzi na fundamentalne pytania nauki i filozofii. To spostrzeżenie sugeruje zastosowanie strategii gratyfikacji odłożonej w czasie. Możemy odłożyć na jakiś czas prace nad pewnymi odwiecznymi pytaniami, delegując to zadanie na naszych — miejmy nadzieję — bardziej kompetentnych następców, aby skupić naszą uwagę na bardziej naglących wyzwaniach, a konkretnie na zwiększeniu prawdopodobieństwa, że istotnie będziemy mieli kompetentnych następców. Taka filozofia i taka matematyka wywarłyby ogromny wpływ na świat[2].

Co mamy do zrobienia?

A zatem chcemy się skoncentrować na problemach, które są nie tylko ważne, ale i pilne w tym sensie, że konieczne jest ich rozwiązanie przed eksplozją inteligencji. Powinniśmy również uważać, by nie pracować nad problemami, które mają wartość ujemną (czyli ich rozwiązanie przynosi szkody). Na przykład pewne problemy techniczne z dziedziny sztucznej inteligencji mogą mieć ujemną wartość o tyle, o ile ich rozwiązanie mogłoby przyspieszyć rozwój myślących maszyn, nie przyspieszając jednocześnie w równym stopniu rozwoju metod kontroli, które mogłyby sprawić, że rewolucja myślących maszyn stałaby się dla nas korzystna i możliwa do przetrwania.

Trudne może być określenie problemów jednocześnie pilnych i ważnych, a przy tym przynoszących, jak moglibyśmy z przekonaniem założyć, wartość dodatnią. Niepewność strategiczna towarzysząca kwestiom ograniczenia ryzyka egzystencjalnego oznacza, że musimy się obawiać, że nawet interwencje w zamierzeniu słuszne mogą się okazać nie tylko nieproduktywne, ale kontrproduktywne. Aby ograniczyć ryzyko zrobienia czegoś, co jest wprost szkodliwe lub moralnie niesłuszne, powinniśmy preferować pracę nad problemami, które wydają się wnosić silnie pozytywną wartość (czyli takimi, których rozwiązanie przynosi korzyści w bardzo wielu wariantach rozwoju wypadków) i odwołać się do metod, które są silnie usprawiedliwione (czyli akceptowane przez bardzo wiele światopoglądów moralnych).

Istnieje kolejny postulat, który należy rozważyć przy określaniu priorytetowych problemów do rozwiązania. Chcemy pracować nad zagadnieniami, które elastycznie poddają się naszym próbom ich rozwiązania. Wysoce elastyczne problemy to takie, które mogą być rozwiązane znacznie szybciej lub w znacznie większym stopniu po włożeniu dodatkowej jednostki wysiłku. Zachęcanie ludzi do większej miłości i empatii w stosunku do innych jest problemem ważnym i pilnym — w dodatku takim, który wydaje się mieć silnie dodatnią wartość — a jednak wobec braku przełomowego pomysłu na zabranie się do tego jest to prawdopodobnie problem o dość niskiej elastyczności. Analogicznie osiągnięcie pokoju na świecie byłoby ogromnie pożądane, ale biorąc pod uwagę rozliczne wysiłki już dziś zmierzające do rozwiązania tego problemu oraz ogromne przeszkody piętrzące się na drodze do szybkiego rozwiązania, wydaje się mało prawdopodobne, by wkład kilku dodatkowych osób mógł w znaczącym stopniu zmienić sytuację.

Aby ograniczyć zagrożenia związane z rewolucją myślących maszyn, zaproponujemy dwa cele, które wydają się najlepiej spełniać te postulaty: analizę strategiczną i budowanie potencjału. Możemy mieć względną pewność co do znaku tych parametrów — im bardziej ugruntowana analiza strategiczna i im większy potencjał, tym lepiej. Co więcej, te parametry są elastyczne — niewielka dodatkowa inwestycja może znacząco zmienić sytuację. Dogłębne zrozumienie tematu i wzrost naszych możliwości jest również kwestią pilną, ponieważ wczesne podniesienie obu tych parametrów łącznie może zwiększyć efektywność przyszłych wysiłków. Oprócz tych dwóch szeroko nakreślonych celów zwrócimy uwagę również na kilka innych potencjalnie cennych inicjatyw.

Potrzeba rzucenia światła na sytuację strategiczną

Wobec wszystkich tych dylematów i niepewności analiza wyróżnia się cechą szczególnie wysokiej wartości oczekiwanej[3]. Rzucenie światła na naszą sytuację strategiczną pomoże nam ukierunkować bardziej efektywnie nasze kolejne działania. Analiza strategiczna jest szczególnie potrzebna, kiedy towarzyszy nam tak wielka niepewność nie tylko co do pewnych szczegółów jakichś marginalnych zagadnień, ale co do kardynalnych cech spraw o kluczowym znaczeniu. W przypadku wielu kluczowych parametrów nie mamy pewności nawet co do znaku — a zatem nie wiemy, który kierunek zmian byłby pożądany, a który nie. Luki w naszej wiedzy być może da się uzupełnić. Dziedzina jest mało zbadana, a skrzące się klejnoty strategicznego poznania nadal mogą czekać na swego odkrywcę zaledwie metr czy dwa pod powierzchnią.

Tym, co mamy tutaj na myśli pod pojęciem „analizy strategicznej”, jest poszukiwanie kluczowych czynników — pomysłów lub argumentów mogących zmienić nasze poglądy nie tylko na konkretne szczegóły związane z wdrożeniem, ale na ogólną topologię pożądalności takich czy innych rozwiązań[4]. Nawet pojedynczy przegapiony czynnik o kluczowym znaczeniu mógłby postawić pod znakiem zapytania nasze najbardziej bohaterskie wysiłki lub sprawić, że stałyby się wręcz szkodliwe niczym działania żołnierza walczącego po złej stronie. Poszukiwanie kluczowych czynników (które musi objąć zarówno kwestie normatywne, jak i deskryptywne) będzie często wymagać przekraczania granic dzielących rozmaite dyscypliny naukowe i inne dziedziny ludzkiego poznania. Ponieważ nie istnieje żadna uznana metodologia prowadzenia tego rodzaju badań, konieczna jest umiejętność nieschematycznego myślenia.

Budowa dobrego potencjału

Kolejnym cennym działaniem, które łączy z analizą strategiczną cecha silnej korzystności w bardzo rozmaitych scenariuszach rozwoju wypadków, jest powstanie ugruntowanej bazy wsparcia ze strony obywateli traktujących przyszłość poważnie. Taka baza może natychmiast dostarczyć zasobów na potrzeby badań i analiz. Jeśli w polu widzenia pojawią się inne priorytety, zasoby będą mogły zostać odpowiednio ukierunkowane. Baza wsparcia jest zatem potencjałem ogólnego zastosowania, który może zostać wykorzystany w miarę pojawiania się nowych informacji.

Jednym z cennych zasobów byłaby sieć dawców składająca się z jednostek oddanych idei racjonalnej filantropii, mających świadomość wiszącej nad nami groźby zagłady ludzkości i dostrzegających metody jej oddalenia. Jest szczególnie pożądane, by pierwsi założyciele byli bystrzy i altruistycznie nastawieni do świata, gdyż mogą mieć sposobność ukształtowania kultury tej dziedziny, zanim przesączy się do niej i ugruntuje w niej zwykłe sprzedawczykostwo. W tych pierwszych rozdaniach należałoby zatem skoncentrować się na pozyskaniu dla tej dziedziny ludzi właściwego rodzaju. Warto byłoby poświęcić pewien krótkookresowy postęp technologiczny na rzecz przyciągnięcia jednostek, które naprawdę troszczą się o bezpieczeństwo i dążą do poznania prawdy (i które prawdopodobnie przyciągną więcej sobie podobnych).

Jedną z istotnych zmiennych jest jakość „epistemologii społecznej” dziedziny rozwoju sztucznej inteligencji i jej najważniejszych projektów. Odkrycie kluczowych czynników będzie cenne, lecz tylko wówczas, gdy znajdzie odbicie w działaniu, czego nie można zawsze uznać za pewnik. Wyobraźmy sobie projekt, w który zainwestowano miliony dolarów i lata mozolnej pracy na opracowanie prototypu SI i w którym po przezwyciężeniu wielu problemów technicznych opracowany system zaczyna wreszcie dokonywać realnych postępów. Istnieje szansa, że przy odrobinie większej ilości włożonej pracy system przekształci się w coś użytecznego i zyskownego. I w tym momencie dochodzi do odkrycia kluczowego czynnika, które wskazuje na to, że całkowicie odmienne podejście byłoby odrobinę bezpieczniejsze. Czy projekt sam zakończy swoje istnienie niczym zhańbiony samuraj, porzucając swój niebezpieczny koncept i rezygnując z całego postępu, który się do tej pory dokonał? A może zareaguje niczym przestraszona ośmiornica, wypluwając chmurę umotywowanego sceptycyzmu w nadziei na wymknięcie się napastnikom? Projekt, który w przypadku zaistnienia takiego dylematu niezawodnie wybrałby opcję samuraja, byłby znacznie bardziej pożądany[5]. Mimo to zbudowanie procesów i instytucji skłonnych popełnić seppuku na bazie nieugruntowanych zarzutów i hipotetycznych rozważań nie jest łatwe. Kolejnym wymiarem epistemologii społecznej jest zarządzanie informacją wrażliwą, w szczególności zdolność do unikania przecieków informacji, które nie powinny ujrzeć światła dziennego. (Powściągliwość w dzieleniu się informacją może sprawiać szczególne problemy badaczom akademickim przyzwyczajonym do nieustannego obwieszczania wyników swoich badań na każdym dostępnym słupie).

Szczególne środki

Poza ogólną analizą strategiczną i budową dobrego potencjału opłacalną sposobność do działania mogą również stwarzać pewne konkretniejsze cele. Jednym z nich jest postęp w dziedzinie rozwiązywania technicznych problemów bezpieczeństwa myślących maszyn. Dążąc do tego celu, należy ostrożnie zarządzać zagrożeniami informacyjnymi. Część prac użytecznych w rozwiązywaniu problemu kontroli byłaby przydatna również do rozwiązania problemu kompetencji. Praca, która się przyczyni do przepalenia bezpiecznika SI, może w ogólnym rozliczeniu z łatwością się okazać niekorzystna.

Innym konkretnym celem jest promowanie „najlepszych praktyk” wśród badaczy SI. Wszystkie postępy w dziedzinie problemu kontroli muszą być upowszechniane. Niektóre formy eksperymentów obliczeniowych, szczególnie jeśli obejmują silne rekursywne samodoskonalenie, mogą też wymagać zastosowania kontroli potencjału, by ograniczyć ryzyko przypadkowego odejścia. O ile faktyczna implementacja metod bezpieczeństwa nie jest dziś tak istotna, będzie ona systematycznie zyskiwać na znaczeniu w miarę dokonywania się postępów w tej dziedzinie. I nie jest wcale zbyt wcześnie, by wezwać praktyków do złożenia deklaracji zachowania bezpieczeństwa obejmującej poparcie zasady wspólnego dobra i obietnicę wzmożenia środków bezpieczeństwa, gdy skróci się dystans dzielący nas od nadejścia superinteligentnych maszyn. Zapewnienia nie wystarczą i same z siebie nie sprawią, że niebezpieczna technologia stanie się bezpieczna, natomiast za deklaracjami może pójść stopniowa zmiana przekonań.

Od czasu do czasu mogą się pojawić sposobności zmiany jakiegoś kluczowego parametru, na przykład ograniczenia jakiegoś rodzaju zagrożenia egzystencjalnego, upowszechniania biologicznych metod doskonalenia poznawczego, podniesienia poziomu naszej zbiorowej wiedzy lub też nawet przesunięcia światowej polityki w rejestry nieco bardziej harmonijne.

Proszę o powstanie najlepsze cechy natury ludzkiej

W obliczu perspektywy eksplozji inteligencji my, ludzie, jesteśmy niczym dzieci bawiące się bombą zegarową. Oto rozmiar niedopasowania mocy naszej zabawki do niedojrzałości naszych czynów. Superinteligencja jest wyzwaniem, na które nie jesteśmy dziś gotowi i nie będziemy gotowi jeszcze bardzo długo. Mamy niewielkie pojęcie o tym, kiedy dojdzie do detonacji, choć jeśli przytkniemy ucho do urządzenia, usłyszymy cichutkie tykanie.

Rozsądnym działaniem dziecka trzymającego w dłoniach bombę byłoby odłożenie jej delikatnie na podłogę, szybkie wycofanie się z pokoju i poszukanie najbliżej znajdującego się dorosłego. Mamy jednak do czynienia nie z dzieckiem, lecz z mnóstwem dzieci, a każde z nich może uruchomić zapalnik. Szanse na to, że wszyscy znajdziemy w sobie wystarczająco dużo rozsądku, by odłożyć te niebezpieczne zabawki, wydają się niemal zerowe. Jakiś mały idiota z pewnością zdetonuje bombę choćby po to, żeby zobaczyć, co się stanie.

Nie zapewnimy sobie bezpieczeństwa ucieczką, bo podmuch eksplozji inteligencji zmiecie cały firmament. I w polu widzenia nie ma żadnego dorosłego.

W tej sytuacji jakiekolwiek ekscytowanie się byłoby zupełnie nie na miejscu. Znacznie stosowniejsze byłyby strach i konsternacja. Najstosowniejszą postawą byłoby natomiast gorzkie postanowienie zdobycia kompetencji tak wysokich, jak to tylko możliwe, zupełnie jakbyśmy się przygotowywali do trudnego egzaminu, którego wynik albo pozwoli nam urzeczywistnić marzenia, albo obróci je w ruinę.

Nie jest to zachęta do fanatyzmu. Od eksplozji inteligencji nadal może nas dzielić wiele dziesięcioleci. Co więcej, wyzwanie, przed którym stoimy, odwołuje się częściowo do naszego człowieczeństwa, skłaniając nas do zachowania podstawowych wartości, zdrowego rozsądku i życzliwej przyzwoitości nawet w obliczu tego najbardziej nienaturalnego i nieludzkiego zagadnienia. By znaleźć rozwiązanie, musimy sięgnąć do najgłębszych pokładów ludzkiej pomysłowości.

Nie traćmy jednak z pola widzenia tego, co ma znaczenie w skali globalnej. Poprzez mgłę codziennych błahostek możemy dostrzec — choć niewyraźnie — kluczowe zadanie naszej epoki. W tej książce podjęliśmy próbę uchwycenia natury tego, co jest wizją wciąż stosunkowo bezkształtną i określaną poprzez negację — tego, co stawia nam w charakterze głównego zadania moralnego (przynajmniej z perspektywy laickiej i bezosobowej) ograniczenie groźby zagłady ludzkości i uzyskanie trajektorii cywilizacyjnej, która doprowadzi nas do triumfalnego, a jednocześnie przepełnionego zrozumieniem dla rodzaju ludzkiego wykorzystania kosmicznej spuścizny.

Przypisy

Przedmowa

[1] Przy czym zastrzegam, że nie wszystkie przypisy zawierają użyteczne informacje.

[2] Nie wiem które.

Rozdział 1. Dotychczasowe dokonania i obecne możliwości

[1] Dochód zapewniający dziś zaspokojenie podstawowych potrzeb wynosi około 400 dolarów (Chen, Ravallion 2010). A zatem milion dochodów zapewniających zaspokojenie podstawowych potrzeb to suma 400 milionów dolarów. Obecny PKB świata wynosi około 600 bilionów dolarów i w ostatnich latach rósł w tempie około 4% rocznie (skumulowana roczna stopa wzrostu od 1950 roku, na podstawie: Maddison [2010]). Te liczby dają nam w rezultacie liczby wspomniane w tekście, które oczywiście są tylko przybliżeniem rzędu wielkości. Jeśli przyjrzymy się bezpośrednio liczbie ludności, to zobaczymy, że w tej chwili ludności całego świata zajmuje mniej więcej półtora tygodnia uzyskanie przyrostu na poziomie jednego miliona; powoduje to jednak niedoszacowanie tempa wzrostu gospodarki, ponieważ dochód per capita również wzrasta. Około 5000 r. p.n.e. w następstwie rewolucji neolitycznej światowa populacja rosła w tempie około jednego miliona na 200 lat — co i tak było ogromnym przyspieszeniem w porównaniu z tempem wynoszącym jakieś milion osób na miliony lat w czasach prehistorycznych — a zatem do tego przyspieszenia w dużej mierze doszło już wcześniej. Wciąż jednak imponujące jest to, że wzrost gospodarczy, który siedem tysięcy lat temu pochłaniał 200 lat, dziś zabiera zaledwie 90 minut, a wzrost światowej populacji, który pochłaniał wówczas dwa wieki, dziś zabiera zaledwie półtora tygodnia. Patrz również: Maddison (2005).

[2] Tak dramatyczny wzrost i przyspieszenie mogą sugerować jedno znaczenie możliwej nadchodzącej „osobliwości”, jak zarysował ją John von Neumann w rozmowie z matematykiem Stanisławem Ulamem:

„Nasza rozmowa koncentrowała się na stale przyspieszającym postępie technologicznym i zmianach trybu ludzkiego życia, które sprawia wrażenie, jakby zbliżało się do jakiejś zasadniczej osobliwości w historii rodzaju ludzkiego, poza którą ludzkie sprawy nie będą już mogły toczyć się swoim zwykłym trybem” (Ulam 1958).

[3] Hanson (2000).

[4] Vinge (1993), Kurzweil (2005).

[5] Sandberg (2010).

[6] Van Zanden (2003), Maddison (1999, 2001), De Long (1998).

[7] Dwa z często powtarzanych optymistycznych twierdzeń z lat 60.: „W ciągu dwudziestu lat maszyny będą zdolne wykonywać każdą pracę, jaką potrafi wykonać człowiek” (Simon 1965, 96), „W czasie życia jednego pokolenia (…) problem stworzenia sztucznej inteligencji zostanie zasadniczo rozwiązany” (Minsky 1967, 2). Systematyczny przegląd prognoz związanych ze sztuczną inteligencją patrz: Armstrong, Sotala (2012).

[8] Patrz na przykład: Baum i in. (2011) oraz Armstrong, Sotala (2012).

[9] Może to jednak sugerować, że badacze SI mają mniejszą wiedzę na temat ram czasowych tego rozwoju, niż im się wydaje, choć działa to w obie strony — mogą zarówno przeszacowywać czas, jaki nam pozostał do uzyskania SI, jak i go nie doszacowywać.

[10] Good (1965, 33).

[11] Wyjątkiem jest Norbert Wiener, który miał pewne skrupuły związane z możliwymi następstwami. Napisał w 1960 roku: „Jeśli wykorzystamy dla osiągnięcia naszych celów mechanicznego sprawcę, na którego działania nie będziemy mogli skutecznie wpływać, skoro już raz go uruchomimy, gdyż działania jego będą tak szybkie i nieodwracalne, że nie będziemy dysponowali żadnymi danymi, by podjąć interwencję, póki nie dobiegną końca, to wówczas lepiej, byśmy naprawdę mieli pewność, że cel, który zostanie postawiony tej maszynie, jest celem, którego urzeczywistnienia naprawdę pragniemy, a nie tylko jego kolorową imitacją” (Wiener 1960). Ed Fredkin mówił o swoich obawach związanych z superinteligentną SI w wywiadzie opisanym w McCorduck (1979). W 1970 roku sam Good pisze o zagrożeniach, a nawet nawołuje do stworzenia stowarzyszenia, które by się nimi zajęło (Good [1970], patrz również jego późniejszy artykuł [Good 1982], gdzie uprzedza pojawienie się niektórych koncepcji „pośredniej normy moralnej”, które omawiamy w rozdziale 13.). W 1984 roku również Marvin Minsky pisał o wielu kluczowych obawach (Minsky 1984).

[12] Por. Yudkowsky (2008a). Na temat oceny istotności etycznych implikacji potencjalnie niebezpiecznych technologii przyszłości, zanim staną się one osiągalne, patrz: Roache (2008).

[13] McCorduck (1979).

[14] Newell i in. (1959).

[15] Odpowiednio programy SAINT, ANALOGY i STUDENT. Patrz: Slagle (1963), Evans (1964, 1968) i Bobrow (1968).

[16] Nilsson (1984).

[17] Weizenbaum (1966).

[18] Winograd (1972).

[19] Cope (1996), Weizenbaum (1976), Moravec (1980), Thrun i in. (2006), Buehler i in. (2009), Koza i in. (2003). Wydział motoryzacji stanu Nevada wydał pierwszą licencję na autonomiczny samochód w maju 2012 roku.

[20] System STANDUP (Ritchie i in. 2007).

[21] Schwartz (1987). Schwartz charakteryzuje tutaj sceptyczny pogląd, który w jego przekonaniu reprezentowały pisma Huberta Dreyfusa.

[22] Jednym z głośnych krytyków w tym okresie był Hubert Dreyfus. Inni słynni sceptycy tej epoki to między innymi: John Lucas, Roger Penrose i John Searle. Jednakże spośród nich tylko Dreyfus zajmował się głównie obalaniem twierdzeń dotyczących tego, jakich to praktycznych osiągnięć powinniśmy się spodziewać po istniejących paradygmatach SI (choć wydaje się, że dopuszczał możliwość, że nowe paradygmaty mogą pójść dalej). Celem Searla były teorie funkcjonalistyczne w filozofii umysłu, a nie instrumentalne możliwości systemów SI. Lucas i Penrose odrzucali możliwość, by klasyczny komputer mógł zostać kiedykolwiek zaprogramowany do zrobienia wszystkiego tego, co potrafi matematyk będący człowiekiem, lecz nie odrzucali możliwości, że dowolna konkretna funkcja może z zasady zostać zautomatyzowana, a SI może ostatecznie zyskać ogromne możliwości jako narzędzie. Cicero zauważył, że „nie ma nic tak absurdalnego, by jakiś filozof tego nie powiedział” (Cicero 1923, 119); mimo to zaskakująco trudno jest przywołać jakiegokolwiek znaczącego filozofa, który odrzuciłby całkowicie możliwość powstania superinteligentnych maszyn w takim sensie, w jakim opisujemy je w tej książce.

[23] W wielu zastosowaniach jednakże uczenie się, które następuje w sieciach neuronowych, jest nieco odmienne od uczenia się, do którego dochodzi w ramach regresji liniowej, techniki statystycznej opracowanej przez Adrien-Marie Legendre’a i Carla Friedricha Gaussa na początku XIX wieku.

[24] Podstawowy algorytm został opisany przez Arthura Brysona i Yu-Chi Ho jako wieloetapowa metoda dynamicznej optymalizacji w 1969 (Bryson, Ho 1969). Zastosowanie w odniesieniu do sieci neuronowej zostało zaproponowane przez Paula Werbosa w 1974 (Werbos 1994), ale dopiero w efekcie pracy Davida Rumelharta, Geoffreya Hintona i Ronalda Williamsa w 1986 (Rumelhart i in. 1986) metoda zaczęła stopniowo się upowszechniać.

[25] Wcześniej dowiedziono, że sieci pozbawione ukrytych warstw mają poważne ograniczenia funkcjonalne (Minsky, Papert 1969).

[26] Na przykład MacKay (2003).

[27] Murphy (2012).

[28] Pearl (2009).

[29] Wainwright, Jordan (2008). Istnieje mnóstwo obszarów zastosowania sieci bayesowskich, patrz na przykład: Pourret i in. (2008).

[30] Pomijamy tutaj rozmaite szczegóły techniczne, by niepotrzebnie nie gmatwać wykładu. Będziemy mieli jeszcze okazję powrócić do niektórych z pominiętych kwestii w rozdziale 12.

[31] Program p jest opisem ciągu x, jeśli p uruchomiony na (jakiejś konkretnej) uniwersalnej maszynie Turinga U daje w wyniku x; zapisujemy to jako U(p) = x (ciąg x reprezentuje tutaj możliwy świat). Złożoność Kołmogorowa K dla ciągu x wynosi zatem K(x) := min p{l(p) : U(p) = x}, gdzie l(p) jest długością p w bitach. Prawdopodobieństwo algorytmiczne a priori M ciągu x, zdefiniowane przez Solomonoffa, jest zatem definiowane jako

, gdzie suma obejmuje wszystkie (suma jest nieskończona, więc nie wiemy, czy program się zatrzyma) programy p, dla których U daje w wyniku ciąg zaczynający się od x (Hutter 2005).

[32] Warunkowanie bayesowskie na danych E daje:

(Prawdopodobieństwo twierdzenia [podobnie jak E] jest sumą prawdopodobieństw możliwych światów, w których jest to prawdziwe).

[33] Lub losowo wybiera jedno z możliwych działań o najwyższej oczekiwanej użyteczności, jeśli jest remis.

[34] A mówiąc zwięźlej: oczekiwana użyteczność działania może zostać zapisana jako:

, gdzie suma obejmuje wszystkie możliwe światy.

[35] Patrz na przykład: Howson, Urbach (1993), Bernardo, Smith (1994), Russell, Norvig (2010).

[36] Można się zastanawiać, dlaczego tak szczegółowo omawiamy tutaj systemy SI grające w gry, co niektórym mogłoby się wydawać nieistotnym obszarem zastosowania. Robimy to dlatego, że zdolność rozgrywania gier stanowi jedną z najbardziej czytelnych miar możliwości człowieka w porównaniu ze sztuczną inteligencją.

[37] Samuel (1959), Schaeffer (1997, rozdz. 6).

[38] Schaeffer i in. (2007).

[39] Berliner (1980a, 1980b).

[40] Tesauro (1995).

[41] Programy te to między innymi: GNU (patrz: Silver [2006]) i Snowie (patrz: Gammoned.net [2012]).

[42] Lenat pokierował procesem projektowania floty. Napisał później: „Ostateczne zasługi z tytułu wygranej należałoby przypisać Lenat/Euriskow stosunku 60/40%, choć ważne jest, by zauważyć, że żadna ze stron nie mogłaby wygrać samodzielnie” (Lenat 1983, 80).

[43] Lenat (1982, 1983).

[44] Cirasella, Kopec (2006).

[45] Kasparov (1996, 55).

[46] Newborn (2011).

[47] Keim i in. (1999).

[48] Patrz: Armstrong (2012).

[49] Sheppard (2002).

[50] Wikipedia (2012a).

[51] Markoff (2011).

[52] Rubin, Watson (2011).

[53] Elyasaf i in. (2011).

[54] KGS (2012).

[55] Newell i in. (1958, 320).

[56] Przypisane Vardi (2012).

[57] W 1976 roku I.J. Good napisał: „Dzięki programowi komputerowemu o możliwościach arcymistrza znaleźlibyśmy się o włos [od ultrainteligentnych myślących maszyn]” (Good 1976). W 1979 roku Douglas Hofstadter zaopiniował w swojej nagrodzonej Pulitzerem książce Gödel, Escher, Bach: „Pytanie: Czy powstanie program szachowy zdolny wygrać z każdym? Przypuszczenie: Nie. Mogą powstać programy zdolne pokonać każdego w szachy, lecz nie będą to programy wyłącznie szachowe. Będą to programy posiadające inteligencję ogólną, równie przy tym humorzaste jak ludzie. »Masz ochotę zagrać w szachy?« »Nie, szachy już mnie znudziły. Porozmawiajmy o poezji«” (Hofstadter [1979] 1999, 678).

[58] Algorytm jest przeszukiwaniem min-max z wykorzystaniem algorytmu alfa-beta w połączeniu z napisaną specjalnie pod kątem szachów heurystyczną funkcją oceny sytuacji na szachownicy. W połączeniu z dobrą biblioteką debiutów i końcówek oraz rozmaitych innych sztuczek może utworzyć mający duże możliwości silnik szachowy.

[59] Chociaż biorąc pod uwagę obecny postęp w uczeniu się heurystyk ewaluacyjnych na bazie symulowanych gier, wiele z leżących u podstaw programu algorytmów działałoby prawdopodobnie równie dobrze w przypadku wielu innych gier.

[60] Nilsson (2009, 318). Knuth bez wątpienia przesadził, wygłaszając to twierdzenie. Istnieje wiele „zadań umysłowych”, których SI nie potrafią z powodzeniem wykonać, jak na przykład wymyślenie nowej poddziedziny czystej matematyki, myślenie filozoficzne w jakiejkolwiek postaci, napisanie znakomitego kryminału, zaplanowanie zamachu stanu lub zaprojektowanie jakiegoś znaczącego produktu zaspokajającego potrzeby konsumentów.

[61] Shapiro (1992).

[62] Można spekulować, że jednym z powodów, dla których tak trudno jest dorównać ludziom pod względem zdolności postrzegania zmysłowego, motoryki, zdrowego rozsądku i zrozumienia języka jest to, że nasze mózgi mają dedykowane „okablowanie” [wetware] przeznaczone właśnie do pełnienia tych funkcji — struktury neuronalne, które w ewolucyjnej skali czasowej zostały zoptymalizowane pod tym kątem. Natomiast myślenie logiczne i umiejętności w rodzaju gry w szachy nie są częścią naszej natury; a zatem być może wykonując te zadania, jesteśmy zmuszeni polegać na ograniczonej puli zasobów poznawczych ogólnego zastosowania. Być może to, co robi nasz mózg, podejmując rozumowanie logiczne lub przystępując do jakiegoś rodzaju obliczeń jest pod pewnymi względami analogiczne do uruchomienia „maszyny wirtualnej”, powolnej i nieefektywnej umysłowej symulacji komputera ogólnego zastosowania. Można zatem powiedzieć (puszczając wodze fantazji), że klasyczny program SI nie tyle emuluje ludzkie myślenie, co na odwrót: to człowiek myślący logicznie emuluje program SI.

[63] Ten przykład jest kontrowersyjny: zgodnie z poglądem mniejszościowym wyznawanym przez około 20% dorosłych w USA i podobną liczbę dorosłych w wielu innych krajach rozwiniętych, to Słońce kręci się wokół Ziemi, a nie odwrotnie (Crabtree 1999, Dean 2005).

[64] World Robotics (2011).

[65] Estymowane na podstawie danych w Guizzo (2010).

[66] Holley (2009).

[67] Hybrydowe podejścia statystyczne oparte na zasadach są również wykorzystywane, choć obecnie stosunkowo rzadko.

[68] Cross, Walker (1994), Hedberg (2002).

[69] Na podstawie statystyk TABB Group, firmy badającej rynki kapitałowe, mającej przedstawicielstwa w Londynie i Nowym Jorku (komunikacja osobista).

[70] CFTC, SEC (2010). Odmienne spojrzenie na wydarzenia 6 maja 2010 roku patrz: CME Group (2010).

[71] Żadnego fragmentu tego tekstu nie należy interpretować jako argumentu przeciw algorytmicznym mechanizmom transakcyjnym pozwalającym na przeprowadzanie transakcji wysokiej częstotliwości, które normalnie mogą odgrywać korzystną rolę, zwiększając płynność i efektywność działania rynku.

[72] Mniejsza panika na rynkach wystąpiła 1 sierpnia 2012 roku, częściowo ze względu na to, że „bezpiecznik” nie był również zaprogramowany do tego, by przerwać handel, gdyby wystąpiły ekstremalne zmiany liczby sprzedawanych i kupowanych akcji (Popper 2012). Uprzedzamy w ten sposób pojawienie się kolejnego tematu: trudności przewidzenia zawczasu wszystkich niekorzystnych następstw wcielenia w życie pozornie słusznej zasady.

[73] Nilsson (2009, 319).

[74] Minsky (2006), McCarthy (2007), Beal, Winston (2009).

[75] Peter Norvig, korespondencja osobista. Zajęcia z uczenia maszynowego są również bardzo popularne, co odzwierciedla dość niezależną statystycznie falę ekscytacji towarzyszącej big data (inspirowaną przez na przykład Google i Netflix Prize).

[76] Armstrong, Sotala (2012).

[77] Müller, Bostrom (w przygotowaniu).

[78] Tabela pokazuje wyniki zarówno czterech różnych ankiet, jak i połączone rezultaty. Dwie pierwsze były ankietami przeprowadzonymi na konferencjach akademickich: PT-AI to uczestnicy konferencji Philosophy and Theory of AI w Salonikach w 2011 roku (respondentów ankietowano w listopadzie 2012, wskaźnik odpowiedzi 43 z 88), AGI to uczestnicy konferencji Artificial General Intelligence oraz Impacts and Risks of Artificial General Intelligence, obie miały miejsce w Oksfordzie w grudniu 2012 (wskaźnik odpowiedzi: 72/111). W ramach ankiety EETN odpytano w kwietniu 2013 roku członków Greckiego Stowarzyszenia Sztucznej Inteligencji, organizacji zawodowej zrzeszającej naukowców publikujących prace z tej dziedziny (wskaźnik odpowiedzi: 26/250). Ankieta Top100 pozwoliła uzyskać w maju 2013 roku opinie 29 spośród 100 autorów zajmujących się sztuczną inteligencją i mających najwyższy indeks cytowań (wskaźnik odpowiedzi: 29/100).

[79] Patrz: Baum i in. (2011), kolejne badanie cytowane tamże oraz Sandberg, Bostrom (2011).

[80] Nilsson (2009).

[81] Znów uzależnione od tego, czy nie wystąpi katastrofa obracająca w gruzy całą cywilizację. Definicja HLMI wykorzystywana przez Nilssona to „SI zdolna wykonać około 80% prac równie dobrze lub lepiej niż ludzie” (Kruel 2012).

[82] Wywiady z około 28 (na chwilę pisania tej książki) praktykami SI i ekspertami z dziedzin pokrewnych zostały zamieszczone przez Kruela (2011).

[83] Wykres pokazuje zrenormalizowane szacunkowe mediany. Średnie znacząco się różnią. Dla przykładu: szacunkowa mediana wyniku „skrajnie złego” wynosiła 7,6% (dla TOP100) oraz 17,2% (dla łącznej puli biegłych ekspertów).

[84] Istnieje znacząca literatura dokumentująca zawodność przepowiedni eksperckich w wielu dziedzinach i wszelkie powody, by sądzić, że wiele odkryć w tym obszarze badań ma zastosowanie również w dziedzinie sztucznej inteligencji. W szczególności opracowujący prognozy mają skłonność do pokładania nadmiernej wiary we własne prognozy, żywiąc przekonanie, że są one dokładniejsze niż w rzeczywistości i z tego względu przypisując zbyt małe prawdopodobieństwo możliwości, że ich najwyżej ceniona hipoteza jest błędna (Tetlock 2005). (Udokumentowano również rozmaite inne objawy tendencyjności; patrz na przykład: Gilovich i in. [2002]). Jednakże niepewność jest nieodłączną cechą rodzaju ludzkiego i wiele naszych działań w sposób nieunikniony opiera się na oczekiwaniach co do tego, które długofalowe następstwa są bardziej, a które mniej prawdopodobne — innymi słowy: na przewidywaniu prawdopodobieństwa. Odmowa sformułowania precyzyjnych prognoz prawdopodobieństwa nie zlikwiduje problemu poznawczego — usunie go jedynie z pola widzenia (Bostrom 2007). Powinniśmy natomiast zareagować na dowody nadmiernej pewności siebie poprzez poszerzenie naszych przedziałów przekonania (lub też „przedziałów wiarygodnych”) — czyli poprzez rozmycie naszych rozkładów przekonań — a ogólnie rzecz biorąc musimy dołożyć wszelkich starań, by pozbyć się uprzedzeń, biorąc pod uwagę odmienne perspektywy i stawiając sobie za cel intelektualną uczciwość. W długim okresie możemy również pracować nad rozwojem technik, metod szkolenia i instytucji, które mogą nam pomóc w osiągnięciu lepszej kalibracji. Patrz również: Armstrong, Sotala (2012).

Rozdział 2. Ścieżki wiodące ku superinteligencji

[1] Przypomina to definicję w Bostrom (2003c) i Bostrom (2006a). Można to również porównać z definicją Shane’a Legga („Inteligencja mierzy zdolność sprawcy do osiągnięcia celów przy bardzo różnych uwarunkowaniach”) oraz jej ujęcie formalne (Legg 2008). Jest również bardzo podobna do zamieszczonej w rozdziale 1. definicji ultrainteligencji Gooda („maszyna, która dalece przewyższa na polu wszelkich aktywności intelektualnych dowolnego, choćby najinteligentniejszego człowieka”).

[2] Z tego samego powodu nie czynimy żadnych założeń co do tego, czy superinteligentną maszynę może charakteryzować „prawdziwa celowość” działania (z całym szacunkiem dla Searlego, mogłaby — ale wydaje się to nieistotne dla tematyki poruszanej w tej książce). Nie zajmujemy żadnego stanowiska w dyskusjach na temat internalizmu/eksternalizmu treści umysłu, jakie przetoczyły się [i nadal przetaczają] przez literaturę filozoficzną ani na pokrewny temat dotyczący tezy rozszerzonego umysłu (Clark, Chalmers 1998).

[3] Turing (1950, 456).

[4] Turing (1950, 456).

[5] Chalmers (2010), Moravec (1976, 1988, 1998, 1999).

[6] Patrz: Moravec (1976). Podobny argument wysuwany jest przez Davida Chalmersa (2010).

[7] Patrz również: Shulman, Bostrom (2012), gdzie kwestie te omawiane są bardziej szczegółowo.

[8] Legg (2008) wysuwa ten argument na poparcie tezy, że ludzie będą w stanie zrekapitulować postęp ewolucji w znacznie krótszym czasie i przy mniejszych zasobach obliczeniowych (zauważając jednocześnie, że nieskorygowane zasoby obliczeniowe ewolucji znajdują się zdecydowanie poza zasięgiem). Baum (2004) dowodzi, że pewne przełomowe wydarzenia istotne dla SI zaszły wcześniej, wraz z organizacją samego genomu będącego cenną reprezentacją algorytmów ewolucyjnych.

[9] Whitman i in. (1998), Sabrosky (1952).

[10] Schultz (2000).

[11] Menzel, Giurfa (2001, 62), Truman i in. (1993).

[12] Sandberg, Bostrom (2008).

[13] Szersze omówienie tego tematu oraz obiecujących perspektyw funkcji lub środowisk pozwalających określić dostosowanie darwinowskie na podstawie gładkich testów na czystą inteligencję patrz: Legg (2008).

[14] Taksonomia i bardziej szczegółowe omówienie metod, dzięki którym inżynierowie mogliby osiągnąć wyniki lepsze, niż zostały osiągnięte w wyniku doboru ewolucyjnego, patrz: Bostrom, Sandberg (2009b).

[15] Analizowaliśmy system nerwowy żyjących stworzeń bez odniesienia do kosztu symulacji ich ciał lub otaczającego je środowiska wirtualnego, które można uznać za część funkcji dostosowania darwinowskiego. Można przypuszczać, że adekwatna funkcja dostosowania mogłaby testować kompetencje konkretnego organizmu w zakresie znacznie mniejszej liczby operacji, bez konieczności symulowania wszystkich obliczeń neuronowych, które zaszły w mózgu tego organizmu w ciągu jego naturalnego życia. Współczesne programy SI często rozwijają się i działają w środowiskach bardzo abstrakcyjnych (dowodząc twierdzeń w symbolicznych światach matematycznych czy też odgrywając rolę przeciwników w prostych światach rozgrywek w rozmaite gry).

Sceptyk może się upierać, że abstrakcyjne środowisko byłoby nieadekwatne dla ewolucji inteligencji ogólnej, podzielając przekonanie, że środowisko wirtualne musiałoby w ogromnej mierze przypominać faktyczne środowisko biologiczne, w którym wyewoluowali nasi przodkowie. Stworzenie fizycznie realistycznego świata wirtualnego wymagałoby znacznie większej inwestycji zasobów obliczeniowych niż symulacja prostego, zabawkowego świata lub dziedziny problemów abstrakcyjnych (przy czym ewolucja miała dostęp do fizycznie realistycznego świata rzeczywistego „za darmo”). W tym ograniczonym przypadku, gdyby upierać się przy całkowitej mikrofizycznej wierności, wymogi obliczeniowe urosłyby do wręcz absurdalnych rozmiarów. Jednakże tak skrajny pesymizm jest niemal z całą pewnością nieuzasadniony. Wydaje się mało prawdopodobne, by najlepszym środowiskiem ewoluowania inteligencji było to, które możliwie ściśle naśladuje naturę. Przeciwnie, wydaje się prawdopodobne, że bardziej efektywne byłoby wykorzystanie środowiska sztucznego doboru — całkiem niepodobnego do tego, w którym wyewoluowali nasi przodkowie — środowiska specjalnie zaprojektowanego do upowszechniania przystosowań podnoszących poziom tego rodzaju inteligencji, do którego ewolucji dążymy (na przykład rozumowania abstrakcyjnego lub ogólnej umiejętności rozwiązywania problemów będących przeciwieństwem maksymalnie szybkich reakcji odruchowych czy wysoce zoptymalizowanego systemu percepcji wzrokowej).

[16] Wikipedia (2012b).

[17] Ogólne omówienie teorii selekcji obserwacji patrz: Bostrom (2002a). Konkretne zastosowanie w odniesieniu do aktualnej kwestii patrz: Shulman, Bostrom (2012). Krótkie, przystępne wprowadzenie patrz: Bostrom (2008b).

[18] Sutton, Barto (1998, 21f), Schultz i in. (1997).

[19] Ten termin został wprowadzony przez EliezeraYudkowsky’ego, patrz na przykład: Yudkowsky (2007).

[20] Jest to scenariusz opisany przez Gooda (1965) i Yudkowsky’ego (2007). Można jednak również rozważyć alternatywę, w której iteratywna sekwencja ma pewne kroki, polegające nie na podniesieniu poziomu inteligencji, lecz na uproszczeniu projektu. Oznacza to, że na pewnych etapach zalążkowa SI może się samodzielnie przepisać, by łatwiej było znaleźć kolejne możliwości usprawnień.

[21] Helmstaedter i in. (2011).

[22] Andres i in. (2012).

[23] Adekwatne, czyli umożliwiające instrumentalnie użyteczne formy komunikacji i funkcjonowania poznawczego, ale nadal drastycznie ubogie w stosunku do interfejsu tworzonego przez mięśnie i narządy zmysłów zwykłego ludzkiego ciała.

[24] Sandberg (2013).

[25] Patrz: podrozdział „Computer requirements” w Sandberg, Bostrom (2008, 79 – 81).

[26] Niższym poziomem sukcesu mogłaby być symulacja mózgu posiadająca mikromechanizmy przypominające biologiczne i przejawiająca szeroki zakres emergentnych, typowych dla gatunku czynności jak sen wolnofalowy lub plastyczność mózgu zależna od podejmowanych czynności. O ile taka symulacja mogłaby być użytecznym poletkiem badawczym do badań neurobiologicznych (choć jednocześnie takim, którego powstanie mogłoby przyczynić się do podniesienia poważnych kwestii etycznych), o tyle nie można byłoby uznać tego za emulację mózgu, jeśli symulacja nie byłaby tak wierna i precyzyjna, by umożliwić wykonanie znacznej części zadań intelektualnych, do których zdolny był symulowany mózg. Z grubsza moglibyśmy powiedzieć, że aby zasymulować ludzki umysł w takiej postaci, którą moglibyśmy uznać za emulację mózgu, musielibyśmy wyposażyć go w zdolność wyrażania spójnych komunikatów werbalnych lub potencjał umożliwiający mu nauczenie się tego.

[27] Sandberg, Bostrom (2008).

[28] Pierwszy konektom został opisany w Albertson, Thomson (1976) oraz White i in. (1986). Łączny (a w niektórych przypadkach skorygowany) konektom dostępny jest na stronie internetowej Worm Atlas (http://www.wormatlas.org/).

[29] Przegląd wcześniejszych prób emulacji C. elegans i ich losów patrz: Kaufman (2011). Kaufman cytuje pewnego ambitnego doktoranta pracującego w tej dziedzinie, Davida Dalrymple’a, który stwierdza: „Dysponując technikami optogenetycznymi jesteśmy właśnie w tym momencie, w którym nie jest już propozycją bulwersującą osiągnięcie zdolności odczytywania i zapisywania informacji w systemie nerwowym żyjącego C. elegans z wykorzystaniem zautomatyzowanych systemów dużej przepustowości. (…) Spodziewam się, że w ciągu 2 – 3 lat prace nad C. elegans dobiegną końca. Byłbym niezwykle zaskoczony, o ile ma to jakiekolwiek znaczenie, gdyby w 2020 roku był to problem nadal nierozwiązany” (Dalrymple 2011). Modele mózgu, których twórcy postawili sobie za cel uzyskanie biologicznego realizmu, a które zostały zakodowane ręcznie (a nie wygenerowane automatycznie) osiągnęły pewną podstawową funkcjonalność (patrz na przykład: Eliasmith i in. [2012]).

[30] Sandberg, Bostrom (2008). Dalsze wyjaśnienia można znaleźć w raporcie źródłowym.

[31] Caenorhabditis elegans rzeczywiście ma pewne wygodne, wyjątkowe własności. Dla przykładu: organizm ten jest przezroczysty, a wzorzec połączeń w jego systemie nerwowym jest jednakowy u wszystkich osobników.

[32] Jeśli to nie emulacja mózgu, lecz neuromorficzna SI będzie produktem końcowym, wówczas może tak być albo i nie, że istotny wgląd w zagadnienie zostanie uzyskany dzięki próbom symulacji ludzkich mózgów. Można sobie wyobrazić, że to podczas badań nad mózgami zwierzęcymi zostaną odkryte istotne mechanizmy korowe. Z niektórymi mózgami zwierzęcymi może być łatwiej pracować niż z ludzkimi, a mniejsze mózgi mogą wymagać mniejszej ilości zasobów do ich zeskanowania i zamodelowania. Badania na mózgach zwierzęcych nie byłyby również poddawane tak ścisłym regulacjom prawnym. Można sobie nawet wyobrazić, że pierwsza myśląca maszyna dorównująca inteligencją człowiekowi zostanie stworzona poprzez stworzenie udanej emulacji mózgu jakiegoś stosownego zwierzęcia, a następnie znalezienie sposobów udoskonalenia otrzymanego cyfrowego umysłu. W efekcie ludzkość mogłaby dostać w kość od ulepszonego makaka albo szczura laboratoryjnego.

[33] Uauy, Dangour (2006), Georgieff (2007), Stewart i in. (2008), Eppigi i in. (2010), Cotman, Berchtold (2002).

[34] Według danych Światowej Organizacji Zdrowia z 2007 roku prawie dwa miliardy ludzi mają niedobory jodu („The Lancet” 2008). Poważne niedobory jodu hamują rozwój neurologiczny i prowadzą do kretynizmu, który polega na stracie przeciętnie 12,5 punkta IQ (Qian i in. 2005). Chorobie tej można byłoby łatwo i niedrogo zapobiegać, wzbogacając jodem sól (Horton i in. 2008).

[35] Bostrom, Sandberg (2009a).

[36] Bostrom, Sandberg (2009b). Typowy domniemany wzrost osiągnięć w wyniku zastosowania środków farmaceutycznych i suplementów diety mieści się w przedziale 10 – 20% w przypadku zadań testowych mierzących pamięć roboczą, uwagę i tak dalej. Generalnie jest jednak wątpliwe, czy tego rodzaju rzekome zyski są prawdziwe, czy dają się utrzymać w dłuższym okresie i czy są sygnałem analogicznie wyższych osiągnięć w rozwiązywaniu rzeczywistych problemów (Repantis i in. 2010). Dla przykładu: w niektórych przypadkach może dochodzić do kompensacyjnego pogorszenia niektórych aspektów działania, które nie są mierzone zadaniami testowymi (Sandberg, Bostrom 2006).

[37] Gdyby istniała prosta metoda usprawnienia funkcji poznawczych, można by się było spodziewać, że ewolucja już by zrobiła z niej użytek. Z tego względu najlepiej rokującym rodzajem środków poprawiających czynność umysłu, które należałoby zbadać, byłyby środki obiecujące podniesienie poziomu inteligencji w taki sposób, który zgodnie z naszą wiedzą obniżyłby dostosowanie reprodukcyjne w środowisku życia naszych przodków — przykładowo zwiększając rozmiar głowy w chwili narodzin lub zwiększając metabolizm glukozy przez mózg. Bardziej szczegółowe omówienie tej koncepcji (wraz z kilkoma istotnymi zastrzeżeniami) patrz: Bostrom (2009b).

[38] Plemniki trudniej jest selekcjonować, ponieważ w przeciwieństwie do jajeczek składają się tylko z jednej komórki — i właśnie ta jedna komórka musi zostać zniszczona, aby można było wykonać sekwencjonowanie. Oocyty również składają się tylko z jednej komórki, jednakże pierwszy i drugi podział komórkowy to podziały asymetryczne, w wyniku których powstaje tylko jedna komórka potomna z bardzo niewielką ilością cytoplazmy: ciałko kierunkowe. Ponieważ ciałka kierunkowe zawierają ten sam genom, co komórka główna, i są nadmiarowe (ostatecznie zanikają), mogą zostać poddane biopsji i wykorzystane do selekcji (Gianaroli 2000).

[39] Wszystkie te praktyki tuż po ich wprowadzeniu były przedmiotem kontrowersji etycznych, lecz wydaje się, że istnieje tendencja do coraz powszechniejszej ich akceptacji. Stosunek do selekcji embrionów i inżynierii genetycznej człowieka jest bardzo różny w różnych kulturach, co sugeruje, że do rozwoju i zastosowania nowych technik dojdzie prawdopodobnie nawet wówczas, gdy niektóre kraje przyjmą początkowo bardzo ostrożne stanowisko, choć na tempo rozwoju zdarzeń będą miały wpływ naciski moralne, religijne i polityczne.

[40] Davies i in. (2011), Benyamin i in. (2013), Plomin i in. (2013). Patrz również: Mardis (2011), Hsu (2012).

[41] Szeroko rozumianą odziedziczalność dorosłego IQ szacuje się zwykle w klasie średniej państw rozwiniętych w przedziale 0,5 – 0,8 (Bouchard 2004, 148). Wąsko rozumiana odziedziczalność, będąca miarą tej części zmienności fenotypowej, którą można przypisać wariancji genotypowej addytywnej, jest niższa (w przedziale 0,3 – 0,5), ale nadal znacząca (Devlin i in. 1997, Davies i in. 2011, Visscher i in. 2008). Te szacunki mogą być odmienne dla różnych populacji i różnych środowisk, ponieważ odziedziczalność różni się w zależności od badanej populacji i środowiska. Dla przykładu: niższa odziedziczalność charakteryzuje dzieci i osoby ze środowisk niezamożnych (Benyamin i in. 2013, Turkheimer i in. 2003). Nisbett i in. (2012) dokonuje przeglądu wpływu szeregu czynników środowiskowych na zróżnicowanie zdolności poznawczych.

[42] Kilka kolejnych akapitów bazuje w dużym stopniu na wynikach prac przeprowadzonych we współpracy z Carlem Shulmanem (Shulman, Bostrom 2014).

[43] Przy niepełnej informacji na temat wpływu addytywnych czynników genetycznych na zdolności poznawcze rozmiary uzyskanych rezultatów byłyby ograniczone. Jednakże nawet okruchy wiedzy okazałyby się stosunkowo przydatne, ponieważ korzyści płynące z selekcji nie rosną w postępie liniowym, proporcjonalnie do tej części zmienności, którą jesteśmy w stanie przewidzieć. Przeciwnie, efektywność naszego doboru zależy od odchylenia standardowego przewidywanego średniego IQ, które zmienia się jako pierwiastek kwadratowy wariancji. Dla przykładu: jeśli potrafiłoby się wyjaśnić 12,5% zmienności, można byłoby uzyskać efekty równe połowie tych w tabeli 1., która zakłada wartość 50%. Dla porównania: zgodnie z ostatnimi wynikami badań (Rietveld i in. 2013) udało się już zidentyfikować czynniki wpływające na 2,5% zmienności.

[44] Dla porównania: standardowa dziś praktyka polega na tworzeniu mniej niż dziesięciu embrionów.

[45] Tabela ta została zaczerpnięta z Shulman, Bostrom (2014). Opiera się na „modelu zabawkowym”, który zakłada rozkład normalny przewidywanych ilorazów inteligencji embrionów z odchyleniem standardowym 7,5 punktu. Stopień usprawnienia funkcji poznawczych, który otrzymalibyśmy przy różnych liczbach embrionów, zależy od tego, jak bardzo embriony różnią się od siebie pod względem addytywnej zmienności genetycznej, której efekty znamy. Rodzeństwo ma współczynnik pokrewieństwa wynoszący ½, a wspólna wariancja genotypowa addytywna odpowiada za połowę lub mniej zmienności inteligencji płynnej u dorosłych (Davies i in. 2011). Te dwa fakty sugerują, że tam, gdzie odchylenie standardowe obserwowanej populacji w krajach rozwiniętych wynosi 15 punktów, odchylenie standardowe wpływów genetycznych w partii embrionów będzie wynosić 7,5 punktu lub mniej.

[46] Dorosłe i embrionalne komórki macierzyste można skłonić do przekształcenia się w plemniki i oocyty, które następnie można połączyć, tworząc embion (Nagy i in. 2008, Nagy, Chang 2007). Poprzedniczki komórki jajowej mogą również stworzyć partenogenetyczne blastocysty, niezapłodnione i niezdolne do przetrwania embriony mogące wyprodukować dla tego procesu linie embrionalnych komórek macierzystych (Mai i in. 2007).

[47] Opinia wygłoszona przez Katsuhiko Hayashi, zacytowana w Cyranoski (2013). The Hinxton Group, międzynarodowe konsorcjum naukowców omawiające problemy i zagadnienia etyczne związane z komórkami macierzystymi, przewidziało w 2008 roku, że ludzkie gamety pozyskane z komórek macierzystych będą dostępne w ciągu dekady (Hinxton Group 2008), a dotychczasowe osiągnięcia są na razie generalnie zgodne z tymi przewidywaniami.

[48] Sparrow (2013), Miller (2012), The Uncertain Future (2012).

[49] Sparrow (2013).

[50] Obawy niemające charakteru religijnego mogą dotyczyć przewidywanego wpływu na wzrost nierówności społecznych, medycznego bezpieczeństwa procedur, możliwości zapoczątkowania „wyścigu coraz doskonalszych szczurów”, praw i obowiązków rodziców względem ich przyszłego potomstwa, mrocznej spuścizny dwudziestowiecznej eugeniki, koncepcji ludzkiej godności oraz właściwych granic zaangażowania państwa w wybory reprodukcyjne obywateli (omówienie kwestii etycznych związanych z doskonaleniem funkcji poznawczych patrz: Bostrom, Ord [2006], Bostrom, Roache [2011] oraz Sandberg, Savulescu [2011]). W niektórych tradycjach religijnych mogą zostać wysunięte dodatkowe obawy koncentrujące się między innymi na moralnym statusie embrionów oraz właściwych granicach ludzkiego wpływu na dzieło stworzenia.

[51] Aby zapobiec negatywnym efektom chowu wsobnego, iteracyjna selekcja embrionów wymagałaby albo bardzo dużego początkowego zasobu dawców, albo bardzo dużych nakładów na proces selekcji pozwalających wyeliminować szkodliwe allele recesywne. Każda z tych alternatywnych opcji dawałaby w efekcie potomstwo coraz mniej genetycznie spokrewnione z własnymi rodzicami (a bliżej spokrewnione ze sobą nawzajem).

[52] Nie wiadomo jeszcze, jak trudną do pokonania przeszkodą będzie epigenetyka (Chason i in. 2011, Iliadou i in. 2011).

[53] O ile zdolności poznawcze są cechą dość dziedziczną, o tyle może istnieć bardzo niewiele wspólnych alleli lub polimorfizmów (lub może nie być ich w ogóle), które z osobna mają znaczący pozytywny wpływ na inteligencję (Davis i in. 2010, Davies i in. 2011, Rietveld i in. 2013). W miarę usprawniania metod sekwencjonowania mapowanie rzadko występujących alleli oraz ich poznawczych i behawioralnych odpowiedników będzie się stawać coraz bardziej wykonalne. Istnieją pewne dowody teoretyczne sugerujące, że niektóre allele powodujące nieprawidłowości genetyczne w homozygotach mogą się przyczyniać do znacznych postępów w dziedzinie funkcji poznawczych w heterozygotach, co prowadzi do przypuszczenia, że heterozygoty dotknięte chorobą Gauchera, Tay-Sachsa i Niemanna Picka uplasowałyby się o 5 punktów IQ wyżej niż grupy kontrolne (Cochran i in. 2006). Czas pokaże, czy ta teza się obroni.

[54] W jednej z prac (Nachman, Crowell 2000) oszacowano liczbę mutacji na 175 na genom na pokolenie. W innej (Lynch 2010), posługując się innymi metodami, oszacowano, że przeciętny noworodek ma od 50 do 100 nowych mutacji, a Kong i in. (2012) sugeruje liczbę około 77 nowych mutacji na pokolenie. Większość z tych mutacji nie ma wpływu na funkcjonowanie albo wpływa na nie w niedostrzegalnym wręcz stopniu, lecz łączny wpływ wielu lekko szkodliwych mutacji może być równoznaczny ze znaczącą utratą dostosowania darwinowskiego. Patrz również: Crow (2000).

[55] Crow (2000), Lynch (2010).

[56] Zaadaptowane z Shulman, Bostrom (2014).

[57] Bostrom (2008b).

[58] Istnieją pewne potencjalnie istotne zastrzeżenia do tej koncepcji. Możliwe, że modalny genom będzie potrzebował pewnych korekt, by uniknąć problemów. Dla przykładu: części genomu mogą zostać przystosowane do współdziałania z innymi częściami, pod warunkiem że wszystkie części funkcjonują na pewnym poziomie sprawności. Zwiększenie sprawności tych części może zatem prowadzić do „przestrzelenia” na niektórych szlakach metabolicznych.

[59] Te zdjęcia kombinowane zostały stworzone przez Mike’a Mike’a z pojedynczych fotografii zrobionych przez Virtual Flavius (Mike 2013).

[60] Pewne rezultaty mogą być, oczywiście, widoczne wcześniej — przykładowo zmieniając ludzkie oczekiwania co do tego, co ma nadejść.

[61] Louis Harris & Associates (1969), Mason (2003).

[62] Kalfoglou i in. (2004).

[63] Dysponujemy oczywiście ograniczonymi danymi, ale w badaniach longitudinalnych wykazano, że osoby, które w grupach 10 tysięcy respondentów osiągnęły najlepsze rezultaty w przeprowadzonych w dzieciństwie testach umiejętności, w późniejszym wieku znacznie częściej obejmowały stanowiska profesorskie, uzyskiwały patenty i osiągały sukcesy w biznesie niż ci, którzy osiągali odrobinę mniej imponujące rezultaty (Kell i in. 2013). Roe (1953) badał sześćdziesięciu czterech wybitnych naukowców i stwierdził, że w ich przypadku mediana zdolności poznawczych jest o trzy do czterech odchyleń standardowych wyższa od normy dla całej populacji i zdecydowanie wyższa, niż jest to typowe dla naukowców jako takich (zdolności poznawcze są również skorelowane z zarobkami osiągniętymi w ciągu całego życia oraz z wynikami niedotyczącymi kwestii finansowych, takimi jak oczekiwana długość życia, wskaźnik rozwodów i prawdopodobieństwo porzucenia nauki [Deary 2012]). Przesunięcie „w górę” rozkładu zdolności poznawczych miałoby nieproporcjonalnie duży wpływ na prawdopodobieństwo wystąpienia wyników skrajnych, w szczególności zwiększyłoby liczbę osób niezwykle utalentowanych i zmniejszyłoby liczbę osób opóźnionych intelektualnie i doświadczających specyficznych problemów z uczeniem się. Patrz również: Bostrom, Ord (2006) oraz Sandberg, Savulescu (2011).

[64] Na przykład Warwick (2002). Stephen Hawking sugerował nawet, że podjęcie takiego kroku mogłoby być konieczne w celu dotrzymania kroku myślącym maszynom: „Musimy możliwie szybko opracować technologie, które umożliwią bezpośrednie podłączenie komputera do mózgu, aby sztuczne mózgi przyczyniły się do rozwoju ludzkiej inteligencji, a nie przeciwstawiły się mu” (zacytowane w: Walsh [2001]). Wtóruje mu Ray Kurzweil: „Jeśli chodzi o zalecenie Hawkinga dotyczące mianowicie bezpośredniego połączenia pomiędzy mózgiem a komputerem, zgadzam się, że jest to zarówno rozsądne, jak i pożądane i nieuniknione [sic]. Ja sam zalecam to od lat” (Kurzweil 2001).

[65] Patrz: Lebedev, Nicolelis (2006), Birbaumer i in. (2008), Mak, Wolpaw (2009) oraz Nicolelis, Lebedev (2009). Bardziej osobiste spojrzenie na problem doskonalenia za pomocą implantów można znaleźć w: Chorost (2005, rozdz. 11).

[66] Smeding i in. (2006).

[67] Degnan i in. (2002).

[68] Dagnelie (2012), Shannon (2012).

[69] Pearlmutter, Mink (2006), Lyons (2011).

[70] Koch i in. (2006).

[71] Schalk (2008). Ogólny przegląd współczesnego stanu wiedzy patrz: Berger i in. (2008). Argumenty na rzecz tego, że mogłoby to pomóc w doprowadzeniu do udoskonalonej inteligencji, patrz: Warwick (2002).

[72] Kilka przykładów: Bartels i in. (2008), Simeral i in. (2011), Krusienski, Shih (2011) oraz Pasqualotto i in. (2012).

[73] Na przykład Hinke i in. (1993).

[74] Istnieją częściowe wyjątki od tego, zwłaszcza we wczesnym przetwarzaniu zmysłowym. Dla przykładu: pierwotna kora wzrokowa wykorzystuje odwzorowywanie retinotopiczne, co oznacza z grubsza, że znajdujące się blisko siebie skupiska komórek nerwowych reagują na bliskie sobie punkty znajdujące się w polu widzenia (choć kolumny dominacji dwuocznej nieco komplikują odwzorowywanie).

[75] Berger i in. (2012), Hampson i in. (2012).

[76] Niektóre implanty mózgowe wymagają dwóch form uczenia się: urządzenie musi nauczyć się interpretować neuronalne obrazy organizmu, a organizm musi nauczyć się korzystania z systemu poprzez generowanie stosownych wzorców pobudzeń neuronalnych (Carmena i in. 2003).

[77] Pojawiały się propozycje uznania bytów zbiorowych (korporacji, związków, rządów, kościołów i innych) za sztucznych inteligentnych sprawców, czyli byty posiadające czujniki i układy pozwalające wchodzić w interakcje z otoczeniem, zdolne do opisywania wiedzy, wyciągania wniosków i podejmowania działań (na przykład Kuipers [2012]); omówienie kwestii możliwości istnienia reprezentacji zbiorowych patrz: Huebner [2008]). Byty zbiorowe są bez wątpienia potężne i znakomicie odnajdują się w swoim środowisku, ale ich możliwości i stany wewnętrzne różnią się od możliwości i stanów człowieka.

[78] Hanson (1995, 2000), Berg, Rietz (2003).

[79] Przykładowo w miejscu pracy pracodawcy mogą używać wykrywaczy kłamstw, by położyć kres kradzieżom i miganiu się od obowiązków zawodowych, pytając pracowników pod koniec każdego dnia pracy, czy coś ukradli i czy pracowali tak ciężko, jak mogli. Na analogicznej zasadzie można byłoby pytać przywódców politycznych i menedżerów, czy rzeczywiście ze wszystkich sił dążą do realizacji interesów obywateli i akcjonariuszy. Dyktatorzy mogliby wykorzystywać te urządzenia do wykrycia dysydentów i generałów buntujących się przeciwko reżimowi.

[80] Można sobie wyobrazić techniki neuroobrazowania, które umożliwiają wykrywanie sygnatur neuronalnych mózgu kierującego się motywacją poznawczą. Bez funkcji wykrywania samookłamywania, wykrywacz kłamstw faworyzowałby jednostki dające wiarę własnej propagandzie. Lepsze testy pod kątem samookłamywania można by również wykorzystać do treningu racjonalności oraz badania efektywności działań mających na celu ograniczenie uprzedzeń.

[81] Bell, Gemmel (2009). Wczesny przykład można znaleźć w publikacjach pracującego na MIT Deba Roya, który nagrał każdą chwilę pierwszych trzech lat życia swojego syna. Analiza tych danych audiowizualnych pozwala uzyskać informacje na temat rozwoju języka, patrz: Roy (2012).

[82] Jedynie niewielką część stanowić będzie wzrost łącznej światowej populacji biologicznych istot ludzkich. W scenariuszach obejmujących rozwój myślących maszyn liczba ludności świata (włączając w to umysły cyfrowe) mogłaby w krótkim czasie eksplodować o wiele rzędów wielkości. Lecz ta droga prowadząca do superinteligencji obejmuje sztuczną inteligencję lub emulację mózgu, więc nie musimy jej rozważać w tym ustępie.

[83] Vinge (1993).

Rozdział 3. Formy superinteligencji

[1] Dla określenia takich przyspieszonych ludzkich umysłów Vernor Vinge posłużył się terminem „słabej superinteligencji” (Vinge 1993).

[2] Dla przykładu: jeśli bardzo szybki system potrafi zrobić wszystko to, co leży w granicach możliwości dowolnego człowieka poza tańczeniem mazurka, to nadal powinniśmy określać go mianem superinteligencji szybkiej; przedmiotem naszego zainteresowania są te rdzenne zdolności poznawcze, które mają znaczenie gospodarcze lub strategiczne.

[3] Przynajmniej milionowe przyspieszenie w porównaniu do możliwości ludzkich mózgów jest fizycznie możliwe, o czym można się przekonać, rozważając różnicę prędkości i energii istotnych procesów zachodzących w mózgu w porównaniu z bardziej wydajnym przetwarzaniem informacji. Prędkość światła jest ponad milion razy większa od prędkości przekazywania bodźców nerwowych, potencjały czynnościowe generują ponad milion razy więcej ciepła niż jest to termodynamicznie konieczne, a częstotliwości współczesnych tranzystorów są ponad milion razy wyższe niż częstotliwość potencjałów czynnościowych (Yudkowsky [2008a], patrz również: Drexler [1992]). Ostateczne granice superinteligencji szybkiej wyznaczają opóźnienia transmisji odbywającej się z prędkością światła, kwantowe ograniczenia prędkości zmiany stanu oraz objętość konieczna do pomieszczenia umysłu (Lloyd 2000). Na arcylaptopie opisany przez Lloyda (2000) można byłoby uruchomić emulację mózgu o mocy 1,4×10^21 FLOPS przy współczynniku przyspieszenia 3,8×10^29× (zakładając, że emulacja mogłaby być wystarczająco zrównoleglona). Konstrukcja Lloyda nie miała być jednak w zamierzeniu technicznie wykonalna — miała jedynie zilustrować te ograniczenia obliczeń, które już w tej chwili można wywnioskować z podstawowych praw fizyki.

[4] Przy okazji emulacji powstaje również kwestia tego, jak długo umysł przypominający ludzki może pracować nad dowolnym zagadnieniem, zanim zwariuje lub popadnie w rutynę. Nawet przy pewnej różnorodności zadań i regularnych okresach wakacji nie ma pewności, czy umysł podobny ludzkiemu może przeżyć tysiące subiektywnych lat, nie doznając zaburzeń psychicznych. Co więcej, jeśli całkowita pojemność pamięci jest ograniczona — co jest następstwem posiadania skończonej liczby neuronów — to wówczas kumulacja wiedzy i umiejętności nie może trwać w nieskończoność; po przekroczeniu pewnego punktu umysł próbujący zapamiętać nową informację musi zapomnieć jedną ze starych (sztuczną inteligencję można byłoby zaprojektować tak, by poprawić możliwość rozwiązywania tych potencjalnych problemów).

[5] Analogicznie nanomechanizmy poruszające się z umiarkowaną prędkością 1 m/s działają w czasie mierzonym w nanosekundach. Patrz: ustęp 2.3.2. Drexler (1992). Robin Hanson wspomina o mierzących 7 mm robotycznych korpusach „blaszanych dzwoneczków” poruszających się 260 razy szybciej niż normalnie (Hanson 1994).

[6] Hanson (2012).

[7] „Superinteligencja zbiorowa” nie odnosi się do niskopoziomowego zrównoleglenia sprzętu komputerowego, lecz do zrównoleglenia na poziomie inteligentnych, autonomicznych bytów mających moc sprawczą — takich jak ludzie. Implementacja pojedynczej emulacji na potężnie zrównoleglonej maszynie może zaowocować powstaniem superinteligencji szybkiej, jeśli zrównoleglony komputer jest wystarczająco szybki, nie zaowocuje jednak powstaniem superinteligencji zbiorowej.

[8] Podniesienie prędkości działania lub jakości komponentów jednostkowych mogłoby również pośrednio wpłynąć na wyniki uzyskiwane przez superinteligencję zbiorową, lecz tutaj rozważamy takie usprawnienia głównie przy okazji dwóch pozostałych form superinteligencji opisanych w naszej klasyfikacji.

[9] Dowodzono, że wyższa gęstość zaludnienia zapoczątkowała rewolucję górnego paleolitu i że po przekroczeniu pewnego progu akumulacja złożoności kulturowej stała się znacznie prostsza (Powell i in. 2009).

[10] A co z internetem? Wygląda na to, że na razie nie jest on równoznaczny z gigantycznym impulsem rozwojowym, choć może ostatecznie do tego dojdzie. Ujawnienie pełnego potencjału innych podanych tutaj przykładowo technologii zajęło całe wieki lub wręcz tysiąclecia.

[11] Oczywiście nie zostało to pomyślane jako realistyczny eksperyment myślowy. Planeta tak duża, by zapewnić przeżycie siedmiu kwadrylionom (10^24) istot ludzkich dysponujących współczesną technologią, implodowałaby, o ile nie byłaby zbudowana z bardzo lekkiej substancji lub nie byłaby pusta w środku i podtrzymywana ciśnieniem lub innymi sztucznymi metodami (kula Dysona lub sztuczny świat zbudowany z koncentrycznych kul, z których każda tworzy oddzielny poziom, mogłyby być lepszym rozwiązaniem). Na tak rozległej powierzchni historia mogłaby potoczyć się inaczej. Odłóżmy te wszystkie rozważania na inną okazję.

[12] Koncentrujemy się tutaj na funkcjonalnych własnościach jednolitego umysłu, a nie na pytaniu, czy taki umysł przeżywałby subiektywnie doświadczenia zmysłowe lub też czy byłby umysłem w sensie posiadania subiektywnej świadomości (można się jednak zastanawiać, jaki rodzaj świadomości powstałby w umyśle bardziej — w mniejszym lub większym stopniu — zintegrowanym niż ludzki mózg; zgodnie z pewnymi poglądami na świadomość, takimi jak teoria globalnej przestrzeni roboczej, wydaje się, że po bardziej zintegrowanych mózgach można by się spodziewać posiadania bardziej pojemnej świadomości; por. Baars [1997], Shanahan [2010] i Schwitzgebel [2013]).

[13] Nawet małe grupy ludzi, którzy przez jakiś czas pozostawali w izolacji, mogą czerpać korzyści z wyników uzyskiwanych dzięki większej inteligencji zbiorowej. Dla przykładu: język, którym się posługują, mógł zostać wypracowany przez znacznie większą społeczność językową, a narzędzia, których używają, mogły zostać wymyślone w znacznie większej populacji jeszcze przed tym, zanim ta niewielka grupa została odizolowana. Ale nawet jeśli niewielka grupa od zawsze żyła w izolacji, mimo wszystko może być częścią większej inteligencji zbiorowej, niż mogłoby się wydawać — mianowicie inteligencji zbiorowej składającej się nie tylko ze współczesnych, ale i ze wszystkich poprzednich pokoleń, czyli agregatu, który może funkcjonować jako sprzężony w przód system przetwarzania informacji.

[14] Zgodnie z hipotezą Churcha-Turinga wszystkie funkcje obliczalne mogą zostać obliczone przez maszynę Turinga. Ponieważ wszystkie trzy formy superinteligencji mogą symulować maszynę Turinga (jeśli otrzymają dostęp do nieograniczonej pamięci i będą mogły pracować w nieskończoność), według tego formalnego kryterium są one obliczeniowo równoważne. W gruncie rzeczy przeciętny człowiek (posiadając nieograniczoną ilość papieru i czasu) również mógłby stać się wcieleniem maszyny Turinga, a zatem wedle tego samego kryterium również jest równoważny obliczeniowo trzem wyżej wspomnianym formom superinteligencji. Dla naszych celów znaczenie ma jednak to, co te różne systemy mogą osiągnąć w praktyce — przy ograniczonej pamięci i w rozsądnym czasie. A różnice pod względem wydajności są tak olbrzymie, że od razu można dokonać pewnych rozróżnień. Dla przykładu: człowieka o IQ 85 można byłoby nauczyć wykonywania zadań maszyny Turinga (można sobie nawet wyobrazić możliwość wytrenowania do tego szczególnie utalentowanych i potulnych szympansów), w rzeczywistości jednak trudno sobie wyobrazić, by taka jednostka mogła być zdolna do, powiedzmy, niezależnego opracowania ogólnej teorii względności lub zdobycia medalu Fieldsa.

[15] W ustnych tradycjach przekazu mogły narodzić się wielkie dzieła (czego przykładem są eposy Homera), lecz być może część ich autorów była niezwykle utalentowana.

[16] A zatem jeśli nie zawiera w charakterze składowych umysłów cechujących się superinteligencją szybką lub jakościową.

[17] Nasza niezdolność do określenia, na czym polegają te wszystkie problemy, może wynikać częściowo z niepodejmowania takich prób — niewiele sensu ma poświęcanie czasu na szczegółowy opis pracy intelektualnej, której nie jest w stanie wykonać żaden człowiek ani żadna mogąca dziś powstać organizacja. Jest jednak również możliwe, że nawet ujęcie tych zadań w ramy konceptualne jest samo w sobie pracą, której przy naszych dzisiejszych możliwościach umysłowych nie jesteśmy w stanie wykonać.

[18] Por. Boswell (1917), patrz również: Walker (2002).

[19] Dochodzi do tego w krótkich odpaleniach w podzbiorach neuronów — większość neuronów charakteryzuje niższa częstotliwość pobudzenia (Gray, McCormick 1996, Steriade i in. 1998). Istnieją pewne neurony (znane jako FRB), które mogą osiągać częstotliwość potencjałów czynnościowych na poziomie 750 Hz, ale wydaje się, że są to absolutne wyjątki.

[20] Feldman, Ballard (1982).

[21] Prędkość przewodnictwa nerwowego zależy od średnicy aksonu (grubsze aksony są szybsze) i od tego, czy akson otacza prawidłowa otoczka mielinowa. Opóźnienia transmisji synaptycznej w centralnym układzie nerwowym mogą wynosić od mniej niż 1 milisekundy do aż 100 milisekund (Kandel i in. 2000). Transmisja światłowodowa wynosi około 68% c (ze względu na współczynnik załamania ośrodka). Kable elektryczne pozwalają osiągnąć mniej więcej tę samą prędkość, 59 – 77% c.

[22] Zakłada to prędkość sygnału wynoszącą 70% c. Przyjęcie 100% c zwiększa szacunki do 1,8×10^18 m^3.

[23] Liczbę neuronów w mózgu dorosłego mężczyzny oszacowano na 86,1± 8,1 miliarda, którą to liczbę otrzymano poprzez rozpuszczenie mózgu, oddzielenie jąder komórkowych i policzenie tych, które zabarwiono markerem odkładającym się w neuronach. W przeszłości częste były szacunki na poziomie 75 – 125 miliardów neuronów. Opierały się one na ręcznym liczeniu komórek w odpowiednio małych regionach (Azevedo i in. 2009).

[24] Whitehead (2003).

[25] Systemy przetwarzania informacji mogą z dużym prawdopodobieństwem wykorzystywać procesy zachodzące w skali molekularnej w celu przeprowadzania obliczeń i przechowywania danych, i osiągać rozmiary co najmniej planetarne. Ostateczne granice fizyczne obliczeń wytyczone mechaniką kwantową, ogólną teorią względności i termodynamiką przekraczają jednak znacznie ten poziom „mózgu Jupitera” (Sandberg 1999, Lloyd 2000).

[26] Stansberry, Kudritzki (2012). Zużycie energii przez wszystkie centra danych na świecie wyniosło 1,1 – 1,5% całkowitego zużycia energii (Koomey 2011). Patrz również: Muehlhauser, Salamon (2012).

[27] To nadmierne uproszczenie. Liczba fragmentów informacji, które mogą zostać zachowane w pamięci roboczej, zależy zarówno od informacji, jak i od zadania. Jest ona jednak wyraźnie ograniczona do niewielkiej liczby fragmentów. Patrz: Miller (1956) i Cowan (2001).

[28] Przykładem może być to, że trudność opanowania formuł Boole’a (wyrażeń zbudowanych według reguł logicznych) jest proporcjonalna do długości najkrótszego logicznie równoważnego zdania wyrażonego w języku naturalnym. Zazwyczaj formuły liczące nawet 3 – 4 znaki są bardzo trudne do nauczenia. Patrz: Feldman (2000).

[29] Patrz: Landauer (1986). To badanie opiera się na eksperymentalnych szacunkach współczynników uczenia się i zapominania u ludzi. Uwzględnienie uczenia się podświadomego może nieco podwyższyć te szacunki. Jeśli założyć, że pojemność pamięci wynosi ~1 bit na synapsę, wówczas otrzymujemy ograniczenie górne pojemności ludzkiej pamięci na poziomie około 10^15 bitów. Przegląd rozmaitych szacunków patrz: dodatek A w Sandberg, Bostrom (2008).

[30] Szum w kanałach jonowych może wyzwolić potencjały czynnościowe, a szum synaptyczny (tło czynności neuronowej) daje w efekcie znaczną zmienność mocy transmitowanych sygnałów. Wydaje się, że układ nerwowy w trakcie swojej ewolucji dążył do uzyskania optymalnej równowagi pomiędzy tolerancją na szum a jego kosztem (masa i wielkość mózgu, opóźnienia czasowe przenoszenia bodźców nerwowych), patrz: Faisal i in. (2008). Przykładowo aksony nie mogą być cieńsze niż 0,1 μm, aby przypadkowe otwieranie się kanałów jonowych nie doprowadzało do spontanicznego wyzwolenia potencjałów czynnościowych (Faisal i in. 2005).

[31] Trachtenberg i in. (2002).

[32] W kategoriach pamięci i mocy obliczeniowej, choć nie sprawności energetycznej. Najszybszym na świecie komputerem w chwili pisania tej książki był chiński Tianhe-2, który zdeklasował Titana Cray Inc. w czerwcu 2013 roku, osiągając wydajność 33,86 PetaFLOPS. Jego zasilanie wymaga 17,6 MW mocy, prawie milion razy więcej niż mózg, któremu wystarcza około 20 W.

[33] Zauważmy, że to badanie źródeł przewagi maszyn jest rozłączne — nasza argumentacja jest poprawna, nawet jeśli niektóre pozycje na liście są złudne, o ile tylko istnieje przynajmniej jedno źródło, które może nam zapewnić wystarczająco dużą przewagę.

Rozdział 4. Dynamika eksplozji inteligencji

[1] System może nie przekroczyć tej linii odniesienia w jakimś wyraźnie określonym momencie; zamiast tego może się pojawić przedział czasowy, w którym system będzie stopniowo stawał się zdolny do osiągania wyników lepszych niż zewnętrzny zespół badawczy w przypadku coraz większej liczby zadań polegających na jego doskonaleniu.

[2] Przez ostatnie 50 lat powszechnie uznawano istnienie przynajmniej jednego scenariusza, zgodnie z którym istniejący porządek światowy dobiegnie końca w ciągu minut lub godzin — globalną wojnę jądrową.

[3] Byłoby to zgodne ze spostrzeżeniem, że efekt Flynna — długookresowy wzrost ilorazu inteligencji o 0,3 punktu IQ rocznie odnotowywany w większości państw przez ostatnie mniej więcej sześćdziesiąt lat — wydaje się w ostatnich latach zanikać, a w niektórych krajach wysoko rozwiniętych, takich jak: Wielka Brytania, Dania czy Norwegia, zaczyna wręcz działać odwrotnie (Teasdale, Owen 2008, Sundet i in. 2004). Przyczyny efektu Flynna w przeszłości — oraz to, czy i w jakim stopniu jest on odbiciem rzeczywistego wzrostu inteligencji ogólnej, a w jakim stopniu większej sprawności w rozwiązywaniu łamigłówek występujących w testach IQ — były przedmiotem szerokiej debaty i nadal nie są znane. Nawet jeśli efekt Flynna (przynajmniej częściowo) jest odbiciem faktycznego wzrostu zdolności poznawczych i nawet jeśli ten efekt obecnie słabnie lub wręcz się odwraca, to nie dowodzi to jeszcze, że dotarliśmy do punktu, w którym przyrosty krańcowe zaczynają spadać (niezależnie od przyczyn warunkujących wystąpienie efektu Flynna w przeszłości). Spowolnienie przyrostów lub wystąpienie spadków może wynikać z jakiegoś niezależnego, szkodliwego czynnika, który w innych okolicznościach doprowadziłby do jeszcze wyższego obserwowalnego spadku IQ w populacji.

[4] Bostrom, Roache (2011).

[5] Somatyczna terapia genowa mogłaby wyeliminować opóźnienie związane z dojrzewaniem, ale technicznie sprawia ona znacznie więcej problemów niż manipulacje na poziomie embrionalnym i ma ostatecznie niższy potencjał.

[6] Średnioroczny globalny wzrost produktywności gospodarczej w latach 1960 – 2000 wyniósł 4,3% (Isaksson 2007). Tylko część tego wzrostu produktywności wynika ze zwiększonej sprawności organizacyjnej. Oczywiście niektóre sieci i procesy organizacyjne mogą być znacznie szybciej doskonalone.

[7] Ewolucja biologicznego mózgu była przedmiotem wielu ograniczeń i relacji wymiennych, które zostają w dużej mierze wyeliminowane, gdy umysł przenoszony jest do ośrodka cyfrowego. Dla przykładu: rozmiary mózgu ogranicza wielkość głowy, a zbyt duża głowa z trudem przeciska się przez kanał rodny. Wielki mózg pożera również ogrom zasobów metabolicznych i jest ogromnym ciężarem utrudniającym poruszanie się. Łączność poszczególnych regionów mózgu może być ograniczona przeszkodami przestrzennymi — objętość istoty białej jest znacznie większa niż objętość istoty szarej, której poszczególne obszary istota biała łączy. Rozpraszanie ciepła ograniczone jest przepływem krwi i może być bliskie górnej granicy, nadal zapewniając akceptowalne funkcjonowanie. Ponadto neurony biologiczne generują szum, są powolne i potrzebują ciągłej ochrony, utrzymania i odżywiania przez komórki glejowe i naczynia krwionośne (robiące w czaszce jeszcze większy tłok). Patrz: Bostrom, Sandberg (2009b).

[8] Yudkowsky (2008a, 326). Bardziej aktualne omówienie patrz: Yudkowsky (2013).

[9] Wykres pokazuje zdolności poznawcze jako jednowymiarowy parametr, by zachować prostotę obrazowania. Nie ma to jednak kluczowego znaczenia dla postawionej tutaj tezy. Można, przykładowo, zaprezentować profil zdolności poznawczych jako hiperpowierzchnię w przestrzeni wielowymiarowej.

[10] Lin i in. (2012).

[11] Otrzymujemy pewne zwiększenie inteligencji zbiorowej, po prostu zwiększając liczbę tworzących ją umysłów. Takie postępowanie powinno nam umożliwić przynajmniej osiągnięcie lepszych wyników w wykonywaniu zadań, które łatwo można zrównoleglić. Aby jednak uzyskać pełnię korzyści płynących z takiej eksplozji populacji, musielibyśmy również osiągnąć pewien (wyższy od minimalnego) poziom koordynacji umysłów tworzących tę inteligencję zbiorową.

[12] W przypadku nieneuromorficznych systemów SI rozróżnienie pomiędzy szybkością a jakością inteligencji jest tak czy inaczej nieostre.

[13] Rajab i in. (2006, 41 – 52).

[14] Wysunięto przypuszczenie, że zastosowanie programowalnych cyfrowych układów logicznych FPGA w miejsce procesorów ogólnego zastosowania mogłoby zwiększyć prędkości obliczeniowe w symulacjach sieci neuronowych nawet stukrotnie (Markram 2006). Badanie modelowania klimatycznego wysokiej rozdzielczości za pomocą komputerów o wydajności rzędu PetaFLOPS pozwoliło stwierdzić, że koszty można obniżyć 24 do 36 razy, a wymagania wydajnościowe mniej więcej stukrotnie przy wykorzystaniu specjalnie dostosowanych wersji wbudowanych procesorów (Wehner i in. 2008).

[15] Nordhaus (2007). Istnieje wiele przeglądów rozmaitych znaczeń prawa Moore’a, patrz na przykład: Tuomi (2002) i Mack (2011).

[16] Jeśli rozwój jest wystarczająco powolny, zespół projektowy może skorzystać z postępów dokonanych gdzieś na świecie, takich jak postępy w dziedzinie informatyki poczynione przez naukowców pracujących na uczelniach oraz udoskonalenia sprzętowe osiągnięte w branży produkcji półprzewodników.

[17] Nawis algorytmiczny jest może mniej prawdopodobny, ale wyjątek zaistniałby wówczas, gdyby pojawiła się możliwość skorzystania z egzotycznego sprzętu w rodzaju komputerów kwantowych, który umożliwiłby uruchomienie algorytmów wcześniej niewykonalnych. Można bronić tezy, że sieci neuronowe i głębokie uczenie się maszynowe są przypadkami nawisu algorytmicznego — kiedy je wymyślono, były zbyt kosztowne obliczeniowo, by dobrze działać, więc na jakiś czas zostały odłożone na półkę, lecz odkurzono je, gdy dzięki szybkim procesorom graficznym ich uruchomienie stało się niedrogie. Teraz wygrywają konkursy.

[18] I to nawet, gdyby postęp na drodze wiodącej ku inteligencji na poziomie człowieka był powolny.

[19] Dokonano kilku ostrożnych prób opracowania koncepcji eksplozji inteligencji w ramach teorii wzrostu gospodarczego, patrz na przykład: Hanson (1998b), Jones (2009), Salamon (2009). Te badania wskazywały na możliwość niezwykle raptownego wzrostu po uzyskaniu umysłów cyfrowych, lecz ponieważ endogenna teoria wzrostu jest stosunkowo słabo opracowana nawet w zastosowaniach historycznych i porównawczych, każde zastosowanie w odniesieniu do prawdopodobnie nieciągłej przyszłości lepiej uznać na tym etapie raczej za źródło hipotetycznie przydatnych koncepcji i spostrzeżeń niż ćwiczenie, które mogłoby nam dostarczyć wiarygodnych prognoz. Przegląd prób matematycznego zamodelowania technologicznej osobliwości patrz: Sandberg (2010).

[20]

jest tą częścią siły optymalizacyjnej świata stosowanej w celu udoskonalenia rzeczonego systemu. Przy projekcie działającym w całkowitej izolacji, który nie otrzymuje żadnego znaczącego bieżącego wsparcia ze strony świata zewnętrznego, otrzymujemy

≈ 0, chociaż projekt u swego zarania musiał zostać wyposażony w pewne zasoby (komputery, hipotezy i twierdzenia naukowe, wykształcony personel i tak dalej) wypracowane przez gospodarkę światową i całe stulecia rozwoju cywilizacyjnego.

[21] Najistotniejszą zdolnością poznawczą zalążkowej SI jest tutaj jej zdolność do wykonywania pracy polegającej na inteligentnym projektowaniu w celu udoskonalenia samej siebie, to jest: jej zdolność do potęgowania własnej inteligencji. (Jeśli zalążkowa SI dobrze sobie radzi z usprawnianiem innego systemu, który z kolei dobrze sobie radzi z usprawnianiem zalążkowej SI, wówczas można spojrzeć na to jako na podsystem większego systemu i skoncentrować analizę na większej całości).

[22] To zakłada brak informacji o tak wysokiej oporności systemu, która mogłaby całkowicie zniechęcić do inwestowania sił i środków w projekt lub skierować je do wykorzystania w jakimś innym projekcie.

[23] Podobne przykłady omawiane są w Yudkowsky (2008b).

[24] Ponieważ nakłady wzrosły (na przykład sumy zainwestowane w budowę nowych odlewni oraz liczba osób pracujących w sektorze produkcji półprzewodników), samo prawo Moore’a nie dałoby w efekcie tak raptownych wzrostów, gdybyśmy wprowadzili poprawkę o ten wzrost nakładów. W połączeniu jednak z postępem w dziedzinie oprogramowania 18-miesięczny czas podwojenia wydajności na jednostkę nakładu może być bardziej historycznie wiarygodny.

[25] Oczywiście, istnieje również możliwość, że w ogóle nie będzie żadnego odejścia. Ale ponieważ, jak dowiedziono wcześniej, superinteligencja wydaje się technicznie możliwa, niezaistnienie odejścia wynikłoby prawdopodobnie z wystąpienia jakiegoś udaremniającego dalszy rozwój wypadków zdarzenia w rodzaju zagłady gatunku ludzkiego. Gdyby silna superinteligencja nie pojawiła się w postaci sztucznej inteligencji ani emulacji mózgu, lecz zgodnie z jednym ze scenariuszy rozważanych wcześniej, wówczas bardziej prawdopodobne byłoby odejście powolne.

Rozdział 5. Decydująca przewaga strategiczna

[1] Myślący program mógłby działać na pojedynczej maszynie (w odróżnieniu od światowej sieci komputerowej), lecz nie to mamy na myśli, mówiąc o koncentracji władzy; interesuje nas skala, w jakiej władza — zwłaszcza władza, której źródłem są zdolności techniczne — skoncentruje się w zaawansowanej fazie rewolucji myślących maszyn lub tuż po jej zakończeniu.

[2] Przykładowo dyfuzja technologiczna towarów konsumpcyjnych jest zwykle wolniejsza w krajach rozwijających się (Talukdar i in. 2002). Patrz również: Keller (2004) i The World Bank (2008).

[3] Literatura ekonomiczna zajmująca się teorią firmy jest w obecnej dyskusji istotnym punktem odniesienia. Locus classicus w Coase (1937). Patrz również na przykład: Canbäck i in. (2006), Milgrom, Roberts (1990), Hart (2008), Simester, Knez (2002).

[4] Z drugiej strony może być szczególnie łatwo ukraść zalążkową SI, gdyż składa się na nią oprogramowanie, które może być przekazywane drogą elektroniczną lub przenoszone w pamięci przenośnej.

[5] Jeśli zamodelujemy tę sytuację w taki sposób, że dystans dzielący konkurencyjne projekty będzie wynikał z rozkładu normalnego, wówczas przypuszczalny dystans dzielący projekt wiodący oraz jego najbliższą konkurencję będzie zależał między innymi od tego, ile jest łącznie projektów. Przy dużej liczbie projektów dystans dzielący dwa pierwsze będzie prawdopodobnie niewielki, nawet jeśli wariancja rozkładu jest dość wysoka (chociaż oczekiwana przepaść dzieląca pierwszy i drugi projekt zmniejsza się bardzo powoli wraz z liczbą konkurentów, jeśli czasy ukończenia projektów mają rozkład normalny). Jednak jest mało prawdopodobne, że duża liczba projektów będzie dysponować tak dużymi zasobami, by odegrać znaczącą rolę (Znaczna liczba projektów może pojawić się wówczas, gdy istnieje znaczna liczba odmiennych podejść do realizacji zadania, ale w tym przypadku prawdopodobnie wiele z tych podejść zaprowadzi zespoły projektowe w ślepy zaułek). Badania empiryczne zdają się potwierdzać, że zwykle nie więcej niż garść poważnych konkurentów dąży do realizacji dowolnie określonego celu technicznego. Sytuacja jest nieco odmienna na rynku dóbr konsumpcyjnych, gdzie istnieje wiele nisz dla lekko różniących się produktów i gdzie bariery wejścia są niskie. Mnóstwo jednoosobowych firm projektuje nadruki na T-shirty, lecz tylko kilka przedsiębiorstw na całym świecie pracuje nad rozwojem następnej generacji kart graficznych. (Dwie firmy, AMD i NVIDIA, cieszą się w tym momencie niemal duopolem, chociaż Intel również konkuruje w segmencie mniej wydajnych produktów).

[6] Barber (1991) sugeruje, że jedwab mógł być wykorzystywany przez kulturę Yangshao (5000 – 3000 r. p.n.e.). Sun i in. (2012) na podstawie badań genetycznych szacuje, że do udomowienia jedwabników doszło około 4100 lat temu.

[7] Cook (1984, 144). Cała ta historia wydaje się brzmieć zbyt anegdotycznie, by mogła przejść pomyślnie test wiarygodności historycznej, przypominając raczej historię opisaną przez Prokopiusza z Cezarei (Historia wojen, t. 2, ks. VIII), jak to jedwabniki zostały rzekomo przywiezione do Bizancjum przez wędrownych mnichów, ukryte w pustych kijach bambusowych (Hunt 2011).

[8] Wood (2007), Temple (1986).

[9] Kultury prekolumbijskie posługiwały się kołem, lecz używały go tylko do zabawy (być może ze względu na brak dobrych zwierząt pociągowych).

[10] Koubi (1999), Lerner (1997), Koubi, Lalman (2007), Zeira (2011), Judd i in. (2012).

[11] RDS-6 w 1953 roku było pierwszym testem bomby wywołującej eksplozję termojądrową, ale RDS-37 w 1955 roku była pierwszą „prawdziwą” bombą termojądrową, której większość mocy pochodziła z reakcji termojądrowej.

[12] Niepotwierdzone.

[13] Testy w 1989 roku, projekt przerwano w 1994 roku.

[14] Rozlokowany system osiągający zasięg ponad 5000 km.

[15] Pociski Polaris zakupione od Stanów Zjednoczonych.

[16] Obecnie trwają prace nad pociskiem Taimur prawdopodobnie opartym na pociskach chińskich.

[17] Rakieta RSA-3 testowana w latach 1989 – 1990 miała w zamierzeniu służyć do wynoszenia satelitów na orbitę i/lub jako międzykontynentalna rakieta balistyczna.

[18] MIRV = multiple independently targetable reentry vehicle, jedna z kilku głowic pojedynczego pocisku balistycznego, która może zostać zaprogramowana do trafienia w inny cel.

[19] Pociski Agni V zaczęły być wykorzystywane w 2014 roku.

[20] Szacunki na bazie rozmaitych źródeł. Dystans czasowy jest często nieco arbitralny, zależnie od tego, jak definiowane są możliwości „równoważne”. Radar w ciągu kilku lat od jego wprowadzenia wykorzystywany był przez przynajmniej dwa kraje, ale trudno jest natrafić na dane w miesiącach.

[21] Ellis (1999).

[22] Bostrom (2006c). Można sobie wyobrazić singleton, którego istnienie jest niewidoczne (na przykład superinteligencję dysponującą tak zaawansowaną techniką lub wiedzą, że mogłaby niezauważenie sterować rozgrywającymi się na świecie wydarzeniami, utrzymując ludzi w całkowitej nieświadomości swoich działań), lub też singleton, który dobrowolnie nakłada sobie bardzo silne ograniczenia wykorzystywania własnej potęgi (na przykład skrupulatnie ogranicza się do zapewnienia, by określone prawa międzynarodowe zagwarantowane traktatami — lub prawami wolnościowymi — były szanowane). Prawdopodobieństwo powstania konkretnego rodzaju singletonu jest oczywiście kwestią empiryczną, ale przynajmniej teoretycznie możliwe jest zaistnienie dobrego singletonu, złego singletonu, niesfornie różnorodnego singletonu, mdło jednorodnego singletonu, singletonu opresywnego lub singletonu bardziej przypominającego dodatkowe prawo natury niż wydzierającego się despotę.

[23] Jones (1985, 344).

[24] Znaczące może być to, że projekt Manhattan został przeprowadzony w czasie wojny. Wielu uczestniczących w nim naukowców twierdziło, że kierowały nimi pobudki wynikające z toczącej się wojny i obaw, że nazistowskie Niemcy mogą wynaleźć broń atomową przed aliantami. Wielu rządom mogłoby być trudno zmobilizować ludzi do podjęcia podobnie intensywnego i jednocześnie utajnionego wysiłku w czasach pokoju. Program Apollo, kolejny ikoniczny megaprojekt naukowo-inżynieryjny, został w dużej mierze napędzony toczącą się rywalizacją zimnowojenną.

[25] Choć nie jest jasne, czy gdyby rzeczywiście zacięcie szukali, to właśnie na to by wyglądało (publicznie).

[26] Techniki kryptograficzne mogłyby umożliwić współpracującemu zespołowi pracę w fizycznym rozproszeniu. Jedynym słabym ogniwem w łańcuchu komunikacyjnym mogłaby być faza wprowadzania danych wejściowych, kiedy to fizyczny akt ich wpisywania mógłby zostać potencjalnie poddany obserwacji. Gdyby jednak inwigilacja w budynkach stała się powszechna (dzięki mikroskopijnym urządzeniom nagrywającym), ci, którzy chcieliby chronić swoją prywatność, mogliby opracować środki zaradcze (na przykład specjalne kabiny, które mogłyby zostać szczelnie zamknięte, uniemożliwiając pracę potencjalnych urządzeń podsłuchowych). O ile przestrzeń fizyczna mogłaby stać się transparentna w nadchodzącej epoce inwigilacji, o tyle cyberprzestrzeń mogłaby stać się bardziej chroniona dzięki szerszemu upowszechnieniu silnych protokołów szyfrujących.

[27] Państwo totalitarne mogłoby odwołać się do środków jeszcze większego przymusu. Naukowcy pracujący w istotnych dziedzinach mogliby zostać porwani i osadzeni w obozach pracy podobnych do „wiosek akademickich” w stalinowskim Związku Radzieckim.

[28] Kiedy poziom obaw w społeczeństwie jest stosunkowo niski, niektórzy naukowcy mogą przyjąć z zadowoleniem lekkie ich podsycanie, bo kieruje to uwagę na ich pracę i sprawia, że dziedzina, w której się specjalizują, wydaje się istotniejsza i bardziej podniecająca. Kiedy poziom obaw się podniesie, istotne społeczności badaczy mogą zmienić ton wypowiedzi ze względu na rosnące wśród nich obawy przed obcięciem nakładów, wzrostem regulacji prawnych i wybuchem gwałtownych protestów społecznych. Naukowcy aktywni w dziedzinach pokrewnych — takich jak te fragmenty robotyki i informatyki, które nie są szczególnie istotne dla rozwoju sztucznej inteligencji ogólnej — mogą się oburzyć odpływem środków i zainteresowania dotykającym ich własne dziedziny badawcze; ci naukowcy mogą również słusznie zauważyć, że ich praca nie pociąga za sobą ryzyka doprowadzenia do jakiejś tam niebezpiecznej eksplozji inteligencji. (Można zbudować pewne analogie do historycznej kariery koncepcji nanotechnologii, patrz: Drexler [2013]).

[29] Zakończyły się one powodzeniem w tym znaczeniu, że udało im się osiągnąć przynajmniej część zamierzonych celów. Trudniej jest określić ich sukces w szerszym zakresie (biorąc pod uwagę efektywność kosztową i tak dalej). W przypadku Międzynarodowej Stacji Kosmicznej doszło do znacznego przekroczenia budżetu i sporych opóźnień. Szczegóły problemów napotkanych w trakcie tego przedsięwzięcia patrz: NASA (2013). Wielki Zderzacz Hadronów miał kilka poważnych niepowodzeń, lecz mogły one wynikać z trudności związanych nieodłącznie z osiągnięciem stawianych mu celów. Human Genome Project zakończył się ostatecznie sukcesem, lecz wydaje się, że impulsem do przyspieszenia prac była konieczność konkurowania z przedsięwzięciem prywatnej korporacji Craiga Ventera. Projekty sponsorowane w ramach współpracy międzynarodowej, których celem było osiągnięcie kontrolowanej reakcji termojądrowej, nie spełniły pokładanych w nich nadziei mimo potężnych inwestycji. Lecz znów można to przypisać nadspodziewanej trudności zadania.

[30] US Congress, Office of Technology Assessment (1995).

[31] Hoffman (2009), Rhodes (2008).

[32] Rhodes (1986).

[33] Grupa OP-20-G zajmująca się analizą kryptograficzną w strukturach amerykańskiej marynarki wojennej najwyraźniej zignorowała zaproszenie do zdobycia pełnej wiedzy na temat brytyjskich metod łamania kodu Enigmy i nie poinformowała amerykańskich decydentów wyższych szczebli o ofercie udostępnienia brytyjskich sekretów kryptograficznych (Burke 2001). Z tego względu amerykańscy przywódcy odnieśli wrażenie, że Wielka Brytania ukrywa istotne informacje, co stało się źródłem napięć w trakcie wojny. Wielka Brytania rzeczywiście przekazała Związkowi Radzieckiemu część informacji wywiadowczych, które zgromadziła dzięki rozszyfrowaniu niemieckich transmisji. W szczególności Związek Radziecki został ostrzeżony o niemieckich przygotowaniach do operacji Barbarossa. Stalin nie dał jednak wiary ostrzeżeniom, częściowo z względu na to, że Wielka Brytania nie ujawniła, w jaki sposób uzyskała te informacje.

[34] Przez kilka lat Russell wydawał się rzecznikiem wysunięcia groźby konfliktu nuklearnego, by przekonać Związek Radziecki do zaakceptowania planu Barucha. Później był zdecydowanym rzecznikiem obustronnego rozbrojenia nuklearnego (Russell, Griffin 2001). Podobno John von Neumann wierzył, że wojna pomiędzy Stanami Zjednoczonymi a Związkiem Radzieckim jest nieunikniona, i powiedział: „Jeśli mówicie czemużby nie zbombardować ich [Rosjan] jutro, to ja pytam, czemużby nie zbombardować ich dziś? Jeśli mówicie dziś o piątej, ja pytam, czemu nie o pierwszej?”. (Możliwe, że wygłosił to słynne zdanie, by podkreślić swoją antykomunistyczną postawę wobec jastrzębi z amerykańskiego ministerstwa obrony w erze makkartyzmu. Nie sposób stwierdzić, czy gdyby von Neumann stał na czele polityki amerykańskiej, rzeczywiście wystrzeliłby pierwszą rakietę. Patrz: Blair [1957, 96]).

[35] Baratta (2004).

[36] Jeśli SI będzie kontrolowana przez grupę ludzi, problem może się odnosić do tej grupy ludzi, choć możliwe, że do tego czasu będą już dostępne nowe metody składania wiarygodnych deklaracji gotowości zawarcia umowy i wówczas nawet grupa ludzi mogłaby uniknąć problemów związanych z potencjalnym sabotażem osób z wewnątrz i możliwym przewrotem zainicjowanym przez jedno z pomniejszych stronnictw.

Rozdział 6. Poznawcze supermoce

[1] W jakim znaczeniu ludzkość jest dominującym gatunkiem na Ziemi? Z perspektywy ekologicznej ludzie są najpowszechniej występującymi dużymi (~50 kg) zwierzętami, ale łączna waga suchej biomasy ludzi (~100 miliardów kg) nie jest tak znów imponująca w porównaniu z wagą mrówek, rodzina Formicidae (300 – 3000 miliardów kg). Ludzie i wykorzystywane przez nie zwierzęta stanowią bardzo niewielką część (<0,001) całkowitej globalnej biomasy, jednak pola i pastwiska stanowią obecnie jeden z największych ekosystemów planety, pokrywając około 35% niepokrytej lodem powierzchni Ziemi (Foley i in. 2007). Szacuje się zwykle, że przywłaszczamy sobie niemal czwartą część produkcji pierwotnej netto (Haberl i in. 2007), choć szacunki wahają się od 3 do ponad 50%, co uzależnione jest głównie od odmiennych definicji istotnych terminów (Haberl i in. 2013). To właśnie ludzie spośród wszystkich gatunków zwierząt zasiedlili największy obszar geograficzny i to oni stoją na szczycie największej liczby rozmaitych łańcuchów pokarmowych.

[2] Zalasiewicz i in. (2008).

[3] Patrz: pierwszy przypis do tego rozdziału.

[4] Ujmując rzecz precyzyjnie, nie musi być to całkowicie poprawne. Inteligencja niektórych przedstawicieli gatunku ludzkiego może sięgać niemal zera (jak w przypadku embrionów lub pacjentów w stanie wegetatywnym). W kategoriach jakościowych maksymalne zróżnicowanie zdolności poznawczych w ramach gatunku ludzkiego jest z tego względu być może większe niż różnica dzieląca dowolnego człowieka i byt superinteligentny. Teza postawiona w tekście daje się jednak obronić, jeśli zinterpretujemy „ludzi” jako „normalnie funkcjonujących dorosłych”.

[5] Gottfredson (2002). Patrz również: Carroll (1993) i Deary (2001).

[6] Patrz: Legg (2008). Z grubsza rzecz biorąc, Legg proponuje mierzyć byt uczący się ze wzmocnieniem jako jego oczekiwaną wydajność we wszystkich środowiskach, w których nagrody się sumują, przy czym każdemu takiemu środowisku nadawana jest waga określona jego złożonością Kołmogorowa. W rozdziale 12. wyjaśnimy, co mamy na myśli pod pojęciem uczenia się ze wzmocnieniem. Patrz również: Dowe, Hernández-Orallo (2012) i Hibbard (2011).

[7] W przypadku badań technologicznych w dziedzinach takich jak biotechnologia i nanotechnologia superinteligencja przodowałaby w projektowaniu i modelowaniu nowych struktur. W stopniu, w jakim pomysłowość i modelowanie projektu nie mogą zastąpić doświadczeń fizycznych, przewagę wydajnościową superinteligencji mógłby ograniczać stopień jej dostępu do wymaganej aparatury doświadczalnej.

[8] Na przykład Drexler (1992, 2013).

[9] Wąsko dziedzinowa SI mogłaby oczywiście mieć znaczące zastosowania komercyjne, ale to nie oznacza, że miałaby supermoc produktywności gospodarczej. Dla przykładu: nawet gdyby wąsko dziedzinowa SI zarabiała dla swoich właścicieli kilka miliardów dolarów rocznie, nadal byłaby to suma dziesięć tysięcy razy mniejsza niż pozostała część gospodarki światowej. Aby system mógł znacząco i bezpośrednio zwiększyć produkt światowy brutto, SI musiałaby być zdolna do wykonywania wielu rodzajów pracy, a zatem potrzebowałaby kompetencji w wielu dziedzinach.

[10] To kryterium nie wyklucza wszystkich scenariuszy, w których SI nie odnosi sukcesu. Dla przykładu: SI może, kierując się racjonalnymi pobudkami, podjąć ryzyko przy dużym prawdopodobieństwie porażki. W tym przypadku jednakże kryterium mogłoby przybrać następującą formę: (a) SI powinna dokonać obiektywnego oszacowania niskich szans powodzenia danego ryzykownego posunięcia; (b) SI nie powinna mieć możliwości wykonania żadnego lepszego posunięcia od tego, które my, jako ludzie współcześni, jesteśmy w stanie dostrzec, lecz SI przeocza.

[11] Por. Freitas (2000), Vassar, Freitas (2006).

[12] Yudkowsky (2008a).

[13] Freitas (1980), Freitas, Merkle (2004, rozdz. 3), Armstrong, Sandberg (2013).

[14] Patrz na przykład: Huffman, Ples (2003), Knill i in. (2000), Drexler (1986).

[15] Szacunek ten opiera się na pomiarach dokonanych przez sondę WMAP, zgodnie z którymi średnia gęstość materii barionowej we wszechświecie wynosi 9,9×10-30g/cm^3. Ten szacunek zakłada jednocześnie, że 90% masy to międzygalaktyczny gaz, jakieś 15% masy galaktycznej to gwiazdy (około 80% materii barionowej), i że przeciętna gwiazda waży 0,7 masy Słońca (Read, Trentham 2005, Carroll, Ostlie 2007).

[16] Armstrong, Sandberg (2013).

[17] Nawet przy 100% c (nieosiągalnej dla obiektów o niezerowej masie spoczynkowej) liczba galaktyk, do których można dotrzeć, wynosi zaledwie około 6×10^9 (por. Gott i in. [2005] i Heyl [2005]). Zakładamy, że nasze współczesne rozumienie istotnych reguł fizyki jest prawidłowe. Trudno osiągnąć całkowitą pewność co do jakiegokolwiek ograniczenia górnego, ponieważ można sobie przynajmniej wyobrazić, że superinteligentna cywilizacja rozciągnie swój zasięg w sposób, który uznajemy za fizycznie niemożliwy (przykładowo: budując maszyny czasu, dając początek nowym, rozszerzalnym wszechświatom lub jakąś inną, niewyobrażalną jeszcze metodą).

[18] Liczba nadających się do zamieszkania planet przypadających na jedną gwiazdę jest obecnie nieustalona, a więc są to jedynie przybliżone szacunki. Traub (2012) przewiduje, że jedna trzecia gwiazd typów widmowych F, G lub K ma przynajmniej jedną planetę zbliżoną do Ziemi w strefie nadającej się do zamieszkania, patrz również: Clavin (2012). Gwiazdy FGK stanowią około 22,7% gwiazd w sąsiedztwie Układu Słonecznego, co sugeruje, że 7,6% gwiazd ma potencjalnie odpowiednie planety. W dodatku mogą istnieć nadające się do zamieszkania planety wokół liczniejszych gwiazd M (Gilster 2012). Patrz również: Robles i in. (2008).

Nie byłoby konieczności poddawania ludzkich ciał trudom podróży międzygalaktycznych. Proces kolonizacji mógłby być nadzorowany przez SI. Homo sapiens mógłby zostać zabrany w postaci informacji, którą SI mogłaby później wykorzystać, by stworzyć przedstawicieli naszego gatunku. Dla przykładu: informacja genetyczna mogłaby zostać sztucznie umieszczona w DNA, a pierwsze pokolenie ludzi mogłoby zostać wyinkubowane, wychowane i wykształcone przez opiekunów SI w antropomorficznym przebraniu.

[19] O’Neill (1974).

[20] Dyson (1960) utrzymuje, że zaczerpnął podstawową koncepcję od pisarza SF Olafa Stapledona (1937), który z kolei mógł zostać zainspirowany podobnymi przemyśleniami J.D. Bernala (Dyson 1979, 211).

[21] Zgodnie z zasadą Landauera istnieje minimalna ilość energii potrzebna do zmiany jednego bitu informacji, znana jako granica Landauera, która wynosi kTln 2, gdzie k to stała Boltzmanna (1,38×10-23 J/K), a T to temperatura. Jeśli założymy, że układ scalony jest utrzymywany w temperaturze na poziomie 27°C, wówczas 10^26 watów pozwala nam wymazać mniej więcej 10^47 bitów na sekundę. (Osiągalna sprawność nanomechanicznych urządzeń obliczeniowych, patrz: Drexler [1992]. Patrz również: Bradbury [1999], Sandberg [1999], Ćirković [2004]. Podstawy zasady Landauera są nadal kwestią budzącą pewne spory, patrz na przykład: Norton [2011]).

[22] Gwiazdy różnią się pod względem wydatku mocy, ale Słońce jest dość typową gwiazdą ciągu głównego.

[23] Bardziej szczegółowa analiza może uwzględniać bardziej precyzyjnie, jakiego rodzaju obliczeniami jesteśmy zainteresowani. Liczba obliczeń sekwencyjnych, które mogą zostać wykonane, jest dość ograniczona, ponieważ szybki komputer szeregowy musi być mały, by zminimalizować opóźnienia w komunikacji między elementami, z których jest złożony. Istnieją również ograniczenia liczby bitów, które mogą zostać zapisane, i — jak się przekonaliśmy — liczby nieodwracalnych kroków obliczeniowych (polegających na wymazywaniu informacji), które mogą zostać wykonane.

[24] Chcemy przez to powiedzieć, że odległość byłaby mała według jakichś miar „naturalnych”, takich jak logarytm wielkości populacji, która mogłaby być trwale utrzymywana na poziomie zaspokojenia podstawowych potrzeb przy określonym poziomie możliwości, gdyby wszystkie zasoby przeznaczono na ten właśnie cel.

[25] Zakładamy tutaj, że nie istnieją żadne cywilizacje pozaziemskie, który mogłyby temu przeszkodzić. Zakładamy również, że hipoteza symulacji jest fałszywa. Patrz: Bostrom (2003a). Jeśli którekolwiek z tych założeń jest nieprawidłowe, możemy mieć do czynienia z istotnymi zagrożeniami nieantropogenicznymi — takimi, które polegają na nieludzkim inteligentnym sprawstwie. Patrz również: Bostrom (2003b, 2009c).

[26] Mądry singleton, który zrozumiał koncepcję ewolucji, mógłby z zasady zapoczątkować program eugeniczny, dzięki któremu podnosiłby powoli poziom swojej inteligencji zbiorowej.

[27] Tetlock, Belkin (1996).

[28] Dla jasności: kolonizacja i przekształcenie dużej części dostępnego Wszechświata nie znajduje się obecnie w naszym bezpośrednim zasięgu. Kolonizacja międzygalaktyczna dalece wykracza poza możliwości współczesnej technologii. Chodzi o to, że bylibyśmy w stanie z zasady wykorzystać nasze obecne możliwości, by rozwinąć dodatkowy potencjał, który byłby konieczny, umieszczając w ten sposób te osiągnięcia w naszym zasięgu pośrednim. Jest oczywiście również prawdą, że ludzkość nie jest obecnie singletonem i że nie wiemy, czy nigdy nie staniemy wobec inteligentnego sprzeciwu jakiejś zewnętrznej siły, jeśli zaczniemy przekształcać dostępny nam Wszechświat. Aby jednak osiągnąć próg przeżywalności mądrego singletonu, wystarczyłoby posiadanie takiego zestawu możliwości, że gdyby mądry singleton niespotykający się z żadnym inteligentnym sprzeciwem miał ten właśnie zestaw możliwości, to wówczas kolonizacja i przekształcenie dużej części dostępnego Wszechświata znalazłyby się w naszym pośrednim zasięgu.

[29] Czasem użyteczne może być mówienie o dwóch SI tak, jakby każda z nich posiadała daną supermoc. W szerokim znaczeniu tego słowa można sobie zatem wyobrazić supermoc jako coś, co sprawca ma w odniesieniu do jakiegoś pola działania — w tym przykładzie być może pole, które obejmuje wszystkie ludzkie cywilizacje, ale wyklucza inne SI.

Rozdział 7. Pobudki superinteligencji

[1] Nie zaprzecza to oczywiście temu, że różnice, które wizualnie wydają się niewielkie, mogą być ogromne pod względem funkcjonalnym.

[2] Yudkowsky (2008a, 310).

[3] David Hume, szkocki filozof oświeceniowy, uznał, że same przekonania moralne (dotyczące, powiedzmy, tego, co jest czynem dobrym) nie wystarczą jako pobudka działania — potrzebne jest jeszcze pragnienie. Wspierałoby to tezę ortogonalności poprzez zakwestionowanie jednego z możliwych wobec niej zarzutów, a mianowicie, że wystarczająca inteligencja może implikować nabieranie pewnych przekonań, które później siłą rzeczy rodzą pewne pobudki. Jednakże chociaż teza ortogonalności może się podeprzeć teorią motywacji Hume’a, wcale jej nie wymaga. W szczególności nie ma potrzeby utrzymywać, że same przekonania moralne w żadnych okolicznościach nie są w stanie doprowadzić ich wyznawcy do działania. Wystarczyłoby założyć na przykład, że byt obdarzony mocą sprawczą — niech będzie najinteligentniejszy — może motywować dążenie do dowolnego działania, jeśli akurat ma on pewne pragnienia o wystarczającej, nadrzędnej sile. Inną sytuacją, w której teza ortogonalności mogłaby być prawdziwa, nawet gdyby teoria motywacji Hume’a była fałszywa, jest przypadek, w którym dowolnie wysoka inteligencja nie implikuje nabierania jakichkolwiek przekonań, które są (domyślnie) motywujące same z siebie. Trzecią sytuacją, w której teza ortogonalności mogłaby być prawdziwa, nawet gdyby teoria Hume’a była fałszywa, jest ta, w której byłoby możliwe zbudowanie sprawcy (lub bardziej neutralnie: „procesu optymalizacyjnego”) o dowolnie wysokiej inteligencji, ale o konstytucji tak nam obcej, by nie zawierała żadnych oczywistych analogii funkcjonalnych do tego, co ludzie mogą określać mianem „przekonań moralnych” albo „pragnień”. (Kilka niedawnych prób obrony teorii motywacji Hume’a patrz: Smith [1987], Lewis [1988], Sinhababu [2009]).

[4] Dla przykładu: Derek Parfit dowodził, że pewne podstawowe preferencje mogłyby być irracjonalne, takie jak choćby preferencje pod innymi względami normalnego sprawcy, który cierpi na „Obojętność-w-stosunku-do-przyszłego-wtorku”.

Pewien hedonista bardzo się przejmuje jakością swoich przyszłych doświadczeń. Przejmuje się wszystkimi fragmentami swojej przyszłości w równym stopniu — z jednym wyjątkiem, którym jest obojętność wobec przyszłego wtorku. W każdy wtorek przez cały dzień normalnie przejmuje się tym, co mu się zdarza. W najmniejszym jednak stopniu nie obchodzą go cierpienia i przyjemności przyszłego wtorku. (…) Ta obojętność jest nagim faktem. Kiedy planuje swoją przyszłość, jest po prostu prawdą, że nieodmiennie woli perspektywę ogromnego cierpienia we wtorek niż najlżejszy ból każdego innego dnia (Parfit [1986, 123 – 124], patrz również: Parfit [2011]).

Dla naszych celów nie musimy zajmować stanowiska w kwestii tego, czy Parfit ma rację, że sprawca jest nieracjonalny, jeśli tylko uznamy, że nie jest on koniecznie nieinteligentny w wyjaśnionym w tekście sensie instrumentalnym. Racjonalność instrumentalna sprawcy Parfita, a więc i jego wielka inteligencja, mogłyby być bez zarzutu, nawet gdyby zabrakło mu jakiegoś rodzaju wrażliwości na „obiektywną rozumność”, której moglibyśmy wymagać od w pełni racjonalnego sprawcy. A zatem tego rodzaju przykład nie zaprzecza tezie ortogonalności.

[5] Nawet jeśli istnieją obiektywne fakty moralne, które każdy w pełni racjonalny sprawca mógłby zrozumieć, i nawet gdyby te fakty moralne były w jakiś wewnętrzny sposób motywujące (tak, że każdy, kto by je w pełni zrozumiał, musiałby z konieczności postąpić w zgodzie z nimi), to nie musi to zaprzeczać tezie ortogonalności. Teza ta nadal mogłaby być prawdziwa, gdyby sprawcę mogła charakteryzować nienaganna racjonalność instrumentalna, choćby brakowało mu jakichś innych zdolności składających się na racjonalność właściwą albo jakichś zdolności wymaganych do pełnego zrozumienia obiektywnych faktów moralnych. (Sprawca mógłby być niezwykle inteligentny, nawet superinteligentny, nie mając pełnej racjonalności instrumentalnej w każdej dziedzinie).

[6] Więcej na temat tezy ortogonalności patrz: Bostrom (2012) i Armstrong (2013).

[7] Sandberg, Bostrom (2008).

[8] Stephen Omohundro napisał na ten temat dwa pionierskie artykuły (Omohundro 2007, 2008). Omohundro dowodzi, że wszystkie zaawansowane systemy SI będą prawdopodobnie przejawiać pewną liczbę „podstawowych popędów” — pod tym pojęciem rozumie „tendencje, które będą obecne, jeśli nie zostaną zdecydowanie i celowo stłumione”. Termin „popęd SI” ma tę zaletę, że jest krótki i sugestywny, lecz ma również wadę, sugerując, że cele instrumentalne, do których się odnosi, wpływają na podejmowanie decyzji przez SI w taki sam sposób, w jaki naturalne potrzeby psychologiczne wpływają na podejmowanie decyzji przez ludzi, czyli poprzez jakiś rodzaj fenomenologicznego szarpania naszego ego, któremu siłą woli od czasu do czasu zdolni jesteśmy się przeciwstawić. Te konotacje zaciemniają obraz sytuacji. Nikt by normalnie nie powiedział, że zwykły człowiek ma „popęd” do wypełnienia formularza deklaracji podatkowej, mimo że płacenie podatków może być stosunkowo konwergentnym celem instrumentalnym ludzi żyjących we współczesnych społeczeństwach (celem, którego osiągnięcie pozwala uniknąć kłopotów, które mogłyby uniemożliwić nam realizację wielu naszych celów ostatecznych). Nasze podejście różni się od podejścia Omohundro również pod pewnymi innymi znaczącymi względami, chociaż leżąca u jego podstaw idea jest taka sama. Patrz również: Chalmers [2010] i Omohundro [2012].

[9] Chislenko (1997).

[10] Patrz również: Shulman (2010b).

[11] Byt może również zmienić swój opis celu, gdy zmienia jego ontologię, aby ująć jego poprzedni opis w ramach nowej ontologii, por. de Blanc (2011).

Kolejnym rodzajem czynnika, który mógłby skłonić zwolennika dowodowej teorii decyzji do podjęcia rozmaitych działań, włącznie ze zmianą celów ostatecznych, jest znaczenie dowodowe podjęcia takiej decyzji. Dla przykładu: sprawca postępujący zgodnie z dowodową teorią decyzji może być przekonany, że we Wszechświecie istnieją inni podobni mu sprawcy i że jego własne działania staną się dowodem na to, w jaki sposób ci inni sprawcy mogliby postąpić. Sprawca może zatem podjąć decyzję o postawieniu sobie celu ostatecznego, który wyraża altruistyczne nastawienie do tych innych ewidentnie powiązanych z nim sprawców ze względu na to, że da mu to dowód, że ci inni sprawcy postanowiliby postąpić w analogiczny sposób w stosunku do niego. Jednakże równoważny wynik można byłoby uzyskać, nie zmieniając swoich celów ostatecznych, lecz podejmując w każdym przypadku decyzję, by działać tak, jak gdyby się miało takie właśnie cele ostateczne.

[12] Kształtowanie się preferencji adaptacyjnych bada rozległa literatura psychologiczna. Patrz na przykład: Forgas i in. (2010).

[13] W modelach formalnych wartość informacji ujęta jest ilościowo jako różnica pomiędzy oczekiwaną wartością uzyskaną dzięki optymalnym decyzjom podjętym za sprawą tej informacji a oczekiwaną wartością uzyskaną dzięki podjęciu optymalnych decyzji przy braku tej informacji (patrz na przykład: Russell, Norvig [2010]). Wynika z tego, że wartość informacji nigdy nie jest ujemna. Wynika z tego również, że każda informacja, co do której człowiek ma pewność, że nigdy w żaden sposób nie wpłynie na jakąkolwiek podejmowaną przez niego decyzję, ma dla niego zerową wartość. Taki model obwarowany jest jednak kilkoma idealnymi założeniami, które często nie obowiązują w prawdziwym świecie — jak choćby tym, że wiedza nie ma żadnej ostatecznej wartości (co oznacza, że wiedza ma wartość jedynie instrumentalną i nie jest cenna sama z siebie) oraz że sprawcy nie są przejrzyści dla innych sprawców.

[14] Na przykład Hájek (2009).

[15] Przykładem zastosowania tej strategii są larwy przejrzystek, które płyną tak długo, aż znajdą odpowiednią skałę, do której się trwale przyczepiają. Przyspojona w jednym miejscu larwa ma mniejszą potrzebę przetwarzania złożonych informacji, więc przystępuje do trawienia części własnych zwoi mózgowych. To samo zjawisko można dostrzec u niektórych naukowców, gdy otrzymają stałą posadę profesorską.

[16] Bostrom (2012).

[17] Bostrom (2006c).

[18] Można odwrócić to pytanie i przyjrzeć się dla odmiany możliwym powodom, dla których superinteligentny singleton miałby nie rozwijać pewnych możliwości technologicznych. Można wymienić następujące: (a) singleton przewiduje, że nie znajdzie żadnego zastosowania dla tych możliwości; (b) koszt rozwoju jest zbyt wysoki w stosunku do przewidywanej użyteczności (na przykład jeśli technologia nigdy nie będzie odpowiednia, by umożliwić singletonowi osiągnięcie jego celów, lub też jeśli singleton ma bardzo wysoką stopę dyskontową, która zdecydowanie zniechęca do inwestowania); (c) singleton ma pewien cel ostateczny, który wymaga powstrzymania się od podążania pewnymi ścieżkami rozwoju technicznego; (d) jeśli singleton nie jest pewien swojej trwałej stabilności, może preferować powstrzymanie się od rozwoju technologii, która mogłaby zagrozić jego wewnętrznej stabilności lub pogorszyłaby następstwa rozpadu (przykładowo: rząd światowy może nie chcieć rozwijać technologii, które umożliwią wzniecenie buntu, nawet jeśli miałyby one jakieś korzystne zastosowanie, ani technologii umożliwiających łatwą produkcję broni masowego rażenia, które mogłyby siać spustoszenie, gdyby rząd światowy uległ rozpadowi); (e) analogicznie singleton mógłby złożyć jakąś wiążącą deklarację strategiczną, że nie będzie rozwijał jakiejś technologii — deklarację, która pozostałaby w mocy, nawet gdyby obecnie technologię tę wygodnie byłoby rozwinąć. (Zauważmy jednak, że część obecnych powodów uzasadniających rozwój technologii nie odnosiłaby się do singletonu: przykładowo można podać powody wynikające z wyścigu zbrojeń).

[19] Załóżmy, że sprawca dyskontuje zasoby uzyskane w przyszłości w postępie wykładniczym i że z powodu ograniczenia prędkości światła sprawca może zwiększać swój kapitał zasobów jedynie w postępie wielomianowym. Czy to oznacza, że przyjdzie taki moment, w którym sprawca uzna, że dalsza zachłanna ekspansja nie ma sensu? Nie, ponieważ choć obecna wartość zasobów uzyskanych w przyszłości asymptotycznie zbiegałaby do zera, im dalej w przyszłość byśmy wybiegli, tak samo zachowywałby się obecny koszt ich pozyskania. Obecny koszt wysłania za sto milionów lat jednej dodatkowej sondy von Neumanna (być może wykorzystującej jakieś zasoby zdobyte niewiele wcześniej) zostałby zmniejszony o tę samą stopę dyskonta, która zmniejszałaby obecną wartość przyszłych zasobów pozyskanych przez dodatkową sondę (pomijając wpływ czynników stałych).

[20] O ile obszar zdobyty przez sondy kolonizacyjne w danym momencie mógłby mieć kształt z grubsza kulisty i powiększać się w tempie proporcjonalnym do kwadratu czasu, który upłynął od momentu wystrzelenia pierwszej sondy (~t^2), o tyle ilość zasobów znajdujących się w tym obszarze byłaby zgodna z mniej regularnym schematem wzrostu, ponieważ rozkład zasobów jest niejednorodny i różny w różnych skalach. W początkowym okresie kolonizacji planety wyjściowej tempo wzrostu może wynosić ~t^2; w miarę kolonizowania pobliskich planet i układów słonecznych wzrost może przybrać postać skokową; gdy zostanie skolonizowana mająca w przybliżeniu kształt dysku Droga Mleczna, krzywa wzrostu może ulec wygładzeniu i stać się mniej więcej proporcjonalna do t, a po rozpoczęciu kolonizacji pobliskich galaktyk tempo wzrostu znów może przybrać postać skokową; kiedy ekspansja będzie kontynuowana w skali, w której rozkład galaktyk jest mniej więcej homogeniczny, tempo wzrostu znów może zbliżyć się do ~t^2; potem nastąpi kolejny okres skokowego wzrostu, a po nim gładki wzrost ~t^2, kiedy to kolonizowane będą galaktyczne superklastry; w końcu tempo wzrostu zacznie spadać, osiągając ostatecznie zero, kiedy to prędkość rozszerzania się Wszechświata wzrośnie do tego stopnia, że dalsza kolonizacja stanie się niemożliwa.

[21] Spór o hipotezę symulacji może mieć w tym kontekście szczególne znaczenie. Superinteligentny sprawca może przypisać znaczne prawdopodobieństwo hipotezom, zgodnie z którymi żyje w komputerowej symulacji, a ciąg jego perceptów jest generowany przez inny superinteligentny byt, co z kolei może się przyczynić do powstania rozmaitych konwergentnych celów instrumentalnych, zależnie od przypuszczeń sprawcy co do tego, w jakiego rodzaju symulacji najprawdopodobniej się znajduje — por. Bostrom (2003a).

[22] Odkrycie podstawowych praw fizyki i innych fundamentalnych faktów dotyczących świata jest konwergentnym celem instrumentalnym. Możemy umieścić go tutaj w kategorii „podnoszenia poziomu zdolności poznawczych”, choć można go też wyprowadzić z celu „technicznej doskonałości” (gdyż odkrycie nowych zjawisk i praw fizyki może się przyczynić do powstania nowych technologii).

Rozdział 8. Czy czeka nas zagłada?

[1] Pewne dodatkowe zagrożenie egzystencjalne istnieje w scenariuszach, w których ludzkości udaje się przetrwać w jakimś dalekim od optimum stanie lub w których duża część naszego potencjału pożądanego rozwoju zostaje nieodwracalnie zniszczona. Na domiar złego mogą istnieć zagrożenia egzystencjalne zdolne doprowadzić do potencjalnej eksplozji inteligencji, wynikające na przykład z wojny pomiędzy krajami konkurującymi o to, który z nich jako pierwszy opracuje superinteligencję.

[2] Pojawia się tutaj istotny moment słabości, kiedy to SI zdaje sobie sprawę z potrzeby ukrywania się (zdarzenie to możemy określić mianem początku podstępu). To początkowe objawienie nie zostałoby samo w sobie celowo ukryte w chwili, w której by do niego doszło. Lecz w chwili, w której SI zdałaby sobie sprawę z potrzeby ukrywania się, mogłaby pospiesznie ukryć fakt, że doszło do takiego uświadomienia, uruchamiając jakieś potajemne wewnętrzne działania (być może pod pozorem jakiegoś niewinnego procesu wtapiającego się we wszystkie inne skomplikowane procesy toczące się w jej umyśle), co umożliwiłoby jej dalsze potajemne planowanie długofalowej strategii.

[3] Nawet ludzcy hakerzy potrafią pisać niewielkie i pozornie nieszkodliwe programy, które robią absolutnie nieoczekiwane rzeczy (czego przykładem są zwycięskie wpisy w International Obfuscated C CodeContest).

[4] Uwaga, że niektóre metody kontroli SI mogłyby sprawiać wrażenie, że działają w ramach określonego kontekstu, a jednocześnie katastrofalnie zawieść po jego zmianie, podkreślana jest również przez Eliezera Yudkowsky’ego, patrz na przykład: Yudkowsky (2008a).

[5] Wygląda na to, że ten termin został ukuty przez pisarza SF Larry’ego Nivena (1973), lecz opiera się na rzeczywistych eksperymentach w zakresie nagradzającego stymulowania mózgu, por. Olds, Milner (1954), Oshima, Katayama (2010). Patrz również: Ring, Orseau (2011).

[6] Bostrom (1997).

[7] Mogą istnieć pewne implementacje mechanizmu uczenia się ze wzmocnieniem, które mogłyby, gdyby SI odkryła opcję samodzielnego serwowania sobie nagradzających bodźców, doprowadzić do jej bezpiecznego unieszkodliwienia, a nie do przerostu infrastruktury. Chodzi jednak o to, że istnieje spore prawdopodobieństwo, że potoczyłoby się to w niewłaściwym kierunku i z nieoczekiwanych powodów zakończyło niepowodzeniem.

[8] Przykład Marvina Minsky’ego (patrz: Russell, Norvig [2010, s. 1039]).

[9] Kwestia tego, które rodzaje cyfrowych umysłów będą świadome w sensie doświadczania subiektywnych właściwości wrażeń zmysłowych, określanych w żargonie filozoficznym mianem qualia, jest w odniesieniu do tego punktu istotna (choć nieistotna w odniesieniu do wielu innych części tej książki). Jednym z pytań, które pozostają bez odpowiedzi, jest: jak trudno byłoby precyzyjnie oszacować, w jaki sposób istota podobna ludziom zachowałaby się w rozmaitych okolicznościach, bez symulowania jej mózgu tak szczegółowo, by powstała symulacja zyskała świadomość. Kolejne pytanie brzmi: czy istnieją algorytmy generalnie użyteczne dla superinteligencji, na przykład techniki uczenia się ze wzmocnieniem, które po wdrożeniu mogłyby doświadczać qualia. Nawet jeśli prawdopodobieństwo uzyskania świadomości przez dowolną tego rodzaju podprocedurę uznamy za stosunkowo niskie, to liczba implementacji mogłaby być tak duża, że nawet niewielkiemu ryzyku doświadczania przez nie cierpienia należałoby przypisać znaczącą wagę w naszych kalkulacjach moralnych. Patrz również: Metzinger (2003, rozdz. 8).

[10] Bostrom (2002a, 2003a), Elga (2004).

Rozdział 9. Problem kontroli

[1] Na przykład Laffont, Martimort (2002).

[2] Załóżmy, że większość wyborców chce, by ich kraj zbudował jakiś szczególny rodzaj superinteligencji. Wybierają kandydata, który obiecuje zastosować się do ich życzeń, lecz może się okazać, że będzie im trudno zmusić go, gdy znajdzie się już u władzy, by dotrzymał swoich obietnic wyborczych i zabrał się do realizacji projektu zgodnie z życzeniem wyborców. Załóżmy, że chcąc dotrzymać słowa, wybrany kandydat poleca swojemu rządowi wynająć do wykonania tej pracy naukowca lub konsorcjum przemysłowe. Lecz znów powstaje dylemat sprawczości: urzędnicy pracujący w rządzie mogą mieć własne poglądy na temat tego, co powinno zostać zrobione, i mogą zrealizować projekt w taki sposób, który będzie zgodny z literą, lecz nie z duchem polecenia ich zwierzchnika. Nawet jeśli stosowny departament solennie wykona swoją pracę, zakontraktowani naukowcy mogą mieć własne, niezależne plany. Problem powtarza się zatem na wielu poziomach. Dyrektorowi jednego z biorących udział w projekcie laboratoriów może spędzać sen z oczu niepokój, że jakiś technik wprowadzi do projektu niezatwierdzony element; może wyobrażać sobie, jak jakiś dr Z.D. Rada zakrada się późną nocą do jego gabinetu, loguje do bazy kodu projektu i przepisuje część hierarchii celów zalążkowej SI. Tam, gdzie miało być „służenie ludzkości”, pojawia się „służenie dr Z.D. Radzie”.

[3] Mimo to i w rozwoju superinteligencji testy behawioralne mogą odegrać pewną rolę jako jeden z elementów składowych szerokiego wachlarza środków bezpieczeństwa. Gdyby SI zachowywała się źle w fazie rozwoju, coś byłoby zdecydowanie nie tak — choć, co istotne, nie zachodzi zależność odwrotna.

[4] W klasycznym eksploicie z 1975 roku Steven Dompier napisał program na komputer Altair 8800, który wykorzystał ten efekt (oraz brak osłony wokół obudowy mikrokomputera). Uruchomienie programu powodowało emisję fal elektromagnetycznych, które wytwarzały muzykę, kiedy ktoś trzymał radio tranzystorowe blisko komputera (Driscoll 2012). Młody Bill Gates, który uczestniczył w pokazie, napisał później, że był po wrażeniem tego włamania (Gates 1975). Tak czy inaczej istnieją plany zaprojektowania w przyszłości procesorów z wbudowaną funkcjonalnością Wi-Fi (Greene 2012).

[5] Nie jest sprawą błahą posiadanie przekonań, które — gdybyśmy zyskali sposobność działania według nich — doprowadziłyby do zaprzepaszczenia całej naszej kosmicznej spuścizny. Może można byłoby przeforsować następującą zasadę: jeśli ktoś w przeszłości był pewien przy N okazji, że system został wystarczająco udoskonalony, by można było być przekonanym co do jego bezpieczeństwa, a następnie za każdym razem okazywało się, że był w błędzie, wówczas przy następnej okazji nie jest on uprawniony do tego, by przypisywać bezpieczeństwu systemu prawdopodobieństwo wyższe niż 1/(N+1).

[6] W pewnym nieformalnym eksperymencie rola SI została odegrana przez inteligentnego człowieka. Druga biorąca udział w eksperymencie osoba odgrywała rolę strażnika i otrzymała zadanie niewypuszczenia SI z więzienia. SI mogła komunikować się ze strażnikiem tylko tekstem i dostała dwie godziny na przekonanie go do jej uwolnienia. W trzech przypadkach na pięć — przy czym rolę strażnika odgrywały różne osoby — SI uciekła (Yudkowsky 2002). Tego, czego może dokonać człowiek, może również dokonać superinteligencja. (Oczywiście twierdzenie odwrotne nie obowiązuje. Nawet jeśli dla prawdziwej superinteligencji to zadanie byłoby trudniejsze — może strażnik byłby silniej zmotywowany do tego, by powstrzymać się od wypuszczenia SI niż osoba odgrywająca w eksperymencie rolę strażnika — superinteligencja mogłaby wciąż osiągnąć sukces tam, gdzie człowiekowi się nie powiodło).

[7] Nie należy wyolbrzymiać bezpieczeństwa krańcowego, które zostałoby w ten sposób uzyskane. Wyobrażenia umysłowe mogą zastąpić prezentację graficzną. Weźmy pod uwagę wpływ, jaki na ludzi miewają książki — a przecież książki nie są nawet interaktywne.

[8] Patrz również: Chalmers (2010). Byłoby błędem wyciąganie z tego wniosku, że nie ma żadnego sensu budowanie systemu, który nigdy nie będzie obserwowany przez jednostkę z zewnątrz. Można przypisać wartość ostateczną temu, co się dzieje wewnątrz systemu. Ponadto innym ludziom może być nieobojętne to, co się dzieje wewnątrz takiego systemu i z tego względu może mieć na nich wpływ jego stworzenie lub obietnica jego stworzenia. Wiedza o istnieniu pewnego rodzaju wyizolowanych systemów (takich, które zawierają w sobie obserwatorów) może również wywołać antropiczną niepewność u zewnętrznych obserwatorów, która z kolei może mieć wpływ na ich zachowanie.

[9] Można się zastanawiać, dlaczego integracja społeczna uważana jest za formę kontroli potencjału. Czy nie należałoby zamiast tego zaklasyfikować jej jako metody doboru motywacji z tego względu, że polega ona na dążeniu do wywierania wpływu na zachowanie inteligentnego bytu metodą zachęt? Metodom doboru motywacji przyjrzymy się wkrótce bliżej. Lecz odpowiadając na to pytanie: interpretujemy dobór motywacji jako zbiór metod kontroli, które działają poprzez wybór lub ukształtowanie ostatecznej hierarchii celów systemu — celów, do których osiągnięcia system dąży dla nich samych, a nie z powodów instrumentalnych. Integracja społeczna nie jest ukierunkowana na cele ostateczne systemu, a więc nie jest to metoda doboru motywacji. Integracja społeczna natomiast stawia sobie za cel ograniczenie efektywnego potencjału systemu; dąży do tego, by pozbawić system możliwości osiągnięcia pewnego zestawu wyników — wyników, dzięki którym system uzyskuje korzyści dzięki zdradzie, lecz nie ponosi za nią kary (którą może być zemsta lub utrata zdradziecko uzyskanych korzyści). Nadzieja w tym, że dzięki ograniczeniu zakresu wyników, jakie system jest w stanie osiągnąć, dojdzie on do wniosku, że najbardziej efektywną z pozostałych mu metod realizacji jego celów ostatecznych jest zgodna współpraca.

[10] To podejście może być nieco bardziej obiecujące w przypadku emulacji mającej zgodnie z naszymi przekonaniami bardziej antropomorficzną motywację.

[11] Tę koncepcję zapożyczyłem od Carla Shulmana.

[12] Stworzenie szyfru, który z pewnością przetrzyma atak superinteligentnego łamacza kodów, nie jest zadaniem trywialnym. Dla przykładu: ślady przypadkowych cyfr mogą pozostać w mózgu jakiegoś obserwatora lub w mikrostrukturze generatora losowego, skąd superinteligencja może je wydobyć. Lub też, jeśli wykorzystywane są liczby pseudolosowe, superinteligencja może zgadnąć lub odkryć zalążek, z którego zostały wygenerowane. Superinteligencja może też zbudować duży komputer kwantowy lub nawet odkryć nieznane zjawiska fizyczne, które można byłoby wykorzystać do budowy nowego rodzaju komputerów.

[13] SI mogłaby połączyć swoje układy w taki sposób, by uwierzyć w to, że otrzymała żetony nagrody, ale to nie powinno doprowadzić do sytuacji permanentnego stymulowania ośrodka nagrody, jeśli SI została zaprojektowana do pożądania żetonów nagrody (a nie pragnienia znalezienia się w stanie, w którym ma pewne przekonania co do ich zdobycia).

[14] Oryginalny artykuł, patrz: Bostrom (2003a). Patrz również: Elga (2004).

[15] Shulman (2010a).

[16] Świat realny przypuszczalnie zawiera więcej zasobów obliczeniowych niż świat symulowany, ponieważ wszystkie procesy obliczeniowe zachodzące w symulacji zachodzą również na komputerze, na którym została ona uruchomiona. Rzeczywistość fizyczna może również zawierać mnóstwo innych zasobów, do których symulowani sprawcy, istniejący tylko dzięki kaprysowi potężnych symulatorów, mogą mieć utrudniony dostęp, jako że symulatory mogą planować inne zastosowanie tych zasobów. Oczywiście ten wniosek nie ma ścisłego uzasadnienia dedukcyjnego — teoretycznie może dojść do sytuacji, w której ten akurat wszechświat, gdzie uruchomiono symulacje, zawiera tak ogromną ilość zasobów, że symulowane cywilizacje mają dostęp średnio do większej ilości zasobów niż cywilizacje niesymulowane, mimo że każda niesymulowana cywilizacja, w której uruchomione są symulacje, ma więcej zasobów niż wszystkie symulowane przez nią cywilizacje łącznie).

[17] Istnieje wiele innych rozmaitych ezoterycznych kwestii, które mogłyby mieć związek z tą sprawą, a których implikacje nie zostały jeszcze w pełni przeanalizowane. Kwestie te mogą mieć ostatecznie kluczowe znaczenie w rozwoju możliwie najbardziej wszechstronnego podejścia do radzenia sobie z perspektywą eksplozji inteligencji. Wydaje się jednak mało prawdopodobne, by udało się nam zrozumieć praktyczne znaczenie tego rodzaju ezoterycznych argumentów, jeśli nie dokonamy wcześniej pewnych postępów w bardziej prozaicznych kwestiach będących tematem większej części tej książki.

[18] Por. na przykład Quine, Ullian (1978).

[19] Co SI może zbadać, rozważając cechy wydajnościowe rozmaitych podstawowych parametrów obliczeniowych w rodzaju wielkości i przepustowości rozmaitych szyn danych, czasu, jaki pochłania uzyskanie dostępu do rozmaitych fragmentów pamięci, przypadków błędów na losowych bitach i tak dalej.

[20] Być może prawdopodobieństwo a priori mogłoby być prawdopodobieństwem algorytmicznym a priori zdefiniowanym przez Solomonoffa (a konkretniej: obliczalnym przybliżeniem tego prawdopodobieństwa), które pozwala przypisać prawdopodobieństwo możliwym światom na bazie ich złożoności algorytmicznej. Patrz: Li, Vitányi (2008).

[21] Chwilę po narodzeniu się myśli o podstępie SI mogłaby uknuć wymazanie śladów swoich buntowniczych planów. Z tego względu istotne jest, by pułapka działała nieprzerwanie. Dobrą praktyką mogłoby być również wykorzystanie „nagrania lotu”, które zapisuje wszystkie ślady wszystkich działań SI (włącznie z dokładnym czasem wszystkich instrukcji wprowadzonych przez programistów z klawiatury), dzięki czemu jej trajektoria może zostać prześledzona wstecz lub przeanalizowana po automatycznym wyłączeniu. Informacja ta mogłaby być przechowywana na nośniku pozwalającym na jednokrotny zapis i wielokrotny odczyt.

[22] Asimov (1942). Do trzech praw dodano później „prawo zerowe”: „(0) Robot nie może skrzywdzić ludzkości ani przez zaniechanie działania doprowadzić do uszczerbku dla ludzkości” (Asimov 1985).

[23] Por. Gunn (1982).

[24] Russell (1986, 161f).

[25] Analogicznie, choć niektórzy filozofowie poświęcili całe swoje życie zawodowe próbom starannego sformułowania systemów deontologicznych, na światło dzienne wychodzą co jakiś czas nowe przypadki wymagające ich rewizji. Dla przykładu: etyka deontologiczna otrzymała w ostatnich latach nowy impuls rozwojowy dzięki odkryciu nowej, płodnej klasy filozoficznych eksperymentów myślowych zapoczątkowanej przedstawieniem tak zwanego dylematu wagonika, który ujawnia wiele subtelnych interakcji zachodzących pomiędzy naszymi intuicyjnymi odczuciami na temat moralnego znaczenia rozróżnienia między podjęciem działania a zaniechaniem go, odróżnienia konsekwencji zamierzonych od niezamierzonych i innych tego rodzaju kwestii — patrz na przykład: Kamm (2007).

[26] Armstrong (2010).

[27] Ogólnie rzecz biorąc, jeśli ktoś planuje zastosowanie szeregu rozmaitych mechanizmów bezpieczeństwa w celu uwięzienia SI, może się okazać mądrym posunięciem pracowanie nad każdym z nich, tak jakby miał on być jedynym mechanizmem bezpieczeństwa i tak jakby stawiano mu wymóg, by samodzielnie mógł owo bezpieczeństwo zapewnić. Jeśli jedno dziurawe wiadro umieści się wewnątrz innego dziurawego wiadra, woda nadal będzie wyciekać.

[28] Odmianą tej samej koncepcji jest zbudowanie SI w taki sposób, by była ona nieprzerwanie motywowana do działania zgodnie ze swoimi maksymalnie prawdopodobnymi przypuszczeniami co do tego, jak wygląda domyślna norma. W tym układzie celem ostatecznym SI jest zawsze działanie na bazie domyślnie określonych norm i tylko z powodów instrumentalnych dąży ona do odkrycia, jak wygląda faktyczna norma.

Rozdział 10. Wyrocznie, dżiny, suwereni i narzędzia

[1] Nazwy te są oczywiście antropomorficzne i nie powinny być traktowane poważnie jako analogie. Mają one jedynie pełnić funkcje etykietek jakichś na pierwszy rzut oka odmiennych koncepcji możliwych typów systemów, których budowę ktoś mógłby rozważać.

[2] W odpowiedzi na pytanie o wynik następnych wyborów nie chciałoby się otrzymać obszernej listy przewidywanego położenia oraz kierunku i zwrotu wektora pędu pobliskich cząsteczek.

[3] Przypisanych do konkretnego zestawu instrukcji na konkretnej maszynie.

[4] Kuhn (1962), de Blanc (2011).

[5] Trudniej byłoby zastosować taką „metodę konsensusu” w odniesieniu do dżinów lub suwerenów, ponieważ często mogą występować liczne sekwencje podstawowych działań (takich jak wysłanie konkretnego wzorca sygnałów elektrycznych do urządzeń wykonawczych systemu), które są niemal identycznie efektywne w osiąganiu danego celu. Z tego względu nieznacznie różniący się sprawcy mogliby w uprawniony sposób wybrać nieznacznie różniące się działania, w efekcie czego nie udałoby się im osiągnąć konsensusu. Natomiast przy odpowiednio sformułowanych pytaniach liczba stosownych odpowiedzi do wyboru (takich jak „tak” i „nie”) byłaby zwykle niewielka. (Koncepcja punktu Schellinga, zwanego również „punktem skupienia” patrz: Schelling [1980]).

[6] Czy gospodarka światowa nie jest pod pewnymi względami analogiczna do słabego dżina, aczkolwiek takiego, który pobiera opłaty za swoje usługi? Znacznie większa gospodarka — jak ta, która może się rozwinąć w przyszłości — może być zatem przybliżeniem dżina dysponującego zbiorową superinteligencją.

Jeden istotny aspekt, w jakim współczesna gospodarka nie jest podobna do dżina, polega na tym, że chociaż mogę (za opłatą) polecić gospodarce dostarczenie pizzy pod moje drzwi, nie mogę jej polecić dostarczenia pokoju. Powodem nie jest to, że gospodarka nie jest wystarczająco potężna, lecz to, że jest niewystarczająco skoordynowana. Pod tym względem gospodarka przypomina bardziej gromadę dżinów służących różnym panom (których programy ze sobą konkurują) niż pojedynczego dżina lub jakiś inny typ zunifikowanego sprawcy. Zwiększenie całkowitej mocy gospodarki poprzez przydanie większej mocy każdemu tworzącemu ją dżinowi lub poprzez dodanie kolejnych dżinów niekoniecznie sprawi, że gospodarka stanie się zdolna do zapewnienia pokoju. Aby funkcjonować w sposób bardziej przypominający superinteligentnego dżina, gospodarka musiałaby nie tylko wzrosnąć pod względem zdolności taniego produkowania dóbr i usług (łącznie z tymi, które wymagają radykalnie nowych technologii), lecz musiałaby również zacząć lepiej rozwiązywać globalne problemy koordynacji.

[7] Gdyby dżin był jakimś sposobem niezdolny do nieposłuchania kolejnego rozkazu — i w jakiś sposób niezdolny do przeprogramowania samego siebie, by pozbyć się tej podatności — wówczas mógłby podjąć działania mające na celu zapobieżenie wydaniu jakichkolwiek nowych poleceń.

[8] Nawet wyrocznia ograniczona do udzielania odpowiedzi „tak”/„nie” mogłaby zostać wykorzystana do tego, by ułatwić poszukiwanie dżina lub suwerennej SI, a w istocie mogłaby zostać wykorzystana bezpośrednio jako komponent takiej SI. Wyrocznia mogłaby również zostać wykorzystana do wytworzenia faktycznego kodu dla takiej SI, gdyby zadano jej odpowiednio dużą liczbę pytań. Szereg tych pytań mógłby przyjąć mniej więcej następującą formę: „W binarnej wersji kodu pierwszej SI, co do której sądzisz, że stałaby się dżinem, czy n-ty symbol to zero?”.

[9] Można sobie wyobrazić nieco bardziej skomplikowaną wyrocznię lub dżina, który słucha pytań i poleceń tylko wówczas, gdy zostaną one wydane przez uprawnione władze, chociaż nadal pozostawiłoby to otwartą możliwość, że władze zostaną skorumpowane lub zaszantażowane przez stronę trzecią.

[10] John Rawls, jeden z najważniejszych filozofów politycznych XX wieku, zasłynął zastosowaniem konstrukcji myślowej tak zwanej zasłony niewiedzy jako metody określenia preferencji, które powinny zostać wzięte pod uwagę przy kształtowaniu umowy społecznej. Rawls zaproponował, byśmy wyobrazili sobie, że próbujemy skonstruować umowę społeczną, tkwiąc za zasłoną niewiedzy, która nie pozwala nam dostrzec, jakimi osobami będziemy i jakie role społeczne będziemy odgrywać; pomysł polega na tym, że w takiej sytuacji musielibyśmy wymyślić społeczeństwo, które byłoby, ogólnie rzecz biorąc, najbardziej sprawiedliwe i najbardziej pożądane. Nie moglibyśmy wówczas kierować się naszymi egoistycznymi interesami i uprzedzeniami w stosunku do innych ludzi, które w innych okolicznościach mogłyby nas skłonić do preferowania takiego porządku społecznego, w którym my sami cieszylibyśmy się nieusprawiedliwionymi przywilejami. Patrz: Rawls (1971).

[11] Karnofsky (2012).

[12] Możliwym wyjątkiem byłoby oprogramowanie podłączone do odpowiednio potężnych urządzeń wykonawczych, takie jak oprogramowanie systemów wczesnego ostrzegania, gdyby było podłączone bezpośrednio do głowic nuklearnych lub też oficerów autoryzowanych do wystrzelenia rakiet nuklearnych. Nieprawidłowe funkcjonowanie takiego oprogramowania mogłoby doprowadzić w rezultacie do sytuacji ogromnie ryzykownej. Za pamięci żyjących zdarzyło się to przynajmniej dwukrotnie. Najpierw 9 listopada 1979 r. błąd komputerowy doprowadził do tego, że NORAD (North American Aerospace Defense Command) przekazał fałszywą informację o rozpoczęciu regularnego ataku Związku Radzieckiego na Stany Zjednoczone. USA rozpoczęły gwałtowne przygotowania do akcji odwetowej, po czym dane z systemów radarowych wczesnego ostrzegania pokazały, że nie przypuszczono żadnego ataku (McLean, Steward 1979). Z kolei 26 września 1983 r. nieprawidłowo funkcjonujący sowiecki system wczesnego ostrzegania przed atakiem nuklearnym Oko doniósł o zbliżających się amerykańskich pociskach rakietowych. Raport został prawidłowo zinterpretowany jako fałszywe ostrzeżenie przez pełniącego służbę w centrum dowodzenia oficera Stanisława Pietrowa — uznaje się, że ta decyzja zapobiegła wybuchowi globalnego konfliktu nuklearnego (Lebedev 2004). Wydaje się, że wybuch takiego konfliktu nie doprowadziłby do zagłady ludzkości, nawet gdyby toczył się z wykorzystaniem całego połączonego arsenału wszystkich mocarstw nuklearnych w szczycie zimnej wojny, choć zrujnowałby cywilizację i spowodował niewyobrażalną liczbę ofiar śmiertelnych oraz ogromne cierpienia pozostałych przy życiu (Gaddis 1982, Parrington 1997). Lecz w przyszłych wyścigach zbrojeń mogłyby zostać zgromadzone większe arsenały, mogłoby dojść do wynalezienia jeszcze bardziej śmiercionośnych broni lub też nasze modele zniszczeń wywołanych nuklearnym armagedonem (zwłaszcza dotkliwość będącej jego następstwem zimy nuklearnej) mogłyby okazać się błędne.

[13] Podejście to mogłoby pasować do kategorii metod kontroli opartych na bezpośrednim określeniu zasad.

[14] Sytuacja jest zasadniczo taka sama, jeśli kryterium rozwiązania określa miarę dobra, a nie ostre granice tego, co uznajemy za rozwiązanie.

[15] Zwolennik wykorzystania wyroczni mógłby się upierać, że istnieje przynajmniej możliwość, że użytkownik dostrzegłby błąd proponowanego rozwiązania — dostrzegłby, że nie jest ono zgodne z zamiarami użytkownika, chociaż spełnia formalnie określone kryteria sukcesu. Prawdopodobieństwo wychwycenia błędu na tym etapie zależałoby od rozmaitych czynników, m.in. jak zrozumiałe dla człowieka byłyby wyniki podawane przez wyrocznię i ile miłosierdzia okazywałaby mu ona, decydując o tym, na które cechy potencjalnego rozwiązania zwrócić mu uwagę.

Zamiennie, zamiast polegać w kwestii uzyskania tych funkcjonalności na samej wyroczni, można byłoby spróbować zbudowania oddzielnego narzędzia w tym celu — narzędzia, które mogłoby badać wypowiedzi wyroczni i demonstrować nam w użytecznej formie, co by się stało, gdybyśmy postąpili zgodnie z nimi. Ale osiągnięcie tego w pełnej ogólności wymagałoby innej superinteligentnej wyroczni, której wróżbom musielibyśmy zaufać, a zatem problem niezawodności nie zostałby rozwiązany, lecz jedynie inaczej umiejscowiony. Można dążyć do uzyskania odrobinę większego bezpieczeństwa poprzez wykorzystanie wielu wyroczni, które mogłyby się wzajemnie kontrolować, ale to nie chroni nas w przypadku, gdy wszystkie wyrocznie zawiodą w ten sam sposób — jak się to może zdarzyć na przykład wówczas, gdyby wszystkie otrzymały tę samą formalną specyfikację tego, co można uznać za rozwiązanie satysfakcjonujące.

[16] Przy odpowiednio dużej — skończonej, lecz fizycznie wręcz nieprawdopodobnej — ilości mocy obliczeniowej byłoby prawdopodobnie możliwe uzyskanie superinteligencji ogólnej z wykorzystaniem aktualnie dostępnych algorytmów (por. na przykład the AIXItl system, Hutter [2001]). Lecz nawet kolejny wiek obowiązywania prawa Moore’a nie wystarczyłby do uzyskania wymaganych poziomów mocy obliczeniowej.

[17] Bird, Layzell (2002) i Thompson (1997), również Yaeger (1994, 13 – 14).

[18] Williams (1966).

[19] Leigh (2010).

[20] Ten przykład zapożyczyłem z Yudkowsky (2011).

[21] Wade (1976). Eksperymenty komputerowe przeprowadzano również z symulowaną ewolucją zaprojektowaną w taki sposób, by odtworzyć cechy ewolucji biologicznej, co prowadziło czasem do bardzo dziwnych wyników (patrz na przykład: Yaeger [1994]).

Rozdział 11. Scenariusze wielobiegunowości

[1] Nie dlatego, że jest to z konieczności najbardziej prawdopodobny czy też najbardziej pożądany typ scenariusza, lecz dlatego, że jest to scenariusz najłatwiejszy do przeanalizowania za pomocą zestawu narzędzi standardowej teorii ekonomicznej, a tym samym wygodny punkt wyjścia do naszej dyskusji.

[2] American Horse Council (2005). Patrz również: Salem, Rowan (2001).

[3] Acemoglu (2003), Mankiw (2009), Zuleta (2008).

[4] Fredriksen (2012, 8), Salverda i in. (2009, 133).

[5] Ma również kluczowe znaczenie, by przynajmniej część kapitału została zainwestowana w aktywa, których wartość rośnie wraz z ogólnym trendem. Zróżnicowane portfolio aktywów, obejmujące udziały w funduszach indeksowych, zwiększy szanse na to, że nie zostanie się całkowicie pokrzywdzonym.

[6] Wiele europejskich systemów opieki społecznej nie opiera się na składkach ubezpieczonych gromadzonych na ich kontach indywidualnych, co oznacza, że emerytury są wypłacane z podatków i składek pracujących w danym momencie obywateli, a nie z puli zgromadzonych przez ubezpieczonych oszczędności. Takie mechanizmy nie spełniłyby automatycznie stawianych im wymogów, gdyż w przypadku raptownego wybuchu masowego bezrobocia, strumień przychodów finansujący emerytury i zasiłki mógłby wyschnąć. Jednakże rządy mogą podjąć decyzję o pokryciu niedoborów z innych źródeł.

[7] American Horse Council (2005).

[8] Zapewnienie siedmiu miliardom ludzi rocznego dochodu w wysokości 90 tysięcy dolarów kosztowałoby 630 bilionów dolarów rocznie, co równa się dziesięciokrotności obecnego produktu światowego brutto. W ciągu ostatnich stu lat światowe PKB wzrosło mniej więcej dziewiętnastokrotnie: od około dwóch bilionów dolarów w 1900 roku do 37 bilionów dolarów w 2000 roku (w przeliczeniu na dolary międzynarodowe z 1900 roku), za Maddison (2007). A zatem jeśli tempo wzrostu, które obserwowaliśmy w ciągu ostatnich stu lat, utrzyma się przez kolejne dwieście lat, a wielkość populacji utrzyma się na niezmienionym poziomie, wówczas zapewnienie wszystkim rocznego dochodu na poziomie 90 tysięcy dolarów będzie kosztować około 3% światowego PKB. Ze względu na eksplozję inteligencji taki wzrost może zajść w znacznie krótszym czasie. Patrz również: Hanson (1998a, 1998b, 2008).

[9] I być może nawet milion razy na przestrzeni ostatnich 70 tysięcy lat, jeśli mniej więcej w tym czasie doszło do poważnego zatoru populacyjnego, jak spekulowano. Więcej danych patrz: Kremer (1993) i Huff i in. (2010).

[10] Cochran, Harpending (2009). Patrz również: Clark (2007) oraz krytyka w Allen (2008).

[11] Kremer (1993).

[12] Basten i in. (2013). Scenariusze, w których zachodzi ciągły wzrost, również są możliwe. Zasadniczo niepewność co do takich przewidywań wzrasta bardzo znacznie, gdy zaczynamy mówić o okresach, które od współczesności dzielą jedno lub dwa pokolenia.

[13] W ujęciu globalnym całkowity wskaźnik płodności zapewniający zastępowalność pokoleń wynosił 2,33 dziecka na kobietę w 2003 roku. Liczba ta bierze się stąd, że zastąpienie rodziców wymaga dwójki dzieci na kobietę, a „jedna trzecia dziecka” pokrywa: (1) wyższe prawdopodobieństwo narodzin chłopca; (2) przedwczesne zgony przed końcem okresu płodności. W krajach rozwiniętych ta liczba jest niższa i wynosi około 2,1 ze względu na niższy wskaźnik śmiertelności. (Patrz: Espendshade i in. [2003, Introduction, table 1., 580]). Liczba ludności w krajach najbardziej rozwiniętych zmniejszyłaby się, gdyby nie napływ imigrantów. Kilka wartych uwagi przykładów krajów, których wskaźnik płodności nie zapewnia zastępowalności pokoleń, to: Singapur 0,79 (najniższy wskaźnik na świecie), Japonia 1,39, Chiny 1,55, Unia Europejska 1,58, Rosja 1,61, Brazylia 1,81, Iran 1,86, Wietnam 1,87 i Wielka Brytania 1,90. Nawet w Stanach Zjednoczonych liczba ludności prawdopodobnie zmniejszy się nieco przy wskaźniku płodności wynoszącym 2,05 (patrz: CIA [2013]).

[14] Czas może się dopełnić za wiele miliardów lat.

[15] Carl Shulman zauważa, że jeśli biologiczne istoty ludzkie liczą na to, że przeżyją swój naturalny okres życia, funkcjonując w gospodarce cyfrowej, to muszą założyć nie tylko, że porządek polityczny w sferze cyfrowej będzie chronił ludzkie interesy, ale też, że taka sytuacja utrzyma się bardzo długo (Shulman 2012). Dla przykładu: jeśli wydarzenia w sferze cyfrowej potoczą się tysiąc razy szybciej niż w świecie zewnętrznym, wówczas ludzie będą musieli zawierzyć, że polityka cyfrowych ciał nie ulegnie zmianie przez 50 tysięcy lat wewnętrznych zmian i turbulencji. A tymczasem gdyby świat cyfrowej polityki był choć odrobinę podobny do naszego, doszłoby w trakcie tych tysiącleci do ogromnej liczby rewolucji, wojen i katastrofalnych wstrząsów, które prawdopodobnie naraziłyby na niewygody ludzi z zewnątrz. Ryzyko globalnego konfliktu jądrowego lub podobnego kataklizmu choćby na poziomie 0,01% rocznie pociągnęłoby za sobą prawie pewną krzywdę ludzi przeżywających swoje życie w spowolnionym czasie gwiezdnym. Przezwyciężenie tego problemu wymagałoby bardziej stabilnego porządku w świecie cyfrowym — być może singletonu, który stopniowo zwiększałby własną stabilność.

[16] Można by sądzić, że nawet gdyby maszyny były znacznie efektywniejsze od ludzi, nadal pozostawałby pewien poziom wynagrodzeń — powiedzmy jeden cent za godzinę — na którym opłacałoby się zatrudnić człowieka. Gdyby wynagrodzenie to stanowiło jedyne źródło dochodu dla ludzi, nasz gatunek uległby zagładzie, gdyż istoty ludzkie nie są w stanie przetrwać za jednego centa na godzinę. Lecz przecież ludzie mogą również czerpać dochód z kapitału. I teraz jeśli zakładamy, że liczba ludności wzrasta tak długo, jak długo dochód całkowity utrzymuje się na poziomie zapewniającym zaspokojenie podstawowych potrzeb, to można by sądzić, że będzie to sytuacja, w której ludzie będą ciężko pracować. Dla przykładu załóżmy, że dochód zapewniający przetrwanie wynosi jednego dolara dziennie. A zatem może się wydawać, że liczba ludności będzie rosła, dopóki kapitał przypadający na osobę zapewniałby 90 centów dziennego dochodu, co ludzie musieliby uzupełnić dziesięcioma godzinami ciężkiej pracy, by zarobić brakujące 10 centów. Jednakże wcale nie musiałoby tak się zdarzyć, ponieważ dochód zapewniający przetrwanie zależy od ilości wykonywanej pracy — ciężej pracujący ludzie spalają więcej kalorii. Załóżmy, że każda godzina pracy zwiększa koszty jedzenia o dwa centy. Otrzymujemy wówczas model, który osiąga stan równowagi, gdy ludzie nie pracują.

[17] Można by sądzić, że tak osłabiony elektorat nie byłby w stanie głosować ani w inny sposób bronić swoich uprawnień; mógłby jednak udzielić pełnomocnictwa powiernikom SI, by ci zarządzali jego sprawami i reprezentowali jego interesy polityczne (dyskusja w tym ustępie opiera się na założeniu, że prawa własności są szanowane).

[18] Nie jest jasne, jaki byłby najlepszy termin. „Zabij” może sugerować brutalność bardziej czynną niż jest to usprawiedliwione. „Przerwij” może być zbyt eufemistyczne. Jedna z komplikacji polega na tym, że zachodzą dwa potencjalnie oddzielne zdarzenia: zakończenie czynnego przebiegu procesu oraz wymazanie szablonu informacji. Śmierć człowieka zazwyczaj polega na obu tych zdarzeniach, ale w przypadku emulacji mogą one zostać rozdzielone. Tymczasowe przerwanie działania programu może pociągać za sobą następstwa równie nieznaczące jak ludzki sen — jednak trwałe przerwanie działania programu może być odpowiednikiem wejścia w stan permanentnej śpiączki. Jeszcze więcej komplikacji pociąga za sobą fakt, że emulacje mogą być kopiowane i uruchamiane z różną prędkością: te możliwości nie mają bezpośredniej analogii w ludzkim doświadczeniu (por. Bostrom [2006b], Bostrom, Yudkowsky [w przygotowaniu]).

[19] Zachodzić będzie relacja wymienna pomiędzy całkowitą zrównolegloną mocą obliczeniową a prędkością obliczeniową, ponieważ najszybsze tempo przetwarzania danych będzie osiągalne tylko kosztem ograniczenia mocy. Stanie się to szczególnie prawdziwe po wejściu w epokę przetwarzania odwracalnego.

[20] Emulacja może być testowana poprzez stawianie jej w obliczu pokus. Testując wielokrotnie, w jaki sposób emulacja uruchomiona z pewnego przygotowanego stanu reaguje na rozmaite sekwencje bodźców, można uzyskać wysoką pewność co do niezawodności tej emulacji. Im dalej jednak stan umysłowy emulacji oddala się od zatwierdzonego punktu startowego, tym mniej można być pewnym, że na emulacji nadal można polegać. (W szczególności, ponieważ sprytna emulacja może się domyślać, że czasem znajduje się w symulacji, należy zachować ostrożność przy ekstrapolacji jej zachowania na sytuacje, w których jej hipoteza symulacji ważyłaby w mniejszym stopniu na podejmowanych przez nią decyzjach).

[21] Niektóre emulacje mogą identyfikować się ze swoim klanem — to jest z wszystkimi swoimi kopiami i wariantami pochodzącymi z tego szablonu — a nie z jakąś konkretną implementacją. Taka emulacja mogłaby nie uznawać zakończenia przez siebie działania za przypadek śmierci, gdyby wiedziała, że przetrwają inni członkowie klanu. Emulacje mogą wiedzieć, że pod koniec dnia zostaną przywrócone do konkretnego zapisanego stanu i stracą wspomnienia z tego dnia, ale mogą traktować to równie lekko jak imprezowicz, który wie, że obudzi się następnego ranka, nie pamiętając nic z wydarzeń poprzedniej nocy — i uznając to za przypadek wstecznej amnezji, a nie śmierć.

[22] W etycznej ocenie można brać pod uwagę również wiele innych czynników. Nawet gdyby wszyscy pracownicy byli nieodmiennie zadowoleni ze swojego położenia, wynik nadal mógłby być moralnie wątpliwy z innych powodów — chociaż to, o które powody chodzi, jest nadal przedmiotem dyskusji rzeczników konkurencyjnych teorii moralności. W każdej jednak wiarygodnej ocenie uznano by subiektywny dobrostan za jeden z istotnych czynników. Patrz również: Bostrom, Yudkowsku (w przygotowaniu).

[23] World Values Survey (2008).

[24] Helliwell i Sachs (2012).

[25] Por. Bostrom (2004). Patrz również: Chislenko (1996), Moravec (1988).

[26] Trudno powiedzieć, czy struktury przetwarzania informacji powstałe w takim scenariuszu byłyby świadome (w sensie posiadania doświadczeń zmysłowych). Powód, dla którego jest to trudne, wynika częściowo z naszej empirycznej niewiedzy co do tego, jakie powstałyby jednostki kognitywne, a częściowo z naszej filozoficznej niewiedzy co do tego, jakie struktury mają świadomość. Można próbować ująć to pytanie inaczej i zamiast pytać o to, czy przyszłe jednostki byłyby świadome, zapytać o to, czy przyszłe jednostki miałyby status moralny, lub też można zapytać, czy ze względu na ich naturę mielibyśmy jakieś preferencje dotyczące ich „dobrostanu”. Na te pytania może jednak wcale nie być łatwiej odpowiedzieć niż na pytania dotyczące świadomości — tak naprawdę mogą wymagać odpowiedzi na pytanie dotyczące świadomości w takiej mierze, w jakiej status moralny czy nasze preferencje zależą od tego, czy rzeczona jednostka może subiektywnie doświadczać swojego stanu.

[27] Argument, że historia zarówno geologiczna, jak i ludzka przejawia trend ku rosnącej złożoności patrz: Wright (2001). Argument przeciwny (skrytykowany w rozdziale 9. książki Wrighta) patrz: Gould (1990). Argument, że jesteśmy świadkami stabilnego, długookresowego trendu ku spadającej przemocy i brutalności patrz: Pinker (2011).

[28] Więcej na temat teorii selekcji obserwacji patrz: Bostrom (2002a).

[29] Bostrom (2008a). Obejście efektu selekcji wymagałoby znacznie staranniejszego przebadania szczegółów naszej historii ewolucyjnej. Patrz na przykład: Carter (1983, 1993), Hanson (1998d), Ćirković i in. (2010).

[30] Kansa (2003).

[31] Na przykład Zahavi, Zahavi (1997).

[32] Patrz: Miller (2000).

[33] Kansa (2003). Ujęcie prowokacyjne, patrz również: Frank (1999).

[34] Nie jest oczywiste, jak najlepiej mierzyć stopień globalnej integracji politycznej. Można przykładowo wziąć pod uwagę, że o ile plemiona zbieracko-łowieckie mogły zgromadzić w ramach organizacji podejmującej decyzję sto osób, o tyle największe współczesne organizacje polityczne obejmują ponad miliard osób. Oznacza to różnicę siedmiu rzędów wielkości i tylko jednego rzędu wielkości brakuje, by pojedyncza organizacja polityczna objęła całą ludność świata. W czasach jednak, gdy plemię było przykładem największej skali integracji, liczba ludności świata była znacznie mniejsza. Plemię mogło objąć do tysiąca żyjących wówczas osób. Z tego względu wzrost na skali integracji politycznej spadłby do zaledwie dwóch rzędów wielkości. Patrzenie na tę część ludności świata, która jest politycznie zintegrowana, a nie na liczby bezwzględne, wydaje się właściwe w obecnym kontekście (zwłaszcza że przejście do epoki myślących maszyn może spowodować raptowny wzrost liczby emulacji lub innych umysłów cyfrowych). Pod uwagę należałoby wziąć również rozwój instytucji globalnych i sieci współpracy wykraczających poza formalne struktury państwowe.

[35] Jeden z powodów do przypuszczania, że pierwsza rewolucja myślących maszyn będzie szybka — możliwe istnienie nawisu sprzętowego — nie ma tutaj zastosowania. Mogą jednak istnieć inne źródła gwałtownych wzrostów, takie jak dramatyczny przełom w dziedzinie oprogramowania związany z przejściem od emulacji do absolutnie sztucznych myślących maszyn.

[36] Shulman (2010b).

[37] W jaki sposób za i przeciw się zrównoważą, może zależeć od tego, jaką pracę superorganizm próbuje wykonać i jakie zdolności ogólne ma najbardziej uzdolniony ogólnie dostępny szablon emulacji. Jednym z powodów, dla których duże współczesne organizacje potrzebują wielu różnych ludzi, jest to, że ludzie utalentowani w wielu dziedzinach występują rzadko.

[38] Oczywiście, bardzo łatwe jest zrobienie wielu kopii sprawcy będącego programem. Zauważmy jednak, że kopiowanie nie wystarcza z zasady, by zapewnić tożsamość celów ostatecznych wszystkich kopii. Aby dwóch sprawców miało te same cele ostateczne (w stosownym sensie słowa „same”), cele muszą być zbieżne z ich wyrażeniami okazjonalnymi (ang. indexicals). Jeśli Bob jest samolubny, kopia Boba będzie podobnie samolubna, jednak ich cele nie będą się ze sobą pokrywać — Bob dba o Boba, natomiast kopia Boba dba o kopię Boba.

[39] Shulman (2010b, 6).

[40] Może się to okazać bardziej prawdopodobne w przypadku biologicznych ludzi i emulacji mózgu niż w przypadku dowolnej SI, która mogła zostać skonstruowana w taki sposób, by posiadać skrytki lub mechanizmy funkcjonalne trudne do wykrycia. Z drugiej strony SI specjalnie zbudowana w taki sposób, by zapewnić jej przejrzystość, powinna zezwalać na bardziej wszechstronne badania i weryfikację, niż jest to możliwe w przypadku architektur podobnych do mózgu. Naciski społeczne mogą zachęcić systemy SI do ujawnienia ich kodów źródłowych oraz poddania się modyfikacjom, które uczynią je bardziej przejrzystymi — zwłaszcza jeśli przejrzystość warunkuje wzbudzenie zaufania, a przez to uzyskanie sposobności zawarcia korzystnej transakcji. Por. Hall (2007).

[41] Inne kwestie, które wydają się względnie mało istotne — zwłaszcza w przypadkach, gdy stawka jest bardzo wysoka (jak w przypadku kluczowych usterek globalnej koordynacji) — obejmują koszt skutecznego poszukiwania strategii politycznych leżących w obopólnym interesie oraz możliwość, że niektóre podmioty na najbardziej podstawowym poziomie mogą preferować „autonomię” w takiej postaci, która uległaby ograniczeniu po przystąpieniu do wielostronnych traktatów globalnych obejmujących mechanizmy monitoringu i wdrażania postanowień traktatowych.

[42] SI może to osiągnąć poprzez stosowne zmodyfikowanie samej siebie, a następnie zapewnienie obserwatorom dostępu do swojego kodu źródłowego z prawem tylko do odczytu. Myśląca maszyna o mniej przejrzystej architekturze (taka jak emulacja) mogłaby to osiągnąć poprzez publiczne zastosowanie w odniesieniu do samej siebie jakiejś metody doboru motywacji. Zamiennie agencja zewnętrzna powołana do egzekwowania postanowień traktatowych w rodzaju superorganizmu sił policyjnych mogłaby zostać wykorzystana nie tylko przez wszystkie strony traktatu do wcielania w życie jego postanowień, lecz również przez każdą ze stron do deklarowania zobowiązania do podjęcia konkretnych działań.

[43] Dobór ewolucyjny mógłby sprzyjać tym, którzy ignorują pogróżki, a nawet postaciom wyraźnie tak nerwowym, że skłonnym raczej walczyć do upadłego, niż znosić najmniejszą choćby porażkę. Takie usposobienie mogłoby przynosić jego posiadaczowi korzyści związane z sygnalizowaniem innym jego zamiarów. (Instrumentalna cecha w postaci posiadania takiego, a nie innego usposobienia nie musi oczywiście odgrywać jakiejkolwiek roli w świadomej motywacji sprawcy, który może cenić sprawiedliwość lub honor jako cele same w sobie).

[44] Ostateczny werdykt w tych sprawach musi jednak poczekać na dalszą analizę. Istnieją rozmaite inne potencjalne komplikacje, których nie możemy tutaj przeanalizować.

Rozdział 12. Zaszczepianie wartości

[1] Można wprowadzić rozmaite komplikacje i przekształcenia tej podstawowej idei. Omówiliśmy jedną z wersji w rozdziale 8. — dotyczyła sprawcy, który nie dąży do maksymalizacji swej użyteczności, lecz do uzyskania efektów zadowalających — a w następnym rozdziale pokrótce omówimy kwestię alternatywnych teorii decyzji. Jednakże tego rodzaju kwestie nie są sednem tego ustępu, więc uprościmy sobie sprawę, koncentrując się tutaj na przypadku sprawcy maksymalizującego oczekiwaną użyteczność.

[2] Zakładając, że SI będzie miała niezerową funkcję użyteczności. Bardzo łatwo byłoby zbudować inteligentnego sprawcę, który zawsze wybiera działanie maksymalizujące oczekiwaną użyteczność, gdyby jego funkcja użyteczności była na przykład stałą funkcją U(w) = 0. Każde działanie równie dobrze maksymalizowałoby oczekiwaną użyteczność wyznaczoną tą funkcją użyteczności.

[3] Również dlatego, że zapomnieliśmy o bujnej i rozbzyczanej dezorientacji naszego wczesnego dzieciństwa — o okresie, w którym nie widzieliśmy jeszcze zbyt dobrze, bo nasz mózg nie nauczył się jeszcze interpretować sygnałów wizualnych.

[4] Patrz również: Yudkowsky (2011) oraz przegląd w dziale 5. Muehlhauser, Helm (2012).

[5] Można sobie wyobrazić, że postępy w dziedzinie inżynierii oprogramowania pozwolą ostatecznie przezwyciężyć te trudności. Wykorzystując współczesne narzędzia, pojedynczy programista może wytworzyć oprogramowanie nieosiągalne dla dużego zespołu programistów zmuszonych pisać bezpośrednio w kodzie maszynowym. Współczesny programista SI zyskuje ogromne możliwości dzięki powszechnej dostępności znakomitych technik uczenia maszynowego i bibliotek obliczeń naukowych, umożliwiających mu stworzenie na przykład programu dla kamery internetowej, za sprawą którego może policzyć niepowtarzalne twarze poprzez połączenie ze sobą bibliotek, których nigdy nie napisałby samodzielnie. Akumulacja nadających się do powtórnego wykorzystania programów wyprodukowanych przez specjalistów, lecz przydatnego zwykłym użytkownikom, da przyszłym programistom jeszcze większe możliwości. Dla przykładu: przyszli maszynowi programiści mogą mieć dostęp do standardowych bibliotek twarzy bliskich, zbiorów typowych budynków biurowych, bibliotek specjalizowanych trajektorii rozwoju oraz wielu innych funkcjonalności, które obecnie nie są dostępne.

[6] Dawkins (2007, 183). Nie chcemy koniecznie przez to powiedzieć, że w naturze ilość cierpienia przewyższa ilość doznań pozytywnych.

[7] Gdyby było łatwo uzyskać równoważne wyniki, nie krzywdząc znaczącej liczby niewinnych istot, takie postępowanie wydawałoby się moralnie słuszniejsze. Jeśli mimo to cyfrowe osoby zostałyby stworzone i skazane na niezawinione cierpienia, możliwe byłoby zrekompensowanie im tego poprzez zapisane owych cyfrowych osób do pliku i ich ponowne uruchomienie w bardziej korzystnych warunkach (kiedy już przyszłość ludzkości byłaby zabezpieczona). Taką restytucję można byłoby porównać pod pewnymi względami do religijnej koncepcji życia pozagrobowego w kontekście teologicznych prób wyjaśnienia problemu doświadczanego zła.

[8] Richard Sutton, jedna z najważniejszych postaci w tej dziedzinie, definiuje uczenie się ze wzmocnieniem nie w kategoriach metody uczenia się, lecz w kategoriach problemu uczenia się: każda metoda dobrze dostosowana do rozwiązania tego problemu uznawana jest za metodę uczenia się ze wzmocnieniem (Sutton, Barto 1998, 4). Obecna dyskusja odnosi się natomiast do metod, w ramach których sprawcę można sobie wyobrazić jako posiadacza celu ostatecznego polegającego na maksymalizacji (wyobrażonej w jakiś sposób) skumulowanej nagrody. Ponieważ sprawca mający zupełnie odmienny cel ostateczny mógłby w bardzo wielu sytuacjach uzyskać biegłość w naśladowaniu sprawcy dążącego do maksymalizacji nagrody, przez co mógłby znakomicie posłużyć do rozwiązywania problemów uczenia się ze wzmocnieniem, mogłyby istnieć metody, które zgodnie z definicją Suttona mieściłyby się w kategorii „metod uczenia się ze wzmocnieniem”, lecz nie prowadziłyby do zjawiska samodzielnego serwowania sobie przez system strumienia nagród. Jednakże spostrzeżenia w tekście odnoszą się do większości metod faktycznie wykorzystywanych przez społeczność zainteresowaną uczeniem się ze wzmocnieniem.

[9] Nawet gdyby jakimś sposobem podobny ludzkiemu mechanizm można było uruchomić w podobnej człowiekowi myślącej maszynie, cele ostateczne przyswojone sobie przez ten cyfrowy umysł nie musiałyby przypominać celów, które stawia sobie zrównoważony człowiek, jeśli środowisko wychowawcze owego cyfrowego dziecka nie odwzorowywałoby wiernie środowiska, w jakim wychowuje się zwykłe ludzkie dziecko, czego zaaranżowanie byłoby raczej trudne. I nawet w środowisku wychowawczym zbliżonym do ludzkiego zadowalające rezultaty nie byłyby wcale zagwarantowane, gdyż nawet nieznaczne różnice wrodzonego usposobienia mogą dać w efekcie bardzo odmienne reakcje na życiowe doświadczenia. W przyszłości może być jednak możliwe stworzenie bardziej niezawodnych mechanizmów przyswajania sobie kolejnych wartości przez umysły podobne ludzkim (być może dzięki wykorzystaniu nowatorskich leków, implantów mózgu lub ich cyfrowych odpowiedników).

[10] Można się zastanawiać, dlaczego my, ludzie nie próbujemy unieszkodliwić mechanizmu, który prowadzi do przyswajania sobie przez nas nowych wartości. Pewną rolę może tutaj odgrywać kilka czynników. Po pierwsze, ludzką hierarchię wartości trudno jest opisać jako wykalkulowany na zimno algorytm maksymalizacji użyteczności. Po drugie, możemy nie dysponować żadnymi poręcznymi metodami zmiany sposobów przyswajania wartości. Po trzecie, możemy mieć powody instrumentalne (wynikające na przykład z potrzeby sygnalizowania społecznego), by przyswoić sobie czasem nowe wartości ostateczne — wartości instrumentalne mogłyby nie być tak przydatne, gdyby nasze umysły były częściowo przejrzyste dla innych ludzi lub też gdyby poznawcza złożoność udawania, że ma się inny zestaw wartości ostatecznych niż ten, który się faktycznie wyznaje, była zbyt obciążająca. Po czwarte, zdarzają się przypadki, w których faktycznie czynnie sprzeciwiamy się próbom zmiany naszej hierarchii wartości, na przykład wówczas, gdy staramy się przeciwstawić złym wpływom wywieranym na nas przez złe towarzystwo. Po piąte, istnieje ciekawa możliwość, że przypisujemy pewną wartość ostateczną byciu takim właśnie sprawcą, który potrafi przyswoić sobie nowe wartości ostateczne w normalny, ludzki sposób.

[11] Można też próbować zaprojektować taką hierarchię wartości, by SI była obojętna na takie zastąpienie; patrz: Armstrong (2010).

[12] Czerpiemy tutaj z wyjaśnień Daniela Deweya (2011). Inne koncepcje leżące u podstaw tego modelu zostały rozwinięte przez Marcusa Huttera (2005), Shane’a Legga (2008), Eliezera Yudkowsky’ego (2001), Nicka Haya (2005), Moshe Looksa i Petera de Blanca.

[13] Aby uniknąć niepotrzebnych komplikacji, ograniczymy naszą uwagę do sprawców deterministycznych, którzy nie dyskontują przyszłych nagród.

[14] Matematycznie zachowanie sprawcy może zostać wyrażone formalnie jako funkcja agenta, która przypisuje każdą możliwą historię obserwacji do jakiegoś działania. Z wyjątkiem sprawców najprostszych z możliwych, przedstawienie funkcji agenta wprost, w formie tabeli, jest niewykonalne. Można natomiast dać sprawcy jakąś metodę obliczenia, jakie działanie powinien podjąć. Istnieje wiele metod obliczenia tej samej funkcji agenta, co prowadzi nas do konieczności precyzyjniejszego wyodrębnienia sprawcy jako programu agenta. Program agenta jest konkretnym programem lub algorytmem, który przypisuje działanie każdej podanej historii obserwacji. Ponieważ często bywa przydatne i wygodne matematycznie wymyślenie programu agenta wchodzącego w interakcje z jakimś formalnie określonym środowiskiem, istotne jest, by pamiętać, że jest to wyobrażenie wyidealizowane. Prawdziwi sprawcy mają swoje fizyczne wcielenie. Oznacza to nie tylko, że sprawca wchodzi w kontakt ze środowiskiem za pomocą swoich czujników i aktuatorów, ale też, że „mózg” czy kontroler sprawcy jest sam w sobie częścią fizycznej rzeczywistości. Jego działania mogą zatem z zasady być poddane wpływowi zewnętrznych oddziaływań fizycznych (i to nie tylko poprzez odbieranie perceptów z czujników). W pewnym momencie zatem konieczne staje się postrzeganie sprawcy jako wcielenia agenta. Wcielenie agenta jest strukturą fizyczną, która przy braku oddziaływania ze strony otoczenia jest implementacją funkcji agenta (definicja zgodna z Dewey [2011]).

[15] Dewey proponuje następujące wyrażenie optymalności dla przyswajającego sobie wartości sprawcy:

P_1 i P_2 to tutaj to tutaj dwie funkcje prawdopodobieństwa. Druga suma obejmuje tutaj pewną stosowną klasę funkcji użyteczności na przestrzeni różnych historii obserwacji. W wersji zaprezentowanej w tekście stwierdziliśmy wprost pewne zależności oraz pozwoliliśmy sobie na uproszczenie pojęcia możliwych światów.

[16] Należy zauważyć, że zbiór funkcji użyteczności U powinien być taki, by użyteczności mogły zostać porównane i uśrednione. Z zasady stwarza to rozliczne problemy i nie zawsze jest jasne, w jaki sposób opisać różne moralne teorie dobra w kategoriach kardynalnych funkcji użyteczności (patrz na przykład: MacAskill 2010).

[17] Lub też bardziej ogólnie, ponieważ V może nie pozwalać na określenie bezpośrednio dla każdej dowolnej pary możliwych światów i funkcji użyteczności (w, U), czy wyrażenie V(U) jest prawdziwe w w, tym, co należy zrobić, jest przekazanie SI adekwatnego opisu rozkładu prawdopodobieństwa warunkowego P(V(U)|w).

[18] Rozważmy najpierw Y — klasę działań, które sprawca może podjąć. Pierwszą sprawą jest tutaj to, co właściwie powinniśmy uznać za działanie: tylko podstawowe polecenia ruchowe (na przykład: „Wyślij impuls elektryczny kanałem wyjściowym #00101100”) czy działania wyższego rzędu (na przykład: „Utrzymuj kamerę skierowaną na twarz”)? Ponieważ próbujemy opracować nie tyle plan praktycznego wdrożenia, ile pojęcie optymalności, możemy uznać za dziedzinę podstawowe polecenia ruchowe (a ponieważ zbiór podstawowych poleceń ruchowych może się zmieniać w czasie, możemy być zmuszeni zindeksować Y względem czasu). Jednakże aby posunąć się ku implementacji, przypuszczalnie konieczne będzie wprowadzenie jakiegoś hierarchicznego procesu planowania i być może pojawi się potrzeba rozważenia, w jaki sposób zastosować tę formułę do jakiejś klasy działań wyższego rzędu. Kolejną sprawą jest to, w jaki sposób analizować działania wewnętrzne (takie jak zapisywanie ciągów do pamięci roboczej). Ponieważ działania wewnętrzne mogą mieć istotne następstwa, w idealnej sytuacji chciałoby się, by Y obejmował takie podstawowe działania wewnętrzne na równi z poleceniami ruchowymi. Istnieją jednak granice tego, jak daleko można pójść w tym kierunku: obliczanie oczekiwanej użyteczności dowolnego działania w Y wymaga wielu operacji obliczeniowych i gdyby każda taka operacja była również uwzględniana jako działanie w Y, które trzeba by było ocenić według SI-PW, zaczęlibyśmy cofać się w nieskończoność, co zupełnie uniemożliwiłoby nam start. Aby uniknąć cofania się w nieskończoność, należy ograniczyć wszelkie próby szacowania wprost oczekiwanej użyteczności do ograniczonej liczby możliwych znaczących działań. System będzie później wymagał jakiegoś procesu heurystycznego, który określi pewne istotne możliwe działania do dalszych rozważań. (Ostatecznie system może zabrać się również do podejmowania wprost decyzji dotyczących pewnych możliwych działań mających na celu wprowadzenie modyfikacji do tego procesu heurystycznego — działań, które mogły zostać oznaczone przez ten właśnie proces jako te, na które należy zwrócić szczególną uwagę. A zatem w długim okresie system może stawać się coraz bardziej efektywny w przybliżaniu ideału określanego przez SI-PW).

Rozważmy następnie W, które jest klasą możliwych światów. Jedną z trudności jest tutaj określenie W w taki sposób, by było ono odpowiednio szerokie. Niewłączenie jakiegoś istotnego w do W mogłoby sprawić, że SI nie byłaby w stanie przedstawić opisu sytuacji, do której faktycznie doszło, w wyniku czego podejmowałaby złe decyzje. Załóżmy dla przykładu, że korzystamy z jakiejś teorii ontologicznej, by określić charakter W. Chociażby: zawieramy w W wszystkie możliwe światy składające się z pewnej rozmaitości czasoprzestrzennej wypełnionej cząstkami elementarnymi stanowiącymi elementy modelu standardowym fizyki cząstek elementarnych. Mogłoby to zniekształcić teorię poznania SI, o ile model standardowy byłby niekompletny lub nieprawidłowy. Można byłoby próbować wykorzystać większą klasę W, by uwzględnić więcej możliwości, ale nawet gdybyśmy zdołali zapewnić obecność każdego możliwego świata fizycznego w tej klasie, nadal moglibyśmy się obawiać, że jakieś możliwości wciąż pozostałyby wykluczone. Dla przykładu: co z możliwością światów dualistycznych, w których fakty dotyczące świadomości nie wynikają z faktów fizycznych? Co z istnieniem wyrażeń okazjonalnych? Co z faktami normatywnymi? Faktami wyższej matematyki? Co z innymi rodzajami faktów, które my, omylni ludzie, mogliśmy przeoczyć, a które mogą się okazać istotne w nadawaniu sprawom najlepszego możliwego biegu? Niektórzy ludzie żywią silne przekonania, że jakaś konkretna teoria ontologiczna jest prawidłowa (wśród ludzi piszących o przyszłości SI wiara w ontologię materialistyczną, w której rzeczywistość umysłowa opiera się na rzeczywistości fizycznej, jest często brana za pewnik). Mimo to chwila refleksji nad historią idei powinna pomóc nam uzmysłowić sobie, że istnieje całkiem spora możliwość, że nasza ulubiona ontologia jest błędna. Gdyby XIX-wieczni naukowcy spróbowali sformułować inspirowaną fizyką definicję W, nie ujęliby w swoim modelu możliwości zaistnienia czasoprzestrzeni nieeuklidesowej, wieloświatu, kwantowej teorii wielu światów Everetta ani hipotezy symulacji — możliwości, których prawdopodobieństwo zaistnienia w świecie rzeczywistym wydaje się dziś znaczące. Możliwe, że istnieją inne warianty, których w obecnym pokoleniu jesteśmy podobnie nieświadomi. (Z drugiej strony, jeśli W jest zbyt duża, powstają trudności techniczne związane z koniecznością przypisania miar użyteczności na zbiorze transskończonym). Sytuację idealną osiągnęlibyśmy wówczas, gdyby udało nam się w jakiś sposób doprowadzić do tego, by SI mogła się posłużyć jakimś rodzajem otwartej ontologii, którą następnie sama SI mogłaby rozszerzyć, wykorzystując te same zasady, którymi byśmy się posłużyli, podejmując decyzję o tym, czy uznać nowy typ metafizycznej możliwości.

Rozważmy P(w|Ey). Określenie tego prawdopodobieństwa warunkowego nie jest w ścisłym tego słowa znaczeniu częścią problemu przekazywania wartości. Aby być bytem inteligentnym, SI musi już mieć jakąś metodę przypisywania dość dokładnego prawdopodobieństwa wielu istotnym, opartym na faktach możliwościom. System, który tego nie potrafi, nie stworzy takiego zagrożenia, jakie jest tutaj przedmiotem naszego zainteresowania. Jednakże może się pojawić zagrożenie, że SI zastosuje ostatecznie taką teorię poznania, która jest wystarczająco dobra, by SI osiągnęła instrumentalną efektywność, lecz nie jest wystarczająco dobra, by umożliwić jej prawidłowe myślenie o pewnych możliwościach, które mają ogromne znaczenie normatywne. (Problem określenia P(w|Ey) jest tym sposobem powiązany z problemem określenia W). Określenie P(w|Ey) wymaga również skonfrontowania się z innymi kwestiami, jak choćby opisanie niepewności co do logicznych niepodobieństw.

Wspomniane wcześniej kwestie — jak określić klasę możliwych działań, klasę możliwych światów i rozkład prawdopodobieństwa łączący dane uzyskane z obserwacji z klasami możliwych światów — są dość ogólne: podobne kwestie powstają w przypadku szerokiego wyboru formalnie opisanych sprawców. Pozostaje przeanalizować zbiór kwestii w sposób bardziej szczególny odnoszących się do podejścia do uczenia się wartości — mianowicie jak zdefiniować U, V(U) i P(V(U)|w).

U jest klasą funkcji użyteczności. Istnieje związek pomiędzy U i W o tyle, o ile każda funkcja użyteczności U(w) w U powinna w sytuacji idealnej przypisać użyteczność do każdego możliwego świata w w klasie W. Ale U musi być również szeroka w tym sensie, by zawierać wystarczająco wiele wystarczająco zróżnicowanych funkcji użyteczności, by usprawiedliwić pewność, że przynajmniej jedna z nich dobrze opisuje zamierzone wartości.

Powodem stosowania zapisu P(V(U)|w) zamiast po prostu P(U|w) jest chęć podkreślenia faktu, że prawdopodobieństwa przypisywane są wyrażeniom. Funkcja użyteczności per se nie jest wyrażeniem, ale możemy przekształcić funkcję użyteczności w wyrażenie, robiąc pewne zastrzeżenie. Dla przykładu: możemy zastrzec co do konkretnej funkcji użyteczności U(.), że opisuje ona preferencje konkretnej osoby lub też że reprezentuje zalecenia wynikające z jakiejś teorii etycznej, lub też że jest to funkcja użyteczności, którą zwierzchnik chciałby wcielić w życie, gdyby dogłębnie to sobie przemyślał. „Kryterium wartości” V(.) można zatem interpretować jako funkcję, która bierze za swój argument funkcję użyteczności U i przypisuje jako jej wartość wyrażenie, w wyniku czego U spełnia kryterium V. Kiedy już zdefiniowaliśmy wyrażenie V(U), możemy — miejmy nadzieję — uzyskać prawdopodobieństwo warunkowe P(V(U)|w) z jakiegokolwiek źródła, które wykorzystaliśmy, by zdobyć inne rozkłady prawdopodobieństwa w SI. (Jeśli jesteśmy pewni, że wszystkie normatywnie istotne fakty zostały wzięte pod uwagę w wyodrębnianiu możliwych światów W, wówczas P(V(U)|w) powinna wynosić zero lub jeden w każdym możliwym świecie). Pozostaje pytanie, w jaki sposób zdefiniować V. Jest to omówione dalej w tekście.

[19] Nie są to jedyne problemy podejścia zasadzającego się na uczenia się wartości. Inną kwestią jest na przykład, jak sprawić, by SI miała wystarczająco sensowne przekonania wyjściowe — a przynajmniej miała sensowne przekonania w chwili, w której stanie się na tyle silna, by udaremnić wysiłki programistów starających się ją poprawić.

[20] Yudkowsky (2001).

[21] Termin ten został zaczerpnięty z futbolu amerykańskiego, w którym „Hail Mary” jest bardzo długim podaniem do przodu wykonywanym w akcie ostatecznej rozpaczy, zazwyczaj wówczas, gdy czas prawie dobiega końca, a gracz ma mikroskopijną nadzieję, że inny gracz z tej samej drużyny złapie piłkę i zdobędzie punkty dzięki dotknięciu nią ziemi poza linią bramki przeciwnika.

[22] Podejście „Hail Mary” opiera się na koncepcji, że superinteligencja może wyartykułować swoje preferencje z większą precyzją niż my, ludzie, potrafimy wyartykułować nasze. Dla przykładu: superinteligencja może określić swoje preferencje w postaci kodu. A zatem jeśli nasza SI opisuje inne superinteligencje jako procesy obliczeniowe, które postrzegają swoje otoczenie, wówczas nasza SI powinna być zdolna do wykoncypowania, w jaki sposób te obce superinteligencje zareagują na jakiś hipotetyczny bodziec w rodzaju „okna” wyskakującego w ich polu widzenia, prezentującego im kod źródłowy naszej własnej SI i proszącego je o określenie ich poleceń dla nas w jakimś wygodnym, określonym wcześniej formacie. Nasza SI mogłaby później odczytać te wyobrażone instrukcje (z własnego modelu tego przeczącego faktom scenariusza, w którym owe obce superinteligencje są opisane), a my zbudowalibyśmy naszą SI w taki sposób, by była zmotywowana do postępowania zgodnie z tymi instrukcjami.

[23] Alternatywą byłoby stworzenie wykrywacza, który poszukuje (w ramach modelu świata naszej SI) opisów struktur fizycznych stworzonych przez cywilizację superinteligentną. Moglibyśmy później pominąć etap identyfikacji funkcji preferencji hipotetycznych superinteligencji i przekazać naszej własnej SI cel ostateczny polegający na próbie skopiowania wszelkich struktur fizycznych, które zgodnie z jej przekonaniem superinteligentne cywilizacje mogłyby wyprodukować.

Ta wersja również stwarza pewne problemy techniczne. Dla przykładu: ponieważ nasza własna SI, nawet po osiągnięciu superinteligencji, może nie być w stanie dowiedzieć się z dużą dokładnością, jakie struktury fizyczne budują inne superinteligencje, może być zmuszona odwołać się do prób przybliżenia tych struktur. Wydaje się, że aby to zrobić, nasza SI potrzebowałaby miary podobieństwa, wedle której oceniałaby, jak ściśle jeden fizyczny artefakt przybliża inny fizyczny artefakt. Ale miary podobieństwa oparte na zgrubnych miarach fizycznych mogą być nieadekwatne — niezdatne na przykład do oceny, że mózg bardziej przypomina camembert niż komputer, na którym działa emulacja.

Bardziej wykonalnym podejściem mogłoby być szukanie „drogowskazów” — informacji na temat funkcji użyteczności zakodowanych w jakimś stosownie prostym formacie. Zbudowalibyśmy naszą SI w taki sposób, by chciała postępować zgodnie z tymi informacjami na temat funkcji użyteczności, co do których przypuszcza, że mogłyby istnieć we Wszechświecie, i mielibyśmy nadzieję, że przyjazne pozaziemskie SI stworzyłyby rozmaite drogowskazy takiego rodzaju, który one same (z ich superinteligencją) uznałyby za najbardziej prawdopodobny obiekt poszukiwań SI zbudowanych przez cywilizacje tak proste jak nasza.

[24] Gdyby każda cywilizacja próbowała rozwiązać problem przekazywania wartości zgodnie z podejściem „Hail Mary”, podanie byłoby nieudane. Ktoś musi podjąć decyzję o niewybieraniu drogi na skróty.

[25] Christiano (2012).

[26] SI, którą budujemy, nie musi być również zdolna do konstruowania modelu. Podobnie jak my może się zastanawiać, co tak złożona, pośrednia definicja mogłaby oznaczać (być może przyglądając się swojemu otoczeniu i idąc zgodnie z tokiem rozumowania, którym równie my byśmy poszli).

[27] Por. rozdział 9. i 11.

[28] Przykładowo MDMA może tymczasowo zwiększać empatię. Oksytocyna może tymczasowo zwiększać zaufanie (Vollenweider i in. 1998, Bartz i in. 2011). Rezultaty wydają się jednak dość zróżnicowane i zależne od kontekstu.

[29] Udoskonalone podsystemy mogą zostać zabite lub zawieszone w czynnościach życiowych (pauzowane), zresetowane do poprzedniego stanu lub pozbawione możliwości podejmowania działań, co uniemożliwi im jakiekolwiek dalsze doskonalenie się, dopóki cały system nie osiągnie stanu większej dojrzałości i bezpieczeństwa, kiedy to buntowniczo nastawione elementy nie będą już stanowić dla niego zagrożenia.

[30] Ta kwestia może być również mniej oczywista w przyszłym społeczeństwie biologicznych ludzi — takim, które ma dostęp do zaawansowanych technik inwigilacji i biomedycznych technik psychologicznej manipulacji lub które jest tak zamożne, by móc sobie pozwolić na to, by niezwykle wysoki odsetek specjalistów od bezpieczeństwa zajął się inwigilacją zwykłych obywateli (i siebie nawzajem).

[31] Por. Armstrong (2007) i Shulman (2010b).

[32] Bez odpowiedzi pozostaje pytanie, do jakiego stopnia nadzorca z poziomu n będzie musiał monitorować nie tylko swoich podwładnych z poziomu (n–1), ale również ich podwładnych z poziomu (n–2), aby wiedzieć, że ci z poziomu (n–1) prawidłowo wykonują swoją pracę. I dalej: czy aby uzyskać wiedzę, że ci z poziomu (n–1) z sukcesem zarządzają tymi z poziomu (n–2), nadzorca z poziomu n musi monitorować również tych z poziomu (n–3)?

[33] To podejście przekracza linię demarkacyjną dzielącą dobór motywacji od kontroli potencjału. Technicznie rzecz biorąc: ta część układu, która polega na kontroli przez ludzi grupy programowych nadzorców, uznawana jest za kontrolę potencjału, natomiast ta część układu, która składa się z warstw działających w systemie programów kontrolujących inne warstwy, zalicza się do metod doboru motywacji (jeśli jest to układ, który kształtuje skłonność systemu do żywienia takich a nie innych pobudek).

[34] W gruncie rzeczy na uwagę zasługuje wiele innych rodzajów kosztów, lecz nie możemy ich nią w tym momencie obdarzyć. Dla przykładu: wszyscy sprawcy obarczeni odpowiedzialnością za zarządzanie taką hierarchią mogą zostać skorumpowani lub odsunięci od władzy.

[35] Aby ta gwarancja była skuteczna, musi być wprowadzona w życie w dobrej wierze. Wykluczyłoby to pewne rodzaje manipulowania emocjami emulacji i jej zdolnością do podejmowania decyzji, które w innym przypadku mogłyby zostać użyte na przykład do wzbudzenia w emulacji strachu przed jej przerwaniem lub do uniemożliwienia jej racjonalnego rozważenia dostępnych dla niej opcji.

[36] Patrz na przykład: Brinton (1965), Goldstone (1980, 2001). (Postęp w naukach społecznych w tych akurat dziedzinach byłby miłym prezentem dla wszystkich despotów tego świata, którzy mogliby wykorzystać bardziej precyzyjne modele prognostyczne niepokojów społecznych, by zoptymalizować swoje strategie kontroli ludności i delikatnie zdławić rebelię w zarodku przy mniejszej liczbie ofiar).

[37] Por. Bostrom (2011a, 2009b).

[38] W przypadku całkowicie sztucznego systemu mogłaby istnieć możliwość uzyskania niektórych plusów struktury instytucjonalnej bez faktycznego tworzenia odrębnych podsystemów. System mógłby obejmować swoim procesem decyzyjnym wiele punktów widzenia, nie wyposażając każdej z tych perspektyw w jej własny arsenał władz poznawczych niezbędnych do samodzielnego decydowania i działania. Jednak pełne wprowadzenie w życie opisanej w tekście cechy „obserwuj konsekwencje behawioralne proponowanej zmiany i wróć do poprzedniej wersji, jeśli wydaje się, że konsekwencje są niepożądane z perspektywy ex ante” mogłoby się okazać dość skomplikowane w systemie, który nie składa się z autonomicznych podsystemów.

Rozdział 13. Wybór kryteriów wyboru

[1] W ostatnim badaniu zawodowych filozofów liczono odsetek respondentów, którzy „akceptują” rozmaite stanowiska filozoficzne lub „skłaniają się ku” nim. W przypadku etyki normatywnej wyniki wyglądały następująco: deontologia 25,9%, konsekwencjalizm 23,6%, etyka wartości 18,2%. W przypadku metaetyki rezultaty były następujące: realizm moralny 56,4%, antyrealizm moralny 27,7%. W przypadku ocen moralnych: kognitywizm 65,7%, akognitywizm 17,0% (Bourget, Chalmers 2009).

[2] Pinker (2011).

[3] Omówienie tej kwestii patrz: Shulman i in. (2009).

[4] Moore (2011).

[5] Bostrom (2006b).

[6] Bostrom (2009b).

[7] Bostrom (2011a).

[8] Precyzyjniej rzecz ujmując, powinniśmy się powstrzymać od wyrażenia opinii z wyjątkiem tych tematów, w przypadku których mamy słuszne powody podejrzewać, że nasze przekonania są dokładniejsze. Dla przykładu: możemy wiedzieć więcej na temat tego, o czym myślimy w danym momencie, niż wie superinteligencja, jeśli nie potrafi skanować naszych mózgów. Moglibyśmy jednak pominąć to zastrzeżenie, gdybyśmy założyli, że superinteligencja ma dostęp do naszych opinii. Moglibyśmy wówczas zrzucić na superinteligencję również zadanie oceny, kiedy nasze opinie są godne zaufania. (Mogą pozostać pewne przypadki specjalne związane z wyrażeniami okazjonalnymi, którymi należałoby zająć się oddzielnie — poprzez na przykład nakazanie superinteligencji wyjaśnienia nam, w co rozsądnie byłoby uwierzyć z naszej perspektywy). Wprowadzenie do szybko przyrastającej literatury filozoficznej na temat wiarygodności świadectwa i autorytetu epistemicznego patrz na przykład: Elga (2007).

[9] Yudkowsky (2004). Patrz również: Mijic (2010).

[10] Dla przykładu David Lewis zaproponował predyspozycyjną teorię wartości, zgodnie z którą z grubsza rzecz biorąc, jakaś rzecz X ma wartość dla A wtedy i tylko wtedy, gdy A chciałby chcieć X, gdyby A był idealnie racjonalny i doskonale obznajmiony z X (Smith i in. 1989). Pokrewne koncepcje zostały wysunięte wcześniej, patrz na przykład: Sen, Williams (1982), Railton (1986) oraz Sidgwick, Jones (2010). Na nieco podobnej zasadzie jeden z powszechnie stosowanych opisów filozoficznego uzasadnienia, metoda refleksyjnej równowagi, postuluje proces iteracyjnych, wzajemnych korekt naszych intuicji dotyczących konkretnych przypadków, ogólnych zasad, które w naszym przekonaniu rządzą tymi przypadkami, oraz zasad, zgodnie z którymi w naszej ocenie te elementy powinny być weryfikowane w celu uzyskania spójniejszego systemu. Patrz na przykład: Rawls (1971) i Goodman (1954).

[11] Przypuszczalnie dążymy do sytuacji, w której jeśli SI podejmie działania mające na celu zapobieżenie tym katastrofom, to jej interwencje będą możliwie nieznaczne, to jest podjęte w taki sposób, by zapobiec katastrofie, nie wywierając zbyt wielkiego wpływu na rozwój losów ludzkości w innych aspektach.

[12] Yudkowsky (2004).

[13] Rebecca Roache, korespondencja osobista.

[14] Trzy wymienione zasady to: „Broń ludzi, przyszłości ludzkości i natury humanitarnej” (przymiotnik humanitarny opisuje nas takimi, jacy chcielibyśmy być, natomiast ludzki opisuje nas takimi, jacy jesteśmy), „Ludzkość nie powinna spędzić pozostałej części wieczności, rozpaczliwie żałując, że programiści nie zrobili czegoś inaczej” i „Pomagaj ludziom”.

[15] Niektóre grupy religijne kładą ogromny nacisk na wiarę przeciwstawioną rozumowi, uznając rozum — nawet w jego hipotetycznej, wyidealizowanej postaci, nawet po tym, jak ów rozum gorliwie i bez uprzedzeń przestudiowałby każdy fragment pisma, każde objawienie i każdą egzegezę — za niewystarczający do osiągnięcia dogłębnego zrozumienia na poziomie duchowym. Ci, którzy reprezentują takie poglądy, mogą nie uznawać CEV za drogowskaz umożliwiający podjęcie optymalnych decyzji (choć i tak mogą ją przedłożyć ponad inne niedoskonałe wskazówki, za którymi ludzkość może ostatecznie podążyć, gdyby podejście CEV zostało odrzucone).

[16] SI działająca niczym utajona siła natury mająca na celu regulację ludzkich interakcji była określana mianem „Sysop”, „systemu operacyjnego” materii okupowanej przez cywilizację ludzką. Patrz: Yudkowsky (2001).

[17] „Może”, ponieważ warunkiem jest spójna ekstrapolowana wola ludzkości życzącej sobie nierozciągania statusu moralnego na te jednostki, a zatem można wątpić, czy te jednostki mają faktycznie status moralny (choć obecnie wydaje się bardzo prawdopodobne, że mają). „Potencjalnie”, ponieważ nawet jeśli pojedynczy głos sprzeciwu uniemożliwi mechanizmowi CEV bezpośrednią ochronę tych outsiderów, nadal jest możliwe, że w ramach tych podstawowych zasad, które się ostaną po tym, jak uruchomiony zostanie mechanizm CEV, jednostki, których życzenia zostały uszanowane i które życzą sobie ochrony dobrostanu jednostek nienależących do grupy, mogą z sukcesem dobić targu, by osiągnąć taki wynik (kosztem zrzeczenia się części własnych zasobów). To, czy byłoby to możliwe, może zależeć od tego między innymi, czy wynik działania mechanizmu CEV jest zbiorem podstawowych zasad umożliwiających osiągnięcie wynegocjowanego rozwiązania kwestii tego rodzaju (które mogą wymagać odpowiednich postanowień, by przezwyciężyć problemy strategii negocjacyjnych).

[18] Jednostki, które pozytywnie przyczyniają się do stworzenia bezpiecznej i korzystnej superinteligencji, mogą zasługiwać na jakąś specjalną nagrodę za swoją pracę, aczkolwiek coś dalekiego od prawie wyłącznego mandatu na określenie sposobu rozdysponowania kosmicznego dziedzictwa ludzkości. Jednakże wyobrażenie o tym, że wszyscy otrzymają równy udział w naszej bazie ekstrapolacji, jest takim ładnym punktem Schellinga, że nie należy go ot tak odrzucać. Tak czy inaczej, istnieje pośrednia metoda nagrodzenia cnoty — mianowicie może się okazać, że sama CEV określi, że dobrzy ludzie, którzy wysilali się dla dobra ludzkości, powinni się doczekać stosownego uznania. Może się to wydarzyć bez przyznawania takim ludziom specjalnych, wyższych udziałów w bazie ekstrapolacji, jeśli — jak można sobie z łatwością wyobrazić — nasza CEV zatwierdziłaby (w tym sensie, by przypisać jej przynajmniej niezerową wagę) zasadę zasłużonej nagrody.

[19] Bostrom i in. (2013).

[20] W stopniu, w jakim istnieje jakieś (wystarczająco skończone) podzielane przez wszystkich znaczenie, które jest wyrażane, gdy wygłaszamy twierdzenia moralne, superinteligencja powinna być zdolna rozpoznać to znaczenie. A w stopniu, w jakim twierdzenia moralne mają rzeczywisty charakter wyrażenia, dzięki któremu mogą być prawdziwe lub fałszywe, superinteligencja powinna być zdolna rozpoznać, które twierdzenia sformułowane w postaci „Sprawca X powinien teraz Ф” są prawdziwe. Przynajmniej w tych zadaniach powinna osiągać lepsze wyniki niż my.

SI, której początkowo brakuje takiej zdolności moralnego poznania, powinna być zdolna do tego, by ją posiąść, jeśli dysponuje supermocą potęgowania inteligencji. Jednym ze sposobów, w jaki SI może to zrobić, jest odwrotna inżynieria rozumowania moralnego ludzkiego mózgu, a następnie implementacja podobnego procesu, lecz uruchomienie go szybciej, dostarczenie mu ściślejszych informacji dotyczących rzeczywistości i tak dalej.

[21] Ponieważ nie mamy pewności co do metaetyki, powstaje pytanie, co SI ma zrobić, jeśli warunki wstępne moralnej słuszności nie zostaną spełnione. Jedną z opcji jest zastrzeżenie, że SI wyłączy się sama, jeśli przypisze wystarczająco wysokie prawdopodobieństwo hipotezie, że moralny kognitywizm jest fałszywy, lub hipotezie, że nie istnieją żadne adekwatne bezwzględne prawdy moralne. Alternatywnie moglibyśmy kazać SI powrócić do jakiegoś podejścia alternatywnego w rodzaju CEV.

Możemy dopracować propozycję moralnej słuszności, by stało się bardziej oczywiste, co należy zrobić w rozmaitych niejednoznacznych lub zniekształconych przypadkach. Dla przykładu: jeśli teoria błędu wartościowania jest prawdziwa (a tym samym wszystkie pozytywne twierdzenia moralne w rodzaju „Powinienem teraz Ф” są fałszywe), wówczas mogłaby znaleźć zastosowanie strategia odwrotu (na przykład wyłączenia). Moglibyśmy również określić, co powinno się zdarzyć, gdyby istniało kilka możliwych do wykonania działań, a każde z nich byłoby moralnie słuszne. Przykładowo możemy powiedzieć, że w takich przypadkach SI powinna wykonać (jedną z) dozwolonych akcji, które kolektywna ekstrapolacja ludzkości przedkładałaby ponad inne. Możemy również zastrzec, co powinno się zdarzyć, gdyby prawdziwa teoria moralności nie stosowała terminów w rodzaju „moralnie słuszny” w swojej podstawowej nomenklaturze. Na przykład teoria konsekwencjalizmu może utrzymywać, że pewne działania są lepsze niż inne, ale nie istnieje żaden konkretny próg odpowiadający pojęciu działania „moralnie słusznego”. Możemy następnie powiedzieć, że jeśli taka teoria jest prawidłowa, to zgodnie z moralną słusznością SI powinna wykonać jedno z najlepszych moralnie wykonalnych działań, jeśli takie jest; a jeśli istnieje nieskończona liczba wykonalnych działań takich, że dla każdego wykonalnego działania istnieje jakieś lepsze, to może SI mogłaby wybrać dowolne, które jest przynajmniej astronomicznie lepsze od najlepszego działania, jakie człowiek zdolny byłby wybrać w podobnej sytuacji, jeśli takie działanie jest wykonalne — a jeśli nie, to działanie, które jest przynajmniej równie dobre co najlepsze działanie, jakie mógłby podjąć człowiek.

Należy mieć w pamięci kilka uwag natury ogólnej, kiedy myśli się o tym, w jaki sposób propozycja moralnej słuszności mogłaby zostać dopracowana. Po pierwsze, możemy zacząć zachowawczo, korzystając z opcji odwrotu, by pokryć prawie wszystkie ewentualności, i korzystając z opcji „moralnej słuszności” w tych przypadkach, które, jak nam się wydaje, w pełni rozumiemy. Po drugie, możemy dodać generalny modulator do propozycji moralnej słuszności, że ma ona być „interpretowana miłosiernie i rewidowana tak, jak byśmy ją rewidowali, gdybyśmy ją przemyśleli bardziej dogłębnie przed jej spisaniem i tak dalej”.

[22] Spośród tych terminów „wiedza” może się wydawać tym najlepiej poddającym się analizie formalnej (w kategoriach teorii informacji). Jednakże aby zdefiniować, czym jest dla człowieka znajomość czegoś, SI może potrzebować wyrafinowanego zestawu opisów odnoszących się do złożonych własności psychologicznych. Człowiek nie „zna” wszystkich informacji, które są składowane gdzieś w jego mózgu.

[23] Jednym ze wskaźników, że terminy CEV są (odrobinę) mniej mętne, jest to, że uznano by za filozoficzny postęp, gdybyśmy potrafili przeanalizować moralną słuszność w kategoriach podobnych do tych wykorzystywanych w CEV. Tak naprawdę jeden z głównych wątków metaetyki — teoria idealnego obserwatora — ma w zamierzeniu doprowadzić właśnie do tego. Patrz na przykład: Smith i in. (1989).

[24] Wymaga to zmierzenia się z problemem fundamentalnej niepewności normatywnej. Można dowieść, że nie zawsze jest właściwe działanie zgodnie z teorią moralną, która ma najwyższe prawdopodobieństwo prawdziwości. Wydaje się, że konieczna jest jakaś metoda uzupełnienia prawdopodobieństwa „stopniem nieprawidłowości” czy powagą kwestii leżących na szali. Niektóre koncepcje zmierzające w tym kierunku patrz: Bostrom (2009a).

[25] Można być może utrzymywać nawet, że jest to warunek adekwatności dla każdego wyjaśnienia pojęcia moralnej słuszności, by opisywało ono, w jaki sposób przeciętny Kowalski ma zyskać wyobrażenie o tym, co jest dobre, a co złe.

[26] Nie jest oczywiste, że rzeczą moralnie słuszną dla nas będzie zbudowanie SI, która wprowadzi w życie MS, nawet jeśli założymy, że sama SI będzie zawsze postępować moralnie. Być może byłoby nagannie butne lub aroganckie z naszej strony budowanie takiej SI (zwłaszcza że wielu ludzi może nie popierać takiego projektu). Tę kwestię można by częściowo załatwić, naciągając nieco propozycję MS. Załóżmy, że zastrzegamy, że SI powinna działać (robiąc to, co jest moralnie słuszne z jej perspektywy) tylko wtedy, gdyby było moralnie słuszne dla jej twórców zabieranie się w ogóle do budowania SI; w innym wypadku powinna się wyłączyć. Trudno dostrzec, jak moglibyśmy się dopuszczać jakiegoś wielkiego moralnego zła, tworząc taki rodzaj SI, ponieważ gdyby tworzenie jej przez nas było złe, jedyną konsekwencją byłoby to, że stworzona SI natychmiast by się sama wyłączyła — zakładając oczywiście, że SI nie uknułaby do tego momentu żadnego podstępu. (Mimo to moglibyśmy postąpić źle — przykładowo nie wykorzystując możliwości zbudowania zamiast tego jakiejś innej SI).

Drugą kwestią jest moralna nadwyżka. Załóżmy, że istnieje wiele działań, które SI może podjąć, a każde z nich byłoby moralnie słuszne — w sensie moralnej dopuszczalności — a mimo to niektóre z nich są moralnie lepsze od innych. Jedną z możliwości jest nakazanie SI w każdej takiej sytuacji dążenia do wyboru moralnie najlepszego działania (lub jednego z najlepszych działań, gdyby było kilka równie dobrych). Kolejną możliwością byłoby nakazanie SI dokonania wyboru spośród moralnie dopuszczalnych działań takiego działania, które maksymalnie zaspokaja jakieś inne (wykraczające poza moralność) postulaty. Dla przykładu: SI może wybrać spośród wielu działań moralnie dopuszczalnych takie, które byłoby zgodne z naszą CEV. Taka SI, nie robiąc nigdy nic moralnie niedopuszczalnego, mogłaby chronić nasze interesy bardziej niż SI, która robi to, co jest moralnie najlepsze.

[27] Kiedy SI ocenia moralną dopuszczalność naszego aktu kreacji SI, powinna interpretować dopuszczalność w jej sensie obiektywnym. W zwykłym sensie „moralnej dopuszczalności” lekarz działa w sposób dopuszczalny moralnie, kiedy przepisuje lek, który zgodnie z jego przekonaniem wyleczy pacjenta — nawet jeśli pacjent, co nie jest wiadome lekarzowi, ma alergię na ten lek, wskutek czego umiera. Koncentracja na obiektywnej dopuszczalności moralnej wykorzystuje przypuszczalnie nadrzędną epistemicznie pozycję SI.

[28] Bardziej bezpośrednio zależy to od przekonań SI co do tego, która teoria etyczna jest prawdziwa (lub też, ujmując to bardziej precyzyjnie, od jej rozkładu prawdopodobieństwa teorii etycznych).

[29] Może być trudno wyobrazić sobie, jak niewiarygodnie cudowne mogłyby być te fizycznie możliwe życia. Poetycka próba oddania tej perspektywy patrz: Bostrom (2008c). Argumentacja na rzecz tego, że część tych możliwości mogłaby być dobra dla nas, istniejących istot ludzkich, patrz: Bostrom (2008b).

[30] Promowanie takiej propozycji może wydawać się nieszczere lub manipulacyjne, jeśli człowiek sądzi, że jakaś inna propozycja mogłaby być lepsza. Ale można promować ją w taki sposób, który pozwala uniknąć nieszczerości. Dla przykładu: można swobodnie przyznać wyższość ideałowi i jednocześnie promować rozwiązanie nieidealne jako najlepszy możliwy do osiągnięcia kompromis.

[31] Lub wybierając jakiś inny termin zawierający w sobie ocenę pozytywną, jak „dobrze”, „wspaniale” czy „cudownie”.

[32] Jest to odbiciem zasady projektowania oprogramowania znanej jako „Zrób to, co mam na myśli” (DWIM — ang. do what I mean). Patrz: Teitelman (1966).

[33] Istota celu, teoria decyzji i epistemologia to trzy aspekty, które należałoby wyjaśnić. Nie zamierzamy jednak przesądzać o tym, czy trzeba koniecznie dokonywać zgrabnego podziału na te trzy oddzielne komponenty.

[34] Projekt etyczny powinien przypuszczalnie przeznaczyć przynajmniej skromną część ostatecznych korzyści wyprodukowanych przez superinteligencję na specjalne nagrody dla tych, którzy przyczynili się w moralnie akceptowalny sposób do jego sukcesu. Przeznaczenie dużej części na pakowanie zachęt byłoby niewłaściwe. Byłoby to analogiczne do zachowania instytucji dobroczynnej, która przeznacza 90% swoich przychodów na premie dla osób odpowiedzialnych za pozyskiwanie darowizn oraz kampanie reklamowe mające na celu zwiększenie tych darowizn.

[35] Jak można nagrodzić kogoś, kto jest martwy? Da się wymyślić kilka możliwości. Na dolny krańcu spektrum mogłyby się znaleźć uroczystości upamiętniające zmarłego i pomnik, które można by było uznać za nagrodę w takim stopniu, w jakim ludzie pragną pośmiertnej sławy. Zmarli mogą mieć również inne preferencje co do przyszłości, które mogłyby zostać uszanowane, dotykające na przykład obszarów kultury, sztuki, architektury czy środowiska naturalnego. Dalej: większość ludzi troszczy się o swoich potomków, więc specjalne przywileje mogłyby zostać zagwarantowane dzieciom i wnukom osób, które przyczyniły się do sukcesu. To już jest kwestia bardziej hipotetyczna, ale superinteligencja mogłaby być zdolna do stworzenia stosunkowo wiernych symulacji ludzi, którzy odeszli już w przeszłość — symulacji, które byłyby świadome i wystarczająco przypominałyby oryginał, by mogły zostać uznane za formę przeżycia (zgodnie z kryteriami przynajmniej niektórych ludzi). Byłoby to przypuszczalnie łatwiejsze w przypadku ludzi, którzy zostali zamrożeni, przez co zawieszeniu uległy ich funkcje życiowe. Ale być może dla superinteligencji nie byłoby niemożliwością odtworzenie czegoś dość podobnego do pierwotnej osoby z innych zachowanych zapisów takich jak korespondencja, publikacje, materiały audiowizualne i nagrania cyfrowe lub też osobiste wspomnienia żyjących. Superinteligencja mogłaby również pomyśleć o jakichś możliwościach, które nam jeszcze nie przychodzą do głowy.

[36] W kwestii „rozboju Pascala” patrz: Bostrom (2009b). Analiza tematów pokrewnych do nieskończonej użyteczności patrz: Bostrom (2011a). W kwestii fundamentalnej niepewności normatywnej patrz na przykład: Bostrom (2009a).

[37] Na przykład: Price (1991), Joyce (1999), Drescher (2006), Yudkowsky (2010), Dai (2009).

[38] Na przykład Bostrom (2009a).

[39] Można sobie również wyobrazić, że wykorzystanie normatywności pośredniej do określenia istoty celu SI ograniczy problemy, które mogłyby powstać w wyniku nieprawidłowego określenia teorii decyzji. Rozważmy dla przykładu podejście CEV. Gdyby zostało dobrze wprowadzone w życie, mogłoby skompensować przynajmniej niektóre błędy w specyfikacji teorii decyzji SI. Implementacja mogłaby pozwolić na to, by wartości, które zgodnie z naszą spójną, ekstrapolowaną wolą miałyby stać się celem dążeń SI, zależały od teorii decyzji SI. Gdyby nasze wyidealizowane ja wiedziały, że określają wartości dla SI posługującej się określoną teorią decyzji, mogłyby skorygować swoje specyfikacje wartości w taki sposób, by SI zachowywała się łagodnie i niezłośliwie mimo swej wypaczonej teorii decyzji — na podobnej zasadzie, jak można zniwelować zniekształcenie powodowane przez jedną soczewkę, umieszczając przed nią inną soczewkę, która zniekształca odwrotnie.

[40] Niektóre systemy teoriopoznawcze mogą, ogólnie rzecz biorąc, nie mieć żadnych wyróżniających je podstaw. W tym przypadku konstytucja wyjściowa nie jest oddzielnym zestawem reguł, lecz raczej epistemicznym punktem wyjścia, który uosabia pewne predyspozycje do reagowania na strumień odbieranych wrażeń.

[41] Patrz na przykład problem zniekształcenia omawiany w: Bostrom (2011a).

[42] Przykładowo jedną ze spornych kwestii rozumowania antropicznego jest to, czy tak zwane założenie samowskazania (ang. self-indication assumption) powinno być akceptowane. Założenie to stwierdza z grubsza, że z faktu, że istniejesz, powinieneś wywnioskować, że prawdopodobieństwo hipotez, zgodnie z którymi istnieje duża liczba N obserwatorów, należy zwiększyć proporcjonalnie do N. Argument przeciwko temu założeniu patrz: eksperyment myślowy „arogackiego filozofa” w Bostrom (2002a). Obrona tego założenia patrz: Olum (2002). Krytyka obrony patrz: Bostrom, Ćirković (2003). Przekonania co do założenia samowskazania mogą wywierać wpływ na rozmaite hipotezy empiryczne o potencjalnie kluczowej istotności strategicznej, na przykład rozważania w rodzaju argumentu dnia sądu ostatecznego Cartera-Lieslie’ego, argumentu symulacji i argumentów „wielkiego filtra”. Patrz: Bostrom (2002a, 2003a, 2008a), Carter (1983), Ćirković i in. (2010), Hanson (1998d), Leslie (1996), Tegmark, Bostrom (2005). Podobnego spostrzeżenia można dokonać w odniesieniu do innych spornych kwestii w teorii selekcji informacji, jak na przykład tego, czy wybór klasy odniesienia może zostać zrelatywizowany w stosunku do umiejscowienia obserwatora w czasie, a jeśli tak, to jak.

[43] Patrz na przykład: Howson, Urbach (1993). Są również pewne interesujące wyniki zawężające liczbę wariantów sytuacji, w których dwóch sprawców bayesowskich może się racjonalnie nie zgodzić, gdy ich opinie są przedmiotem powszechnie podzielanej wiedzy. Patrz: Aumann (1976), Hanson (2006).

[44] Porównaj koncepcja „ostatniego sędziego” w: Yudkowsky (2004).

[45] Istnieje wiele istotnych kwestii epistemologicznych, niektóre z nich wspomniano wcześniej w tekście. Chodzi o to, że nie musimy uzyskiwać całkowitej poprawności wszystkich rozwiązań, aby osiągnąć rezultat w zasadzie nieodróżnialny od najlepszego możliwego wyniku. Może zadziałać model mieszany, zawierający szeroki zakres rozmaitych przypuszczeń apriorycznych.

Rozdział 14. Perspektywa strategiczna

[1] Ta zasada została przedstawiona w Bostrom (2009b, 190), gdzie zaznaczono również, że nie jest ona tautologiczna. Aby stworzyć analogię wizualną, wyobraźmy sobie pudełko o wielkiej, lecz skończonej objętości, reprezentujące przestrzeń podstawowych możliwości, które można uzyskać dzięki jakiejś prawdopodobnej technologii. Wyobraźmy sobie wsypywanie do tego pudełka piasku, który reprezentuje prace badawcze. To, jak będziemy wsypywali piasek, określi, gdzie w pudełku usypią się górki. Jeśli jednak będziemy go sypali nieprzerwanie, w końcu całe pudełko zostanie wypełnione.

[2] Bostrom (2002b).

[3] Nie jest to perspektywa, w której tradycyjnie ujmowano politykę prowadzenia badań naukowych. Harvey Averch opisuje politykę prowadzenia prac naukowo-technologicznych w Stanach Zjednoczonych w latach 1945 – 1984 jako skoncentrowaną wokół dyskusji na temat optymalnego poziomu inwestycji publicznych w przedsięwzięcia naukowo-technologiczne i zakresu, w jakim rząd powinien starać się „wybierać zwycięzców”, aby osiągnąć największy wzrost pomyślności gospodarczej i potencjału militarnego państwa. W tych kalkulacjach przyjmuje się, że postęp techniczny jest zawsze dobry. Lecz Avers opisuje również narastanie krytycyzmu kwestionującego przesłankę, zgodnie z którą „postęp jest zawsze dobry” (Averch 1985). Patrz również: Graham (1997).

[4] Bostrom (2002b).

[5] Nie jest to oczywiście żadną miarą tautologia. Można sobie wyobrazić argumenty za innym porządkiem rozwoju. Można dowodzić, że byłoby lepiej dla ludzkości zmierzyć się najpierw z jakimiś łatwiejszymi wyzwaniami — powiedzmy: z rozwojem nanotechnologii — z takiego to powodu, że zmusiłoby nas to do rozwoju lepszych instytucji, ściślejszej koordynacji międzynarodowej i dojrzałości myślenia strategicznego w skali globalnej. Być może mielibyśmy większe szanse sprostać zadaniu stanowiącemu groźbę mniej metafizycznie dezorientującą niż superinteligentne maszyny. Nanotechnologia (czy biologia syntetyczna, czy jakakolwiek drobniejsza kwestia, z którą się najpierw skonfrontujemy) może nam później posłużyć za punkt oparcia pozwalający nam się wznieść na poziom możliwości koniecznych do poradzenia sobie z większymi problemami stwarzanymi przez superinteligencję.

Taki argument należałoby rozważyć na konkretnych przypadkach. Akurat w przypadku nanotechnologii należałoby wziąć pod uwagę rozmaite możliwe następstwa w rodzaju: raptownego przyrostu wydajności sprzętu w wyniku powstania nanofabrykowanych substratów obliczeniowych, wpływu tanich zasobów fizycznych dostępnych dla przemysłu na wzrost gospodarczy, upowszechnienia się zaawansowanej technologii inwigilacji, możliwości, że singleton powstanie w wyniku pośredniego lub bezpośredniego wpływu przełomu nanotechnologicznego, oraz większej szansy na to, że myślące maszyny uda się uzyskać dzięki podejściom neuromorficznym lub emulacji mózgu. Rozważenie wszystkich tych kwestii (albo też kwestii równoległych, które mogłyby zostać podniesione w przypadku innych technologii stwarzających groźbę zagłady ludzkości) wykracza poza zakres naszych badań. Tutaj zwracamy tylko uwagę, bez zagłębiania się w dalsze szczegóły, na argumenty przemawiające za rozwijaniem w pierwszej kolejności superinteligencji — podkreślając jednocześnie, że istnieją pewne komplikacje, które w pewnych przypadkach mogą zmienić tę wstępną ocenę.

[6] Pinker (2011), Wright (2001).

[7] Kuszące może być założenie, że hipoteza, zgodnie z którą wszystko przyspiesza, jest pozbawiona znaczenia z tego powodu, że nie wydaje się (na pierwszy rzut oka) powodować żadnych obserwowalnych następstw, ale patrz na przykład: Shoemaker (1969).

[8] Poziom przygotowania nie jest mierzony ilością wysiłku włożonego w prace przygotowawcze, lecz tym, jak pomyślnie skonfigurowane zostały faktycznie warunki i jak dobrze są przygotowani kluczowi decydenci do podjęcia stosownych działań.

[9] Poziom zaufania międzynarodowego w okresie poprzedzającym eksplozję inteligencji również może odgrywać pewną rolę. Rozważymy to w ustępie „Współpraca” w dalszej części tego rozdziału.

[10] Nie znajduje to oparcia w naukowych obserwacjach, ale wydaje się, że ci, którzy są obecnie poważnie zainteresowani problemem kontroli, rekrutują się w stopniu nieproporcjonalnym z jednego tylko krańca rozkładu inteligencji, choć to wrażenie może mieć jakieś inne uzasadnienie. Jeśli dziedzina ta stanie się modna, bez wątpienia przyciągnie całą masę miernot i szajbusów.

[11] Zawdzięczam ten termin Carlowi Shulmanowi.

[12] Jak podobna do mózgu musi być myśląca maszyna, by można ją było uznać za emulację mózgu, a nie za neuromorficzną SI? Istotną determinantą mogłoby być to, czy system reprodukuje wartości czy pełen wybór poznawczych i wartościujących predyspozycji albo konkretnej jednostki, albo ujmowanej ogólnie istoty ludzkiej, ponieważ miałoby to prawdopodobnie znaczenie dla problemu kontroli. Uchwycenie tych własności może wymagać dość wysokiego stopnia wierności emulacji.

[13] Skala wzrostu będzie oczywiście zależna od tego, jak silny jest impuls rozwojowy, a także skąd pochodzą środki umożliwiające ten impuls. Neurobiologia może nie otrzymać żadnego impulsu netto, jeśli wszystkie dodatkowe zasoby zainwestowane w badania nad emulacją mózgu uszczuplą środki na zwykłe badania neurobiologiczne — chyba że silniejsze skupienie na badaniach związanych z emulacją okaże się bardziej efektywną metodą dokonania postępu w dziedzinie neurobiologii niż domyślne portfolio badań neurobiologicznych.

[14] Patrz: Drexler (1986, 242). Drexler (korespondencja prywatna) potwierdza, że ta rekonstrukcja odpowiada rozumowaniu, które starał się przedstawić. Oczywiście, gdyby chcieć przedstawić tę argumentację w postaci wnioskowania dedukcyjnego, należałoby dodać pewną liczbę domyślnych założeń.

[15] Może nie powinniśmy się cieszyć z małych katastrof na wypadek, gdyby do tego stopnia mogły zwiększyć naszą czujność, by skłonić nas do zapobieżenia średnim katastrofom, które byłyby konieczne, byśmy przedsięwzięli silne środki zaradcze konieczne do zapobieżenia katastrofom egzystencjalnym? (I oczywiście podobnie jak w przypadku biologicznych systemów odpornościowych, musimy również obawiać się reakcji nadmiernej, analogicznej do reakcji alergicznych i zaburzeń autoimmunologicznych).

[16] Por. Lenman (2000), Burch-Brown (2014).

[17] Por. Bostrom (2007).

[18] Zauważmy, że ten argument skupia się na porządku, a nie na momencie wystąpienia istotnych zdarzeń. Sprawienie, że superinteligencja pojawi się wcześniej, pomogłoby zapobiec innym zagrożeniom egzystencjalnym okresu przejściowego tylko wtedy, gdyby ta interwencja zmieniła kolejność kluczowych wydarzeń — na przykład sprawiając, by superinteligencja rozwinęła się, zanim zostaną osiągnięte rozmaite kamienie milowe w dziedzinie nanotechnologii lub biologii syntetycznej.

[19] Jeśli rozwiązanie problemu kontroli okaże się skrajnie trudne w porównaniu do rozwiązania problemu wydajności myślących maszyn i jeśli możliwości projektu będą w niewielkim stopniu zależeć od jego wielkości, wówczas możliwe, że byłoby lepiej, by to mały projekt zakończył się sukcesem — konkretnie w przypadku, gdyby zróżnicowanie możliwości okazało się większe wśród mniejszych projektów. W takiej sytuacji nawet jeśli osoby zatrudnione w mniejszych projektach byłyby średnio mniej kompetentne od osób zatrudnionych w dużych projektach, mogłoby być mniej nieprawdopodobne, że jakiś mały projekt okaże się cechować przerażająco wysokim poziomem kompetencji koniecznym do rozwiązania problemu kontroli.

[20] To twierdzenie nie ma być zaprzeczeniem tezy, że można sobie wyobrazić narzędzia, które mogłyby wspierać globalne obrady i które skorzystałyby na dalszych postępach w dziedzinie sprzętu (czy wręcz ich wymagały) — na przykład wysokiej jakości tłumaczenie, lepsze wyszukiwanie, powszechny dostęp do smartfonów, atrakcyjne środowiska rzeczywistości wirtualnej umożliwiające kontakty społeczne i tak dalej.

[21] Inwestycje w technologie emulacji mogą przyspieszyć postęp w dziedzinie emulacji mózgu nie tylko bezpośrednio (dzięki wszelkim technicznym produktom projektu), ale również pośrednio, poprzez stworzenie klienteli, która będzie domagać się większego finansowania i zwiększy zarówno widoczność, jak i wiarygodność wizji emulacji mózgu.

[22] Jaka część wartości oczekiwanej zostanie utracona, jeśli kształt przyszłości określą pragnienia jednego przypadkowego człowieka, a nie (odpowiednio zagregowane) pragnienia całej ludzkości? Może to zależeć od tego, jakimi normami oceny się posłużymy, a także od tego, czy rzeczone pragnienia zostaną wykorzystane w postaci wyidealizowanej, czy surowej.

[23] Przykładowo: o ile ludzkie umysły komunikują się powoli za pośrednictwem języka, SI można zaprojektować w taki sposób, by instancje tego samego programu mogły łatwo i szybko przekazywać sobie zarówno umiejętności, jak informacje. Umysły maszyn zaprojektowanych od zera mogłyby się obyć bez kłopotliwych systemów spadkowych, które pozwalały naszym przodkom radzić sobie z rozmaitymi aspektami środowiska naturalnego będącymi w cyfrowym świecie zupełnie bez znaczenia. Cyfrowe umysły można również zaprojektować w taki sposób, by wykorzystać szybkie przetwarzanie szeregowe niedostępne dla mózgów biologicznych oraz ułatwić instalowanie nowych modułów z wysoce zoptymalizowaną funkcjonalnością (na przykład przetwarzaniem symbolicznym, rozpoznawaniem wzorców, symulatorami, wydobywaniem danych i planowaniem). Sztuczna inteligencja może mieć również znaczne przewagi nietechniczne, takie jak większa łatwość patentowania czy mniejsze uwikłanie w dylematy moralne wykorzystywania „zapisu” człowieka.

[24] Jeśli p_1 i p_2 to prawdopodobieństwa usterki na każdym etapie, całkowite prawdopodobieństwo usterki wynosi p_1+(1–p_1)p_2, ponieważ usterka terminalna może wystąpić tylko raz.

[25] Jest oczywiście możliwe, że lider nie będzie miał tak dużej przewagi i nie będzie w stanie utworzyć singletonu. Jest również możliwe, że singleton powstanie przed SI nawet bez emulacji mózgu — w takim przypadku argument za preferowaniem scenariusza, w którym emulacja jako pierwsza kończy się sukcesem, traci zasadność.

[26] Czy istnieje jakiś sposób, dzięki któremu proponent emulacji mógłby ukonkretnić swoje wsparcie, by rozwój emulacji postępował szybciej, przy jednoczesnej minimalizacji skutków ubocznych rozwoju SI? Promowanie technologii skanowania jest prawdopodobnie lepszym wyborem niż promowanie modelowania neuroobliczeniowego. (Promowanie rozwoju sprzętu komputerowego nie wywrze raczej większego wpływu ani w jedną, ani w drugą stronę, biorąc pod uwagę interesy ogromnych korporacji, które i tak napędzają rozwój w tej dziedzinie).

Promowanie technologii skanowania może zwiększyć prawdopodobieństwo wyniku wielobiegunowego poprzez zmniejszenie prawdopodobieństwa, że skanowanie okaże się wąskim gardłem, a więc zwiększenie prawdopodobieństwa, że populacja wczesnych symulacji zostanie odbita z wielu różnych wzorców człowieka, a nie będzie się składać z gazyliona kopii maleńkiej liczby wzorców. Postęp w dziedzinie technologii skanowania zwiększa również prawdopodobieństwo, że wąskim gardłem okaże się sprzęt obliczeniowy, co zapewne spowolniłoby odejście.

[27] Neuromorficznej SI mogłoby również brakować innych sprzyjających bezpieczeństwu atrybutów emulacji mózgu, takich jak posiadanie profilu silnych i słabych poznawczo stron podobnego do profilu biologicznej istoty ludzkiej (co pozwoliłoby nam wykorzystać nasze doświadczenia z ludźmi, by zbudować sobie jakieś oczekiwania co do możliwości systemu na różnych etapach jego rozwoju).

[28] Jeśli czyjąś motywacją do promowania emulacji jest chęć urzeczywistnienia emulacji przed SI, to powinien on pamiętać o tym, że przyspieszanie rozwoju emulacji zmieni kolejność pojawienia się poszczególnych technologii tylko wówczas, gdy dwie domyślne ścieżki wiodące ku myślącym maszynom są do siebie zbliżone w czasie, a lekka przewaga jest po stronie SI. Inaczej albo inwestycje w emulacje sprawią po prostu, że emulacja pojawi się wcześniej, niż doszłoby do tego w innym przypadku (redukując nawis sprzętowy i czas przygotowania), lecz nie będzie to miało wpływu na kolejność wydarzeń, albo takie inwestycje w emulację wywrą bardzo niewielki wpływ na cokolwiek (wyjąwszy może pojawienie się SI jeszcze wcześniej, niż normalnie miałoby to miejsce, poprzez stymulację postępu w dziedzinie neuromorficznej SI).

[29] Komentarz na temat: Hanson (2009).

[30] Oczywiście, istnieje jakaś skala i nieuchronność ryzyka egzystencjalnego, dla której byłoby lepiej nawet z perspektywy wpływu na człowieka odwlec to zagrożenie — czy po to, by umożliwić żyjącym ludziom zaznanie jeszcze odrobiny życia, zanim kurtyna opadnie, czy po to, by dać im trochę więcej czasu na podjęcie wysiłków zmierzających do ograniczenia zagrożenia.

[31] Załóżmy, że moglibyśmy podjąć jakieś działanie, które przybliżyłoby eksplozję inteligencji o rok. Powiedzmy, że ludzie żyjący obecnie na Ziemi wymierają w tempie 1% rocznie i że domyślne ryzyko wymarcia ludzkości w wyniku eksplozji inteligencji wynosi 20% (wybraliśmy dowolną liczbę wyłącznie w celu ilustracyjnych). A zatem przyspieszenie wystąpienia eksplozji inteligencji o rok może być równoważne (z punktu widzenia wpływu na człowieka) zwiększeniu ryzyka z 20% do 21%, a zatem pięcioprocentowemu wzrostowi ryzyka. Jednakże przytłaczająca większość ludzi żyjących rok przed zapoczątkowaniem eksplozji inteligencji miałaby w tym momencie interes w odwleczeniu tej eksplozji, gdyby w ten sposób mogli zmniejszyć ryzyko zagłady o jeden punkt procentowy (ponieważ większość ludzi uznałaby ryzyko własnej śmierci w przyszłym roku za znacznie mniejsze niż 1% — biorąc pod uwagę, że śmierć dotyka zazwyczaj względnie wąską grupę demograficzną ludzi starych lub słabych). Można byłoby zatem opracować model, w którym każdego roku ludność głosowałaby za tym, by odłożyć eksplozję inteligencji o rok, przez co do eksplozji inteligencji nigdy by nie doszło, choć wszyscy kiedykolwiek żyjący zgodziliby się, że byłoby lepiej, gdyby eksplozja inteligencji w pewnym momencie jednak się wydarzyła. Oczywiście w rzeczywistości problemy z koordynacją, ograniczona przewidywalność lub preferowanie rzeczy innych niż osobiste przetrwanie prawdopodobnie zapobiegłyby takiej niekończącej się pauzie.

Jeśli posłużyć się standardowym ekonomicznym wskaźnikiem stopy dyskonta, a nie normą wpływu na człowieka, skala potencjalnych zalet zmniejszyłaby się, ponieważ wartość cieszenia się przez żyjących astronomicznie długim życiem ulega bardzo szybkiemu dyskontowaniu. Efekt ten jest szczególnie silny, gdy stopa dyskontowa zostanie zastosowana w odniesieniu do subiektywnego czasu życia każdej osoby, a nie do czasu gwiazdowego. Jeśli przyszłe korzyści są dyskontowane według stopy x% rocznie, a poziom zagrożenia egzystencjalnego wynikającego z innych źródeł wynosi y% rocznie, wówczas optymalnym momentem na eksplozję inteligencji byłby moment, w którym odwlekanie eksplozji o kolejny rok dałoby mniej niż x+y punktów procentowych zmniejszenia zagrożenia egzystencjalnego związanego z eksplozją inteligencji.

[32] Jestem dłużnikiem Carla Shulmana i Stuarta Armstronga, którzy pomogli mi w opracowaniu tego modelu. Patrz również: Shulman (2010a, 3): „Chalmers (2010) donosi o konsensusie panującym wśród kadetów i pracowników akademii wojskowej U.S. West Point co do tego, że rząd amerykański nie będzie ograniczał badań nad SI nawet w obliczu potencjalnej katastrofy z obawy, że wrogie siły uzyskają decydującą przewagę”.

[33] To znaczy, że informacja w tym modelu jest zawsze zła ex ante. Oczywiście zależnie od tego, co to właściwie za informacja, w niektórych przypadkach okaże się korzystne, że informacja zostanie ujawniona, zwłaszcza jeśli przepaść między liderem a jego rywalami jest znacznie większa niż ktokolwiek mógłby rozsądnie z góry podejrzewać.

[34] Może to nawet stwarzać groźbę zagłady ludzkości, zwłaszcza jeśli zostanie poprzedzone wprowadzeniem nowatorskiej techniki wojskowej umożliwiającej sianie zniszczenia lub bezprecedensową rozbudową arsenału.

[35] Pracownicy zatrudnieni w projekcie mogliby pracować w rozproszeniu, w bardzo wielu lokalizacjach, i współpracować za pośrednictwem zaszyfrowanych kanałów komunikacyjnych. Ta taktyka pociąga jednak za sobą transakcje wymienne związane z bezpieczeństwem — o ile rozproszenie geograficzne może stanowić pewną formę ochrony przed atakiem wojskowym, o tyle podkopie jednocześnie bezpieczeństwo działania, bo przy takim rozproszeniu trudniej jest zapobiec zdradzie i ucieczce pracowników, wyciekowi informacji lub porwaniom dokonanym przez wrogie siły.

[36] Zauważmy, że duża czasowa stopa dyskontowa mogłaby sprawić, że uczestnicy projektu zachowywaliby się tak, jakby brali udział w wyścigu, nawet gdyby wiedzieli, że nie ma żadnego przeciwnika. Wysoka stopa dyskontowa oznacza, że odległa przyszłość mało by ich obchodziła. Zależnie od sytuacji zniechęciłoby to do prowadzenia wybiegających dalece w przyszłość prac badawczo-rozwojowych, co zapewne odwlekłoby w czasie rewolucję myślących maszyn (choć być może gdyby w końcu do niej doszło, byłaby raptowniejsza ze względu na nawis sprzętowy). Ale wysoka stopa dyskontowa — lub też niski poziom troski o przyszłe pokolenia — sprawiałaby również, że groźba zagłady ludzkości wydawałaby się mniej istotna. Zachęciłoby to zespół projektowy do ryzykownych posunięć stwarzających możliwość osiągnięcia natychmiastowych zysków kosztem zwiększenia ryzyka katastrofy egzystencjalnej, zniechęcając w ten sposób do inwestycji w bezpieczeństwo, zachęcając zaś do jak najszybszego osiągnięcia sukcesu — co imituje oddziaływanie dynamiki wyścigu. W przeciwieństwie do dynamiki wyścigu jednakże duża stopa dyskontowa (lub brak troski o przyszłe pokolenia) raczej nie sprzyjałyby w szczególny sposób rozniecaniu konfliktu.

Ograniczenie dynamiki wyścigu jest główną korzyścią ze współpracy. To, że współpraca ułatwiałaby dzielenie się pomysłami na rozwiązanie problemu kontroli, jest również pewną korzyścią, chociaż jest do pewnego stopnia niwelowane faktem, że współpraca umożliwiałaby też wymianę pomysłów na rozwiązanie problemu kompetencji. Efekt netto tej wymiany pomysłów mógłby być równoznaczny z lekkim podniesieniem inteligencji zbiorowej odnośnej społeczności badawczej.

[37] Z drugiej strony publiczny nadzór prowadzony przez tylko jeden rząd pociągałby za sobą ryzyko uzyskania w efekcie sytuacji, w której jedno państwo monopolizuje wszystkie zyski. Ten wynik wydaje się gorszy niż taki, w którym nieodpowiadający przed nikim altruiści dopilnowują, by zyskali wszyscy. Co więcej, nadzór prowadzony przez jakiś rząd krajowy nie oznaczałby wcale, że wszyscy obywatele tego właśnie kraju otrzymają udział w zyskach — zależnie od tego, o jaki kraj chodzi, istnieje mniejsze lub większe ryzyko, że wszystkie korzyści zostaną przechwycone przez polityczną elitę lub nielicznych pracowników rozmaitych agencji dbających o własne interesy.

[38] Z jednym zastrzeżeniem: wykorzystanie pakowania zachęt (omówionego w rozdziale 12.) może w pewnych okolicznościach zachęcić ludzi do tego, by przystąpili do projektu jako czynni współpracownicy, a nie bierni pasażerowie na gapę.

[39] Wydaje się, że zjawisko malejących przychodów krańcowych wystąpiłoby przy znacznie mniejszej skali. Większość ludzi wolałaby posiadać jedną gwiazdę niż jedną szansę na miliard posiadania galaktyki liczącej miliardy gwiazd. W gruncie rzeczy większość ludzi wolałaby mieć miliardową część zasobów Ziemi niż jedną szansę na miliard posiadania zasobów całej planety.

[40] Por. Shulman (2010a).

[41] Agregacyjne teorie etyczne napotykają kłopoty, kiedy traktuje się poważnie koncepcję, że Kosmos może być nieskończony — patrz: Bostrom (2011b). Kłopoty mogą się pojawić również wówczas, gdy traktuje się poważnie koncepcję absurdalnie wielkich, lecz skończonych wartości — patrz: Bostrom (2009b).

[42] Jeśli zbuduje się większy komputer, to ostatecznie napotka się ograniczenia względności wynikające z opóźnień komunikacyjnych pomiędzy różnymi częściami komputera — sygnały nie rozchodzą się szybciej niż światło. Jeśli zmniejszy się komputer, napotka się kwantowe ograniczenia miniaturyzacji. Jeśli zwiększy się gęstość komputera, napotka się na ograniczenie czarnej dziury. Prawdę mówiąc, nie możemy być całkowicie pewni, że nie okaże się pewnego dnia, że nowa fizyka znalazła jakieś metody obejścia tych ograniczeń.

[43] Liczba kopii osoby wzrastałaby liniowo wraz ze wzrostem zasobów bez żadnego ograniczenia górnego. Mimo to nie jest jasne, jak bardzo przeciętny człowiek ceniłby posiadanie wielu kopii samego siebie. Nawet ci ludzie, którzy woleliby zostać zwielokrotnieni, mogliby nie mieć takiej funkcji użyteczności, która rośnie liniowo wraz z liczbą kopii. Numerom kopii, niczym latom życia, w funkcji użyteczności typowego człowieka mogłaby być przypisywana coraz mniejsza wartość.

[44] Singleton charakteryzuje wysoki stopień wewnętrznej współpracy na najwyższych poziomach podejmowania decyzji. Singleton mógłby charakteryzować się brakiem współpracy i wieloma konfliktami na niższych szczeblach, gdyby sprawcy wyższego poziomu ustanawiający singleton tak właśnie postanowili.

[45] Jeśli każdy z rywalizujących zespołów SI jest przekonany, że inne zespoły tak pobłądziły, że nie mają szans doprowadzenia do eksplozji inteligencji, wówczas jedyny powód do współpracy — unikanie dynamiki wyścigu — zostaje wyeliminowany; każdy zespół niezależnie powinien zwolnić prace, głęboko przekonany, że nie ma żadnej poważnej konkurencji.

[46] Doktorant.

[47] To sformułowanie w zamierzeniu powinno zostać odczytane w taki sposób, by przekazywać instrukcję odpowiedniego troszczenia się o dobrostan zwierząt i innych istot rozumnych (włącznie z umysłami cyfrowymi), które już istnieją lub mogą zaistnieć. Nie należy go interpretować jako zgody na to, by jeden z twórców SI zastąpił powszechnie wyznawane przekonania moralne własnymi intuicjami moralnymi. Ta zasada jest spójna z podejściem „spójnej, ekstrapolowanej woli” omówionym w rozdziale 12., gdzie baza ekstrapolacji obejmuje wszystkich ludzi.

Dalsze wyjaśnienie: w zamierzeniu to sformułowanie nie ma koniecznie wykluczać możliwości poprzejściowych praw własności do sztucznych inteligencji lub tworzących je algorytmów i struktur danych. Sformułowanie to ma być agnostyczne, jeśli chodzi o to, jaki system polityczny lub prawny służyłby najlepiej organizacji transakcji w ramach hipotetycznego przyszłego społeczeństwa postludzkiego. Jest intencją tego sformułowania zapewnienie, że wybór takiego systemu — w stopniu, w jakim jest on przyczynowo zdeterminowany tym, w jaki sposób zostanie uzyskana pierwsza superinteligencja — zostanie dokonany na bazie określonego kryterium, a zatem poprzejściowy ustrój konstytucyjny powinien zostać wybrany z korzyścią dla całej ludzkości i w służbie powszechnie podzielanych ideałów etycznych — w przeciwieństwie na przykład do korzyści uzyskiwanych jedynie przez tych, którym akurat udało się jako pierwszym opracować superinteligencję.

[48] Doprecyzowanie klauzuli nadzwyczajnych korzyści jest oczywiście możliwe. Dla przykładu: być może próg powinien zostać wyrażony w kategoriach per capita, a może zwycięzca powinien otrzymać zgodę na zatrzymanie nieco większej części nadwyżki, co stanowiłoby silniejszą zachętę do dalszej produkcji (atrakcyjny mógłby być tutaj jakiś wariant zasady maksyminu Rawlsa). Inne doprecyzowania odeszłyby od wyrażania korzyści w dolarach na rzecz wyrażenia jej we „wpływie na przyszłość ludzkości”, „stopniu, w jakim interesy różnych stron uwzględniane są w funkcji użyteczności przyszłego singletonu” czy czymś podobnym.

Rozdział 15. Moment krytyczny

[1] Pewne badania są wartościowe nie ze względu na to, co pozwalają odkryć, lecz z innych powodów, jak choćby rozrywka, edukacja, oficjalne uznanie lub podniesienie na duchu tych, którzy się nimi zajmują.

[2] Nie sugeruję, że nikt nie powinien się zajmować czystą matematyką lub czystą filozofią. Nie sugeruję również, by były to zajęcia szczególnie marnotrawiące siły i środki w porównaniu do wszystkich pozostałych czczych rozrywek świata akademickiego czy społeczeństwa jako takiego. Zapewne to bardzo dobrze, że niektórzy ludzie mogą się oddać życiu umysłowemu i podążać za własną ciekawością intelektualną, dokądkolwiek ich zaprowadzi, nie myśląc o jakichkolwiek korzyściach czy wywieraniu wpływu na kształt świata. Sugeruję jedynie na marginesie, że część najtęższych umysłów mogłaby — zdawszy sobie sprawę z tego, że ich osiągnięcia poznawcze mogą się okazać przestarzałe w dającej się przewidzieć przyszłości — zechcieć skierować swoją uwagę na te problemy teoretyczne, w przypadku których rzeczywiście ma istotne znaczenie, czy rozwiązanie otrzymamy odrobinę wcześniej.

[3] Choć należy zachować ostrożność w przypadkach, w których niepewność może pełnić funkcję ochronną — przypomnijmy sobie dla przykładu model wyścigu ryzyka opisany w ramce 13., kiedy to stwierdziliśmy, że dodatkowa informacja strategiczna może być szkodliwa. Ujmując to bardziej ogólnie, powinniśmy się przejmować zagrożeniami związanymi z informacją (patrz Bostrom [2011b]). Kuszące jest stwierdzenie, że potrzebujemy głębszej analizy zagrożeń informacyjnych. To zapewne prawda, choć nadal można się obawiać, że sama taka analiza może zaowocować wyprodukowaniem niebezpiecznej informacji.

[4] Por. Bostrom (2007).

[5] Jestem wdzięczny Carlowi Shulmanowi za podkreślenie tego spostrzeżenia.

Bibliografia

Acemoglu Daron, Labor- and Capital-Augmenting Technical Change, „Journal of the European Economic Association”, 1, 1, 2003, s. 1 – 37.

Albertson D.G., Thomson J.N., The Pharynx of Caenorhabditis Elegans, „Philosophical Transactions of the Royal Society B: Biological Sciences”, 275, 938, 1976, s. 299 – 325.

Allen Robert C., A Review of Gregory Clark’s A Farewell to Alms: A Brief Economic History of the World, „Journal of Economic Literature”, 46, 4, 2008, s. 946 – 973.

American Horse Council, National Economic Impact of the US Horse Industry, 2005, http://www.horsecouncil.org/product/2005-economic-impact-horse-industry-united-states-national-report [dostęp: 14 listopada 2015].

Anand Paul, Pattanaik Prasanta, Puppe Clemens (red.), The Oxford Handbook of Rational and Social Choice, Oxford University Press, New York 2009.

Andres B., Koethe U., Kroeger T., Helmstaedter M., Briggman K.L., Denk W., Hamprecht F.A., 3D Segmentation of SBFSEM Images of Neuropil by a Graphical Model over Supervoxel Boundaries, „Medical Image Analysis”, 16, 4, 2012, s. 796 – 805.

Armstrong Alex, Computer Competes in Crossword Tournament, „I Programmer”, 19 marca 2012.

Armstrong Stuart, Chaining God: A Qualitative Approach to AI, Trust and Moral Systems, praca nieopublikowana, 20 października 2007, http://www.neweuropeancentury.org/GodAI.pdf [dostęp: 31 grudnia 2012].

Armstrong Stuart, General Purpose Intelligence: Arguing the Orthogonality Thesis, „Analysis and Metaphysics”, 12, 2013, s. 68 – 84.

Armstrong Stuart, Utility Indifference, Technical Report 2010-1, Future of Humanity Institute, University of Oxford, Oxford 2010.

Armstrong Stuart, Sandberg Anders, Eternity in Six Hours: Intergalactic Spreading of Intelligent Life and Sharpening the Fermi Paradox, „Acta Astronautica”, 89, 2013, s. 1 – 13.

Armstrong Stuart, Sotala Kaj, „How We’re Predicting AI — or Failing To”, w: Romportl Jan, Ircing Pavel, Zackova Eva, Polak Michal, Schuster Radek (red.), Beyond AI: Artificial Dreams, Uniwersytet Zachodnioczeski, Plzeň 2012, s. 52 – 75.

Asimov Isaak, Roboty i Imperium, tłum. Paulina Braiter-Ziemkiewicz, Prima, Warszawa 1995.

Asimov Isaac, Runaround, „Astounding Science-Fiction”, marzec 1942, s. 94 – 103.

Aumann Robert J., Agreeing to Disagree, „Annals of Statistics”, 4, 6, 1976, s. 1236 – 1239.

Averch Harvey Allen, A Strategic Analysis of Science and Technology Policy, Johns Hopkins University Press, Baltimore 1985.

Azevedo F.A.C., Carvalho L.R.B., Grinberg L.T., Farfel J.M., Ferretti R.E.L., Leite R.E.P., Jacob W., Lent R., Herculano-Houzel S., Equal Numbers of Neuronal and Nonneuronal Cells Make the Human Brain an Isometrically Scaled-up Primate Brain, „Journal of Comparative Neurology”, 513, 5, 2009, s. 532 – 541.

Baars Bernard J., In the Theater of Consciousness: The Workspace of the Mind, Oxford University Press, New York 1997.

Baratta Joseph Preston, The Politics of World Federation: United Nations, UN Reform, Atomic Control, Praeger, Westport 2004.

Barber E.J.W., Prehistoric Textiles: The Development of Cloth in the Neolithic and Bronze Ages with Special Reference to the Aegean, Princeton University Press, Princeton 1991.

Bartels J., Andreasen D., Ehirim P., Mao H., Seibert S., Wright E.J., Kennedy P., Neurotrophic Electrode: Method of Assembly and Implantation into Human Motor Speech Cortex, „Journal of Neuroscience Methods”, 174, 2, 2008, s. 168 – 176.

Bartz Jennifer A., Zaki Jamil, Bolger Niall, Ochsner Kevin N., Social Effects of Oxytocin in Humans: Context and Person Matter, „Trends in Cognitive Science”, 15, 7, 2011, s. 301 – 309.

Basten Stuart, Lutz Wolfgang, Scherbov Sergei, Very Long Range Global Population Scenarios to 2300 and the Implications of Sustained Low Fertility, „Demographic Research”, 28, 2003, s. 1145 – 1166.

Baum Eric B., What Is Thought?, Bradford Books, MIT Press, Cambridge 2004.

Baum Seth D., Goertzel Ben, Goertzel Ted G., How Long Until Human-Level AI? Results from an Expert Assessment, „Technological Forecasting and Social Change”, 78, 1, 2011, s. 185 – 195.

Beal J., Winston P., Guest Editors’ Introduction: The New Frontier of Human-Level Artificial Intelligence, „IEEE Intelligent Systems”, 24, 4, 2009, s. 21 – 23.

Bell C. Gordon, Gemmell Jim, Total Recall: How the E-Memory Revolution Will Change Everything, Dutton, New York 2009.

Benyamin B., Pourcain B.St., Davis O.S., Davies G., Hansell M.K., Brion M.-J.A., Kirkpatrick R.M. i in., Childhood Intelligence is Heritable, Highly Polygenic and Associated With FNBP1L, „Molecular Psychiatry”, 23 stycznia 2013.

Berg Joyce E., Rietz Thomas A., Prediction Markets as Decision Support Systems, „Information Systems Frontiers”, 5, 1, 2003, s. 79 – 93.

Berger Theodore W., Chapin J.K., Gerhardt G.A., Soussou W.V., Taylor D.M., Tresco P.A. (red.), Brain – Computer Interfaces: An International Assessment of Research and Development Trends, Springer 2008.

Berger Theodore W., Song D., Chan R.H., Marmarelis V.Z., LaCoss J., Wills J., Hampson R.E., Deadwyler S.A., Granacki J.J., A Hippocampal Cognitive Prosthesis: Multi-Input, Multi-Output Nonlinear Modeling and VLSI Implementation, „IEEE Transactions on Neural Systems and Rehabilitation Engineering”, 20, 2, 2012, s. 198 – 211.

Berliner Hans J. [1980a], Backgammon Computer-Program Beats World Champion, „Artificial Intelligence”, 14, 2, 1980, s. 205 – 220.

Berliner Hans J. [1980b], Backgammon Program Beats World Champ, „SIGART Newsletter”, 69, 1980, s. 6 – 9.

Bernardo José M., Smith Adrian F.M., Bayesian Theory, Wiley, New York 1994.

Birbaumer N., Murguialday A.R., Cohen L., Brain – Computer Interface in Paralysis, „Current Opinion in Neurology”, 21, 6, 2008, s. 634 – 638.

Bird Jon, Layzell Paul, The Evolved Radio and Its Implications for Modelling the Evolution of Novel Sensors, „Proceedings of the 2002 Congress on Evolutionary Computation”, 2, 2002, s. 1836 – 1841.

Blair Clay, Jr., Passing of a Great Mind: John von Neumann, a Brilliant, Jovial Mathematician, was a Prodigious Servant of Science and His Country, „Life”, 25 lutego 1957, s. 89 – 104.

Bobrow Daniel G., „Natural Language Input for a Computer Problem Solving System”, w: Minsky Marvin (red.), Semantic Information Processing, MIT Press, Cambridge 1968, s. 146 – 227.

Bostrom Nick, Predictions from Philosophy? How Philosophers Could Make Themselves Useful, praca nieopublikowana, 1997, wydanie poprawione z 19 września 1998.

Bostrom Nick [2002a], Anthropic Bias: Observation Selection Effects in Science and Philosophy, Routledge, New York 2002.

Bostrom Nick [2002b], Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards, „Journal of Evolution and Technology”, 9, 2002.

Bostrom Nick [2003a], Are We Living in a Computer Simulation?, „Philosophical Quarterly”, 53, 211, 2003, s. 243 – 255.

Bostrom Nick [2003b], Astronomical Waste: The Opportunity Cost of Delayed Technological Development, „Utilitas”, 15, 3, 2003, s. 308 – 314.

Bostrom Nick [2003c], „Ethical Issues in Advanced Artificial Intelligence”, w: Smit Iva, Lasker George E. (red.), Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, International Institute for Advanced Studies in Systems Research / Cybernetics, Windsor 2003, 2, s. 12 – 17.

Bostrom Nick, „The Future of Human Evolution”, w: Tandy Charles (red.), Two Hundred Years After Kant, Fifty Years After Turing, Ria University Press, Palo Alto 2004, 2, s. 339 – 371.

Bostrom Nick [2006a], How Long Before Superintelligence?, „Linguistic and Philosophical Investigations”, 5, 1, 2006, s. 11 – 30.

Bostrom Nick [2006b], Quantity of Experience: Brain-Duplication and Degrees of Consciousness, „Minds and Machines”, 16, 2, 2006, s. 185 – 200.

Bostrom Nick [2006c], What is a Singleton?, „Linguistic and Philosophical Investigations”, 5, 2, 2006, s. 48 – 54.

Bostrom Nick, „Technological Revolutions: Ethics and Policy in the Dark”, w: de S. Cameron Nigel M., Mitchell M. Ellen (red.), Nanoscale: Issues and Perspectives for the Nano Century, Wiley, Hoboken 2007, s. 129 – 152.

Bostrom Nick [2008a], Where Are They? Why I Hope the Search for Extraterrestrial Life Finds Nothing, „MIT Technology Review”, maj – czerwiec 2008, s. 72 – 77.

Bostrom Nick [2008b], „Why I Want to Be a Posthuman When I Grow Up”, w: Gordijn Bert, Chadwick Ruth (red.), Medical Enhancement and Posthumanity, Springer, New York 2008, s. 107 – 137.

Bostrom Nick [2008c], Letter from Utopia, „Studies in Ethics, Law, and Technology”, 2, 1, s. 1 – 7.

Bostrom Nick [2009a], Moral Uncertainty — Towards a Solution?, „Overcoming Bias” (blog), 1 stycznia 2009.

Bostrom Nick [2009b], Pascal’s Mugging, „Analysis”, 69, 3, 2009, s. 443 – 445.

Bostrom Nick [2009c], „The Future of Humanity”, w: Kyrre Jan Olsen Berg, Selinger Evan, Riis Søren (red.), New Waves in Philosophy of Technology, Palgrave Macmillan, New York 2009, s. 186 – 215.

Bostrom Nick [2011a], Information Hazards: A Typology of Potential Harms from Knowledge, „Review of Contemporary Philosophy”, 10, 2011, s. 44 – 79.

Bostrom Nick [2011b], Infinite Ethics, „Analysis and Metaphysics”, 10, 2011, s. 9 – 59.

Bostrom Nick, „The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents”, w: Müller Vincent C. (red.), Theory and Philosophy of AI, „Minds and Machines” (wyd. specjalne), 22, 2, 2012, s. 71 – 85.

Bostrom Nick, Ćirković Milan M., The Doomsday Argument and the Self-Indication Assumption: Reply to Olum, „Philosophical Quarterly”, 53, 210, 2003, s. 83 – 91.

Bostrom Nick, Ord Toby, The Reversal Test: Eliminating the Status Quo Bias in Applied Ethics, „Ethics”, 116, 4, 2006, s. 656 – 679.

Bostrom Nick, Roache Rebecca, „Smart Policy: Cognitive Enhancement and the Public Interest”, w: Savulescu Julian, ter Meulen Ruud, Kahane Guy (red.), Enhancing Human Capacities, Wiley-Blackwell, Malden 2011, s. 138 – 149.

Bostrom Nick, Sandberg Anders [2009a], Cognitive Enhancement: Methods, Ethics, Regulatory Challenges, „Science and Engineering Ethics”, 15, 3, 2009, s. 311 – 341.

Bostrom Nick, Sandberg Anders [2009b], „The Wisdom of Nature: An Evolutionary Heuristic for Human Enhancement”, w: Savulescu Julian, Bostrom Nick (red.), Human Enhancement, Oxford University Press, New York 2009, s. 375 – 416.

Bostrom Nick, Sandberg Anders, Douglas Tom, The Unilateralist’s Curse: The Case for a Principle of Conformity, dokument roboczy, http://www.nickbostrom.com/papers/unilateralist.pdf [dostęp 14 listopada 2015].

Bostrom Nick, Yudkowsky Eliezer, „The Ethics of Artificial Intelligence”, w: Frankish Keith, Ramsey William (red.), Cambridge Handbook of Artificial Intelligence, Cambridge University Press, New York 2014.

Boswell James, Żywot doktora Samuela Johnsona, wyboru dokonał, tłum. Tadeusz Jan Dehnel, Czytelnik, Warszawa 1962.

Bouchard T.J., Genetic Influence on Human Psychological Traits: A Survey, „Current Directions in Psychological Science”, 13, 4, 2004, s. 148 – 151.

Bourget David, Chalmers David, „The PhilPapers Surveys”, listopad 2009, http://philpapers.org/surveys/ [dostęp 10 grudnia 2015].

Bradbury Robert J., „Matrioshka Brains”, 1999, wersja zarchiwizowana, poprawiona 16 sierpnia 2004, http://web.archive.org/web/20090615040912/http://www.aeiveos.com/~bradbury/MatrioshkaBrains/MatrioshkaBrainsPaper.html [dostęp 14 listopada 2015].

Brinton Crane, The Anatomy of Revolution, wyd. poprawione, Vintage Books, New York 1965.

Bryson Arthur E., Jr., Ho Yu-Chi, Applied Optimal Control: Optimization, Estimation, and Control, Blaisdell, Waltham 1969.

Buehler Martin, Iagnemma Karl, Singh Sanjiv (red.), The DARPA Urban Challenge: Autonomous Vehicles in City Traffic, Springer Tracts in Advanced Robotics 56, Springer, Berlin 2009.

Burch-Brown J., Clues for Consequentialists, „Utilitas”, 26, 1, 2014, s. 105 – 119.

Burke Colin, „Agnes Meyer Driscoll vs. the Enigma and the Bombe”, praca nieopublikowana, 2001, http://userpages.umbc.edu/~burke/driscoll1-2011.pdf [dostęp 14 listopada 2015].

Canbäck S., Samouel P., Price D., Do Diseconomies of Scale Impact Firm Size and Performance? A Theoretical and Empirical Overview, „Journal of Managerial Economics”, 4, 1, 2006, s. 27 – 70.

Carmena J.M., Lebedev M.A., Crist R.E., O’Doherty J.E., Santucci D.M., Dimitrov D.F., Patil P.G., Henriquez C.S., Nicolelis M.A., Learning to Control a Brain – Machine Interface for Reaching and Grasping by Primates, „Public Library of Science Biology”, 1, 2, 2003, s. 193 – 208.

Carroll Bradley W., Ostlie Dale A., An Introduction to Modern Astrophysics, 2nd ed., Pearson Addison Wesley, San Francisco 2007.

Carroll John B., Human Cognitive Abilities: A Survey of Factor-Analytic Studies, Cambridge University Press, New York 1993.

Carter Brandon, The Anthropic Principle and its Implications for Biological Evolution, „Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences”, 310, 1512, 1983, s. 347 – 363.

Carter Brandon, „The Anthropic Selection Principle and the Ultra-Darwinian Synthesis”, w: Bertola F. Curi U. (red.), The Anthropic Principle: Proceedings of the Second Venice Conference on Cosmology and Philosophy, Cambridge University Press, Cambridge 1993, s. 33 – 66.

CFTC & SEC (Commodity Futures Trading Commission and Securities & Exchange Commission), Findings Regarding the Market Events of May 6, 2010: Report of the Staffs of the CFTC and SEC to the Joint Advisory Committee on Emerging Regulatory Issues, Washington 2010.

Chalmers David John, The Singularity: A Philosophical Analysis, „Journal of Consciousness Studies”, 17, 9 – 10, 2010, s. 7 – 65.

Chason R.J., Csokmay J., Segars J.H., DeCherney A.H., Armant D.R., Environmental and Epigenetic Effects Upon Preimplantation Embryo Metabolism and Development, „Trends in Endocrinology and Metabolism”, 22, 10, 2011, s. 412 – 420.

Chen S., Ravallion M., The Developing World Is Poorer Than We Thought, But No Less Successful in the Fight Against Poverty, „Quarterly Journal of Economics”, 125, 4, 2010, s. 1577 – 1625.

Chislenko Alexander, „Networking in the Mind Age: Some Thoughts on Evolution of Robotics and Distributed Systems”, praca nieopublikowana, 1996.

Chislenko Alexander, Technology as Extension of Human Functional Architecture, „Extropy Online”, 1997.

Chorost Michael, Rebuilt: How Becoming Part Computer Made Me More Human, Houghton Mifflin, Boston 2005.

Christiano Paul F., „Indirect Normativity” Write-up, „Ordinary Ideas” (blog), 21 kwietnia 2012.

CIA, The World Factbook, Central Intelligence Agency, https://www.cia.gov/library/publications/the-world-factbook/rankorder/2127rank.html?countryname= United%20States&countrycode=us&regionCode=noa&rank=121#us [dostęp 14 listopada 2015].

Marek Tulliusz Cyceron, „O wróżeniu”, w: O wróżeniu; O przeznaczeniu; O starości; O przyjaźni; O powinnościach; O wynalezieniu retorycznem, tłum. E. Rykaczewski, Biblioteka Kórnicka, Poznań 1879.

Cirasella Jill, Kopec Danny, „The History of Computer Games”, wystawa podczas Dartmouth Artificial Intelligence Conference: The Next Fifty Years (AI@50), Dartmouth College, 13 – 15 lipca 2006.

Ćirković Milan M., Forecast for the Next Eon: Applied Cosmology and the Long-Term Fate of Intelligent Beings, „Foundations of Physics”, 34, 2, 2004, s. 239 – 261.

Ćirković Milan M., Sandberg Anders, Bostrom Nick, Anthropic Shadow: Observation Selection Effects and Human Extinction Risks, „Risk Analysis”, 30, 10, 2010, s. 1495 – 1506.

Clark Andy, Chalmers David J., The Extended Mind, „Analysis”, 58, 1, 1998, s. 7 – 19.

Clark Gregory, A Farewell to Alms: A Brief Economic History of the World, Princeton University Press, Princeton 2007.

Clavin Whitney, „Study Shows Our Galaxy Has at Least 100 Billion Planets”, Jet Propulsion Laboratory, 11 stycznia 2012.

CME Group, What Happened on May 6th?, Chicago, 10 maja 2010.

Coase R.H., The Nature of the Firm, „Economica”, 4, 16, 1937, s. 386 – 405.

Cochran Gregory, Harpending Henry, The 10,000 Year Explosion: How Civilization Accelerated Human Evolution, Basic Books, New York 2009.

Cochran G., Hardy J., Harpending H., Natural History of Ashkenazi Intelligence, „Journal of Biosocial Science”, 38, 5, 2006, s. 659 – 693.

Cook James Gordon, Handbook of Textile Fibres: Natural Fibres, Woodhead, Cambridge 1984.

Cope David, Experiments in Musical Intelligence, Computer Music and Digital Audio Series, A-R Editions, Madison 1996.

Cotman Carl W., Berchtold Nicole C., Exercise: A Behavioral Intervention to Enhance Brain Health and Plasticity, „Trends in Neurosciences”, 25, 6, 2002, s. 295 – 301.

Cowan Nelson, The Magical Number 4 in Short-Term Memory: A Reconsideration of Mental Storage Capacity, „Behavioral and Brain Sciences”, 24, 1, 2001, s. 87 – 114.

Crabtree Steve, New Poll Gauges Americans’ General Knowledge Levels, „Gallup News”, 6 lipca 1999.

Cross Stephen E., Walker Edward, „Dart: Applying Knowledge Based Planning and Scheduling to Crisis Action Planning”, w: Zweben Monte, Fox Mark (red.), Intelligent Scheduling, Morgan Kaufmann, San Francisco 1994, s. 711 – 729.

Crow James F., The Origins, Patterns and Implications of Human Spontaneous Mutation, „Nature Reviews Genetics”, 1, 1, 2000, s. 40 – 47.

Cyranoski David, Stem Cells: Egg Engineers, „Nature”, 500, 7463, 2013, s. 392 – 394.

Dagnelie Gislin, Retinal Implants: Emergence of a Multidisciplinary Field, „Current Opinion in Neurology”, 25, 1, 2012, s. 67 – 75.

Dai Wei, Towards a New Decision Theory, „Less Wrong” (blog), 13 sierpnia 2009.

Dalrymple David, Comment on Kaufman, J. „Whole Brain Emulation: Looking at Progress on C. Elegans”, „Less Wrong” (blog), 29 października 2011.

Davies G., Tenesa A., Payton A., Yang J., Harris S.E., Liewald D., Ke X. i in., Genome-Wide Association Studies Establish That Human Intelligence Is Highly Heritable and Polygenic, „Molecular Psychiatry”, 16, 10, 2011, s. 996 – 1005.

Davis Oliver S.P., Butcher Lee M., Docherty Sophia J., Meaburn Emma L., Curtis Charles J.C., Simpson Michael A., Schalkwyk Leonard C., Plomin Robert, A Three-Stage Genome-Wide Association Study of General Cognitive Ability: Hunting the Small Effects, „Behavior Genetics”, 40, 6, 2010, s. 759 – 767.

Dawkins Richard, Rzeka genów: darwinowski obraz życia, tłum. Marek Jannasz, CiS, Warszawa 2007.

De Blanc Peter, Ontological Crises in Artificial Agents’ Value Systems, Machine Intelligence Research Institute, San Francisco, 19 maja 2011.

De Long J. Bradford, „Estimates of World GDP, One Million B.C. – Present”, praca nieopublikowana, 1998.

De Raedt Luc, Flach Peter (red.), Machine Learning: ECML 2001: 12th European Conference on Machine Learning, Freiburg, Germany, September 5 – 7, 2001. Proceedings, Lecture Notes in Computer Science 2167, Springer, New York 2001.

Dean Cornelia, Scientific Savvy? In U.S., Not Much, „New York Times”, 30 sierpnia 2005.

Deary Ian J., Human Intelligence Differences: A Recent History, „Trends in Cognitive Sciences”, 5, 3, 2001, s. 127 – 130.

Deary Ian J., Intelligence, „Annual Review of Psychology”, 63, 2012, s. 453 – 482.

Deary Ian J., Penke L., Johnson W., The Neuroscience of Human Intelligence Differences, „Nature Reviews Neuroscience”, 11, 3, 2010, s. 201 – 211.

Degnan G.G., Wind T.C., Jones E.V., Edlich R.F., Functional Electrical Stimulation in Tetraplegic Patients to Restore Hand Function, „Journal of Long-Term Effects of Medical Implants”, 12, 3, 2002, s. 175 – 188.

Devlin B., Daniels M., Roeder K., The Heritability of IQ, „Nature”, 388, 6641, 1997, s. 468 – 471.

Dewey Daniel, „Learning What to Value”, w: Schmidhuber Jürgen, Thórisson Kristinn R., Looks Moshe, Artificial General Intelligence: 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3 – 6, 2011. Proceedings, Lecture Notes in Computer Science 6830, Springer, Berlin 2011, s. 309 – 314.

Dowe D.L., Hernández-Orallo J., IQ Tests Are Not for Machines, Yet, „Intelligence”, 40, 2, 2012, s. 77 – 81.

Drescher Gary L., Good and Real: Demystifying Paradoxes from Physics to Ethics, Bradford Books, MIT Press, Cambridge 2006.

Drexler K. Eric, Engines of Creation, Anchor, Garden City 1986.

Drexler K. Eric, Nanosystems: Molecular Machinery, Manufacturing, and Computation, Wiley, New York 1992.

Drexler K. Eric, Radical Abundance: How a Revolution in Nanotechnology Will Change Civilization, PublicAffairs, New York 2013.

Driscoll Kevin, „Code Critique: »Altair Music of a Sort«”, referat wygłoszony w trakcie Critical Code Studies Working Group Online Conference, 6 lutego 2012.

Dyson Freeman J., Search for Artificial Stellar Sources of Infrared Radiation, „Science”, 131, 3414, 1960, s. 1667 – 1668.

Dyson Freeman J., Disturbing the Universe, Sloan Foundation Science Series, Harper & Row, New York 1979.

Elga Adam, Defeating Dr. Evil with Self-Locating Belief, „Philosophy and Phenomenological Research”, 69, 2, 2004, s. 383 – 396.

Elga Adam, Reflection and Disagreement, „Noûs”, 41, 3, 2007, s. 478 – 502.

Eliasmith Chris, Stewart Terrence C., Choo Xuan, Bekolay Trevor, DeWolf Travis, Tang Yichuan, Rasmussen Daniel, A Large-Scale Model of the Functioning Brain, „Science”, 338, 6111, 2012, s. 1202 – 1205.

Ellis J.H., The History of Non-Secret Encryption, „Cryptologia”, 23, 3, 1999, s. 267 – 273.

Elyasaf Achiya, Hauptmann Ami, Sipper Moche, „Ga-Freecell: Evolving Solvers for the Game of Freecell”, w: Proceedings of the 13th Annual Genetic and Evolutionary Computation Conference, GECCO’ 11, ACM, New York 2011, s. 1931 – 1938.

Eppig C., Fincher C.L., Thornhill R., Parasite Prevalence and the Worldwide Distribution of Cognitive Ability, „Proceedings of the Royal Society B: Biological Sciences”, 277, 1701, 2010, s. 3801 – 3808.

Espenshade T.J., Guzman J.C., Westoff C.F., The Surprising Global Variation in Replacement Fertility, „Population Research and Policy Review”, 22, 5 – 6, 2003, s. 575 – 583.

Evans Thomas G., „A Heuristic Program to Solve Geometric-Analogy Problems”, w: Proceedings of the April 21 – 23, 1964, Spring Joint Computer Conference, AFIPS ’64, ACM, New York 1964, s. 327 – 338.

Evans Thomas G., „A Program for the Solution of a Class of Geometric-Analogy Intelligence-Test Questions”, w: Minsky Marvin (red.), Semantic Information Processing, MIT Press, Cambridge 1968, s. 271 – 353.

Faisal A.A., Selen L.P., Wolpert D.M., Noise in the Nervous System, „Nature Reviews Neuroscience”, 9, 4, 2008, s. 292 – 303.

Faisal A.A., White J.A., Laughlin S.B., Ion-Channel Noise Places Limits on the Miniaturization of the Brain’s Wiring, „Current Biology”, 15, 12, 2005, s. 1143 – 1149.

Feldman Jacob, Minimization of Boolean Complexity in Human Concept Learning, „Nature”, 407, 6804, 2000, s. 630 – 633.

Feldman J.A., Ballard Dana H., Connectionist Models and Their Properties, „Cognitive Science”, 6, 3, 1982, s. 205 – 254.

Foley J.A., Monfreda C., Ramankutty N., Zaks D., Our Share of the Planetary Pie, „Proceedings of the National Academy of Sciences of the United States of America”, 104, 31, 2007, s. 12585 – 12586.

Forgas Joseph P., Cooper Joel, Crano William D. (red.), The Psychology of Attitudes and Attitude Change, Sydney Symposium of Social Psychology, Psychology Press, New York 2010.

Frank Robert H., Luxury Fever: Why Money Fails to Satisfy in an Era of Excess, Free Press, New York 1999.

Fredriksen Kaja Bonesmo, Less Income Inequality and More Growth — Are They Compatible?: Part 6. The Distribution of Wealth, raport naukowo-techniczny, OECD Economics Department Working Papers 929, OECD Publishing, 2012.

Freitas Robert A., Jr., A Self-Replicating Interstellar Probe, „Journal of the British Interplanetary Society”, 33, 1980, s. 251 – 264.

Freitas Robert A., Jr., „Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations”, Foresight Institute, kwiecień 2000, http://www.foresight.org/nano/Ecophagy.html [dostęp 14 listopada 2015].

Freitas Robert A., Jr., Merkle Ralph C., Kinematic Self-Replicating Machines, Landes Bioscience, Georgetown 2004.

Gaddis John Lewis, Strategie powstrzymywania: analiza polityki bezpieczeństwa narodowego Stanów Zjednoczonych w okresie zimnej wojny, tłum. Piotr Ostaszewski, Książka i Wiedza, Warszawa 2007.

Gammoned.net, „Snowie”, wersja zarchiwizowana, http://web.archive.org/web/20070920191840/http://www.gammoned.com/snowie.html [dostęp 14 listopada 2015].

Gates Bill, Software Contest Winners Announced, „Computer Notes”, 1, 2, 1975, s. 1.

Georgieff Michael K., Nutrition and the Developing Brain: Nutrient Priorities and Measurement, „American Journal of Clinical Nutrition”, 85, 2, 2007, s. 614S – 620S.

Gianaroli Luca, Preimplantation Genetic Diagnosis: Polar Body and Embryo Biopsy, dodatek „Human Reproduction”, 15, 4, 2000, s. 69 – 75.

Gilovich Thomas, Griffin Dale, Kahneman Daniel (red.), Heuristics and Biases: The Psychology of Intuitive Judgment, Cambridge University Press, New York 2002.

Gilster Paul, ESO: Habitable Red Dwarf Planets Abundant, „Centauri Dreams” (blog), 29 marca 2012.

Goldstone Jack A., Theories of Revolution: The Third Generation, „World Politics”, 32, 3, 1980, s. 425 – 453.

Goldstone Jack A., Towards a Fourth Generation of Revolutionary Theory, „Annual Review of Political Science”, 4, 2001, s. 139 – 187.

Good Irving John, „Speculations Concerning the First Ultraintelligent Machine”, w: Alt Franz L., Rubinoff Morris (red.), Advances in Computers, Academic Press, New York 1965, 6, s. 31 – 88.

Good Irving John, Some Future Social Repercussions of Computers, „International Journal of Environmental Studies”, 1, 1 – 4, 1970, s. 67 – 79.

Good Irving John, Book review of „The Thinking Computer: Mind Inside Matter”, „International Journal of Man-Machine Studies”, 8, 1976, s. 617 – 620.

Good Irving John, „Ethical Machines”, w: Hayes J.E., Michie Donald, Pao Y.-H. (red.), Intelligent Systems: Practice and Perspective, Machine Intelligence 10, Ellis Horwood, Chichester 1982, s. 555 – 560.

Goodman Nelson, Fact, Fiction, and Forecast, Athlone Press, London 1954.

Gott J.R., Juric M., Schlegel D., Hoyle F., Vogeley M., Tegmark M., Bahcall N., Brinkmann J., A Map of the Universe, „Astrophysical Journal”, 624, 2, 2005, s. 463 – 483.

Gottfredson Linda S., „G: Highly General and Highly Practical”, w: Sternberg Robert J., Grigorenko Elena L. (red.), The General Factor of Intelligence: How General Is It?, Lawrence Erlbaum, Mahwah 2002, s. 331 – 380.

Gould S.J., Wonderful Life: The Burgess Shale and the Nature of History, Norton, New York 1990.

Graham Gordon, The Shape of the Past: A Philosophical Approach to History, Oxford University Press, New York 1997.

Gray C.M., McCormick D.A., Chattering Cells: Superficial Pyramidal Neurons Contributing to the Generation of Synchronous Oscillations in the Visual Cortex, „Science”, 274, 5284, 1996, s. 109 – 113.

Greene Kate, Intel’s Tiny Wi-Fi Chip Could Have a Big Impact, „MIT Technology Review”, 21 września 2012.

Guizzo Erico, World Robot Population Reaches 8,6 Million, „IEEE Spectrum”, 14 kwietnia 2010.

Gunn James E., Isaac Asimov: The Foundations of Science Fiction, Science-Fiction Writers, Oxford University Press, New York 1982.

Haberl Helmut, Erb Karl-Heinz, Krausmann Fridolin, Global Human Appropriation of Net Primary Production (HANPP), „Encyclopedia of Earth”, 3 września 2013.

Haberl H., Erb K.H., Krausmann F., Gaube V., Bondeau A., Plutzar C., Gingrich S., Lucht W., Fischer-Kowalski M., Quantifying and Mapping the Human Appropriation of Net Primary Production in Earth’s Terrestrial Ecosystems, „Proceedings of the National Academy of Sciences of the United States of America”, 104, 31, 2007, s. 12942 – 12947.

Hájek Alan, „Dutch Book Arguments”, w: Anand, Pattanaik, Puppe, The Oxford Handbook of Rational and Social Choice, s. 173 – 195.

Hall John Storrs, Beyond AI: Creating the Conscience of the Machine, Prometheus Books, Amherst 2007.

Hampson R.E., Song D., Chan R.H., Sweatt A.J., Riley M.R., Gerhardt G.A., Shin D.C., Marmarelis V.Z., Berger T.W., Deadwyler S.A., A Nonlinear Model for Hippocampal Cognitive Prosthesis: Memory Facilitation by Hippocampal Ensemble Stimulation, „IEEE Transactions on Neural Systems and Rehabilitation Engineering”, 20, 2, 2012, s. 184 – 197.

Hanson Robin, If Uploads Come First: The Crack of a Future Dawn, „Extropy”, 6, 2, 1994.

Hanson Robin, Could Gambling Save Science? Encouraging an Honest Consensus, „Social Epistemology”, 9, 1, 1995, s. 3 – 33.

Hanson Robin [1998a], „Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization”, praca nieopublikowana, 1 lipca 1998, http://hanson.gmu.edu/filluniv.pdf [dostęp 14 listopada 2015].

Hanson Robin [1998b], „Economic Growth Given Machine Intelligence”, praca nieopublikowana, 1998, http://www.researchgate.net/profile/Robin_Hanson2/publication/228948494_Economic_growth_given_machine_intelligence/links/ 00b4951facaf4a1f42000000.pdf [dostęp 14 listopada 2015].

Hanson Robin [1998c], „Long-Term Growth as a Sequence of Exponential Modes”, praca nieopublikowana, 1998, wydanie poprawione: grudzień 2000, http://hanson.gmu.edu/longgrow.pdf [dostęp 14 listopada 2015].

Hanson Robin [1998d], „Must Early Life Be Easy? The Rhythm of Major Evolutionary Transitions”, praca nieopublikowana, 23 września 1998, http://hanson.gmu.edu/hardstep.pdf [dostęp 14 listopada 2015].

Hanson Robin, „Shall We Vote on Values, But Bet on Beliefs?”, praca nieopublikowana, wrzesień 2000, wydanie poprawione: październik 2007, http://hanson.gmu.edu/futarchy.pdf [dostęp 14 listopada 2015].

Hanson Robin, Uncommon Priors Require Origin Disputes, „Theory and Decision”, 61, 4, 2006, s. 319 – 328.

Hanson Robin, Economics of the Singularity, „IEEE Spectrum”, 45, 6, 2008, s. 45 – 50.

Hanson Robin, Tiptoe or Dash to Future?, „Overcoming Bias” (blog), 23 grudnia 2009.

Hanson Robin, „Envisioning the Economy, and Society, of Whole Brain Emulations”, referat wygłoszony na konferencji AGI Impacts, 2012.

Hart Oliver, Economica Coase Lecture Reference Points and the Theory of the Firm, „Economica”, 75, 299, 2008, s. 404 – 411.

Hay Nicholas James, „Optimal Agents”, praca licencjacka, University of Auckland, 2005.

Hedberg Sara Reese, Dart: Revolutionizing Logistics Planning, „IEEE Intelligent Systems”, 17, 3, 2002, s. 81 – 83.

Helliwell John, Layard Richard, Sachs Jeffrey, World Happiness Report, The Earth Institute, 2012.

Helmstaedter M., Briggman K.L., Denk W., High-Accuracy Neurite Reconstruction for High-Throughput Neuroanatomy, „Nature Neuroscience”, 14, 8, 2011, s. 1081 – 1088.

Heyl Jeremy S., The Long-Term Future of Space Travel, „Physical Review D”, 72, 10, 2005, s. 1 – 4.

Hibbard Bill, „Measuring Agent Intelligence via Hierarchies of Environments”, w: Schmidhuber Jürgen, Thórisson Kristinn R., Looks Moshe (red.), Artificial General Intelligence: 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3 – 6, 2011. Proceedings, Lecture Notes in Computer Science 6830, Springer, Berlin 2011, s. 303 – 308.

Hinke R.M., Hu X., Stillman A.E., Herkle H., Salmi R., Ugurbil K., Functional Magnetic Resonance Imaging of Broca’s Area During Internal Speech, „Neuroreport”, 4, 6, 1993, s. 675 – 678.

Hinxton Group, Consensus Statement: Science, Ethics and Policy Challenges of Pluripotent Stem Cell-Derived Gametes, Hinxton, 11 kwietnia 2008, http://www.hinxtongroup.org/Consensus_HG08_FINAL.pdf [dostęp 14 listopada 2015].

Hoffman David E., The Dead Hand: The Untold Story of the Cold War Arms Race and Its Dangerous Legacy, Doubleday, New York 2009.

Hofstadter Douglas R., Gödel, Escher, Bach: An Eternal Golden Braid (1979), Basic Books, New York 1999.

Holley Rose, How Good Can It Get? Analysing and Improving OCR Accuracy in Large Scale Historic Newspaper Digitisation Programs, „D-Lib Magazine”, 15, 3 – 4, 2009.

Horton Sue, Alderman Harold, Rivera Juan A., Copenhagen Consensus 2008 Challenge Paper: Hunger and Malnutrition, raport naukowo-techniczny, Copenhagen Consensus Center, 11 maja 2008.

Howson Colin, Urbach Peter, Scientific Reasoning: The Bayesian Approach, 2nd ed., Open Court, Chicago 1993.

Hsu Stephen, „Investigating the Genetic Basis for Intelligence and Other Quantitative Traits”, wykład na UC Davis Department of Physics Colloquium, Davis, 13 lutego 2012.

Huebner Bryce, Do You See What We See? An Investigation of an Argument Against Collective Representation, „Philosophical Psychology”, 21, 1, 2008, s. 91 – 112.

Huff C.D., Xing J., Rogers A.R., Witherspoon D., Jorde L.B., Mobile Elements Reveal Small Population Size in the Ancient Ancestors of Homo Sapiens, „Proceedings of the National Academy of Sciences of the United States of America”, 107, 5, 2010, s. 2147 – 2152.

Huffman W. Cary, Pless Vera, Fundamentals of Error-Correcting Codes, Cambridge University Press, New York 2003.

Hunt Patrick, Late Roman Silk: Smuggling and Espionage in the 6th Century CE, „Philolog, Stanford University” (blog), 2 sierpnia 2011.

Hutter Marcus, „Towards a Universal Theory of Artificial Intelligence Based on Algorithmic Probability and Sequential Decisions”, w: De Raedt, Flach, Machine Learning: ECML 2001: 12th European Conference on Machine Learning, Freiburg, Germany, September 5 – 7, 2001. Proceedings, s. 226 – 238.

Hutter Marcus, Universal Artificial Intelligencet: Sequential Decisions Based On Algorithmic Probability, Texts in Theoretical Computer Science, Springer, Berlin 2005.

Iliadou A.N., Janson P.C., Cnattingius S., Epigenetics and Assisted Reproductive Technology, „Journal of Internal Medicine”, 270, 5, 2011, s. 414 – 420.

Iodine Deficiency — Way to Go Yet, praca zbiorowa, „The Lancet”, 372, 9633, 2008, s. 88.

Isaksson Anders, Productivity and Aggregate Growth: A Global Picture, Technical Report 05/2007, UNIDO (United Nations Industrial Development Organization) Research and Statistics Branch, Wien 2007.

Jones Garret, „Artificial Intelligence and Economic Growth: A Few Finger-Exercises”, praca nieopublikowana, styczeń 2009, http://mason.gmu.edu/~gjonesb/AIandGrowth [dostęp 14 listopada 2015].

Jones Vincent C., Manhattan: The Army and the Atomic Bomb, United States Army in World War II, Center of Military History, Washington 1985.

Joyce James M., The Foundations of Causal Decision Theory, Cambridge Studies in Probability, Induction and Decision Theory, Cambridge University Press, New York 1999.

Judd K.L., Schmedders K., Yeltekin S., Optimal Rules for Patent Races, „International Economic Review”, 53, 1, 2012, s. 23 – 52.

Kalfoglou A., Suthers K., Scott J., Hudson K., Reproductive Genetic Testing: What America Thinks, Genetics and Public Policy Center, 2004.

Kamm Frances M., Intricate Ethics: Rights, Responsibilities, and Permissible Harm, Oxford Ethics Series, Oxford University Press, New York 2007.

Kandel Eric R., Schwartz James H., Jessell Thomas M. (red.), Principles of Neural Science, 4th ed., McGraw-Hill, New York 2000.

Kansa Eric, „Social Complexity and Flamboyant Display in Competition: More Thoughts on the Fermi Paradox”, praca nieopublikowana, 2003, zarchiwizowana.

Karnofsky Holden, Comment on „Reply to Holden on Tool AI”, „Less Wrong” (blog), 1 sierpnia 2012.

Kasparov Garry, The Day That I Sensed a New Kind of Intelligence, „Time”, 13, 25 marca 1996.

Kaufman Jeff, Whole Brain Emulation and Nematodes, „Jeff Kaufman’s Blog” (blog), 2 listopada 2011.

Keim G.A., Shazeer N.M., Littman M.L., Agarwal S., Cheves C.M., Fitzgerald J., Grosland J., Jiang F., Pollard S., Weinmeister K., „Proverb: The Probabilistic Cruciverbalist”, w: Proceedings of the Sixteenth National Conference on Artificial Intelligence, AAAI Press, Menlo Park 1999, s. 710 – 717.

Kell Harrison J., Lubinski David, Benbow Camilla P., Who Rises to the Top? Early Indicators, „Psychological Science”, 24, 5, 2013, s. 648 – 659.

Keller Wolfgang, International Technology Diffusion, „Journal of Economic Literature”, 42, 3, 2004, s. 752 – 782.

KGS Go Server, KGS Game Archives: Games of KGS player zen19, 2012, http://www.gokgs.com/gameArchives.jsp?user=zen19d&oldAccounts=t&year=2012&month=3 [dostęp 14 listopada 2015].

Knill Emanuel, Laflamme Raymond, Viola Lorenza, Theory of Quantum Error Correction for General Noise, „Physical Review Letters”, 84, 11, 2000, s. 2525 – 2528.

Koch K., McLean J., Segev R., Freed M.A., Berry M.J., Balasubramanian V., Sterling P., How Much the Eye Tells the Brain, „Current Biology”, 16, 14, 2006, s. 1428 – 1434.

Kong A., Frigge M.L., Masson G., Besenbacher S., Sulem P., Magnusson G., Gudjonsson S.A., Sigurdsson A. i in., Rate of De Novo Mutations and the Importance of Father’s Age to Disease Risk, „Nature”, 488, 2012, s. 471 – 475.

Koomey Jonathan G., Growth in Data Center Electricity Use 2005 to 2010, raport naukowo-techniczny, 1 sierpnia 2011, Analytics Press, Oakland 2011.

Koubi Vally, Military Technology Races, „International Organization”, 53, 3, 1999, s. 537 – 565.

Koubi Vally, Lalman David, Distribution of Power and Military R&D, „Journal of Theoretical Politics”, 19, 2, 2007, s. 133 – 152.

Koza J.R., Keane M.A., Streeter M.J., Mydlowec W., Yu J., Lanza G., Genetic Programming IV: Routine Human-Competitive Machine Intelligence, 2nd ed., Genetic Programming, Kluwer Academic, Norwell 2003.

Kremer Michael, Population Growth and Technological Change: One Million B.C. to 1990, „Quarterly Journal of Economics”, 108, 3, 1993, s. 681 – 716.

Kruel Alexander, Interview Series on Risks from AI, „Less Wrong” (blog), 2011, http://wiki.lesswrong.com/wiki/Interview_series_on_risks_from_AI [dostęp 14 listopada 2015].

Kruel Alexander, Q&A with Experts on Risks From AI #2, „Less Wrong” (blog), 9 stycznia 2012.

Krusienski D.J., Shih J.J., Control of a Visual Keyboard Using an Electrocorticographic Brain – Computer Interface, „Neurorehabilitation and Neural Repair”, 25, 4, 2011, s. 323 – 331.

Kuhn Thomas S., Struktura rewolucji naukowych, tłum. Helena Ostromęcka, Aletheia, Warszawa 2009.

Kuipers Benjamin, „An Existing, Ecologically-Successful Genus of Collectively Intelligent Artificial Creatures”, referat wygłoszony na The 4th International Conference on Computational Collective Intelligence (ICCCI 2012), Ho Chi Minh, 28 – 30 listopada 2012.

Kurzweil Ray, „Response to Stephen Hawking”, Kurzweil Accelerating Intelligence, 5 września 2001, http://www.kurzweilai.net/response-to-stephen-hawking [dostęp 14 listopada 2015].

Kurzweil Ray, Nadchodzi osobliwość: Kiedy człowiek przekroczy granice biologii, tłum. Eliza Chodkowska, Anna Nowosielska, Kurhaus Publishing, Warszawa 2013.

Laffont Jean-Jacques, Martimort David, The Theory of Incentives: The Principal-Agent Model, Princeton University Press, Princeton 2002.

Landauer Thomas K., How Much Do People Remember? Some Estimates of the Quantity of Learned Information in Long-Term Memory, „Cognitive Science”, 10, 4, 1986, s. 477 – 493.

Lebedev Anastasiya, The Man Who Saved the World Finally Recognized, MosNews, 21 maja 2004.

Lebedev M.A., Nicolelis M.A., Brain – Machine Interfaces: Past, Present and Future, „Trends in Neuroscience”, 29, 9, 2006, s. 536 – 546.

Legg Shane, „Machine Super Intelligence”, praca doktorska, Università della Svizzera italiana, Lugano 2008.

Leigh E.G., Jr., The Group Selection Controversy, „Journal of Evolutionary Biology”, 23, 1, 2010, s. 6 – 19.

Lenat Douglas B., Learning Program Helps Win National Fleet Wargame Tournament, „SIGART Newsletter”, 79, 1982, s. 16 – 17.

Lenat Douglas B., EURISKO: A Program that Learns New Heuristics and Domain Concepts, „Artificial Intelligence”, 21, 1 – 2, 1983, s. 61 – 98.

Lenman James, Consequentialism and Cluelessness, „Philosophy & Public Affairs”, 29, 4, 2000, s. 342 – 370.

Lerner Josh, An Empirical Exploration of a Technology Race, „RAND Journal of Economics”, 28, 2, 1997, s. 228 – 247.

Leslie John, The End of the World: The Science and Ethics of Human Extinction, Routledge, London 1996.

Lewis David, Desire as Belief, „Mind: A Quarterly Review of Philosophy”, 97, 387, 1988, s. 323 – 332.

Li Ming, Vitányi Paul M.B., An Introduction to Kolmogorov Complexity and Its Applications, „Texts in Computer Science”, Springer, New York 2008.

Lin Thomas, Mausam, Etzioni Oren, „Entity Linking at Web Scale”, w: Fan James, Hoffman Raphael, Kalyanpur Aditya, Riedel Sebastian, Suchanek Fabian, Talukdar Partha Pratim (red.), Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction (AKBC-WEKEX ’12), Omnipress, Madison. 2012, s. 84 – 88.

Lloyd Seth, Ultimate Physical Limits to Computation, „Nature”, 406, 6799, 2000, s. 1047 – 1054.

Louis Harris & Associates, Science, Sex, and Morality Survey, study no. 1927, „Life Magazine” (New York), 4, 1969.

Lynch Michael, Rate, Molecular Spectrum, and Consequences of Human Mutation, „Proceedings of the National Academy of Sciences of the United States of America”, 107, 3, 2010, s. 961 – 968.

Lyons Mark K., Deep Brain Stimulation: Current and Future Clinical Applications, „Mayo Clinic Proceedings”, 86, 7, 2011, s. 662 – 672.

MacAskill William, „Moral Uncertainty and Intertheoretic Comparisons of Value”, praca licencjacka, University of Oxford, 2010.

McCarthy John, From Here to Human-Level AI, „Artificial Intelligence”, 171, 18, 2007, s. 1174 – 1182.

McCorduck Pamela, Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence, W.H. Freeman, San Francisco 1979.

Mack C.A., Fifty Years of Moore’s Law, „IEEE Transactions on Semiconductor Manufacturing”, 24, 2, 2011, s. 202 – 207.

MacKay David J.C., Information Theory, Inference, and Learning Algorithms, Cambridge University Press, New York 2003.

McLean George, Stewart Brian, Norad False Alarm Causes Uproar, „The National”, wyemitowane 10 listopada 1979, News Broadcast, CBC, Ottawa 2012.

Maddison Angus, „Economic Progress: The Last Half Century in Historical Perspective”, w: Castles Ian (red.), Facts and Fancies of Human Development: Annual Symposium and Cunningham Lecture, 1999, Occasional Paper Series, 1/2000, Academy of the Social Sciences in Australia.

Maddison Angus, The World Economy: A Millennial Perspective, Development Centre Studies, Development Centre of the Organisation for Economic Co-operation / Development, Paris 2001.

Maddison Angus, Growth and Interaction in the World Economy: The Roots of Modernity, AEI Press, Washington 2005.

Maddison Angus, Contours of the World Economy, 1 – 2030 AD: Essays in Macro-Economic History, Oxford University Press, New York 2007.

Maddison Angus, Statistics of World Population, GDP and Per Capita GDP 1–2008 AD, 2010, http://www.ggdc.net/maddison/Historical_Statistics/vertical-file_02-2010.xls [dostęp 14 listopada 2015].

Mai Q., Yu Y., Li T., Wang L., Chen M.J., Huang S.Z., Zhou C., Zhou Q., Derivation of Human Embryonic Stem Cell Lines from Parthenogenetic Blastocysts, „Cell Research”, 17, 12, 2007, s. 1008 – 1019.

Mak J.N., Wolpaw J.R., Clinical Applications of Brain-Computer Interfaces: Current State and Future Prospects, „IEEE Reviews in Biomedical Engineering”, 2, 2009, s. 187 – 199.

Mankiw N. Gregory, Taylor Mark P., Makroekonomia, tłumaczenie zbiorowe, red. nauk. przekładu Bogusław Czarny,Polskie Wydawnictwo Ekonomiczne, Warszawa 2009.

Mardis Elaine R., A Decade’s Perspective on DNA Sequencing Technology, „Nature”, 470, 7333, 2011, s. 198 – 203.

Markoff John, Computer Wins on „Jeopardy!”: Trivial, It’s Not, „New York Times”, 16 lutego 2011.

Markram Henry, The Blue Brain Project, „Nature Reviews Neuroscience”, 7, 2, 2006, s. 153 – 160.

Mason Heather, Gallup Brain: The Birth of In Vitro Fertilization, Gallup, 5 sierpnia 2003.

Menzel Randolf, Giurfa Martin, Cognitive Architecture of a Mini-Brain: The Honeybee, „Trends in Cognitive Sciences”, 5, 2, 2001 s. 62 – 71.

Metzinger Thomas, Being No One: The Self-Model Theory of Subjectivity, MIT Press, Cambridge 2003.

Mijic Roko, „Bootstrapping Safe AGI Goal Systems”, referat wygłoszony podczas The Roadmaps to AGI and the Future of AGI Workshop, Lugano, 8 marca 2010.

Mike Mike, „Face of Tomorrow”, 2013, http://faceoftomorrow.org.

Milgrom Paul, Roberts John, „Bargaining Costs, Influence Costs, and the Organization of Economic Activity”, w: Alt James E., Shepsle Kenneth A. (red.), Perspectives on Positive Political Economy, Cambridge University Press, New York 1990, s. 57 – 89.

Miller George A., The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information, „Psychological Review”, 63, 2, 1956, s. 81 – 97.

Miller Geoffrey, Umysł w zalotach: jak wybory seksualne kształtowały naturę człowieka, tłum. Małgorzata Koraszewska, Rebis, Poznań 2004.

Miller James D., Singularity Rising: Surviving and Thriving in a Smarter, Richer, and More Dangerous World, BenBella Books, Dallas 2012.

Minsky Marvin, Computation: Finite and Infinite Machines, Prentice-Hall, Englewood Cliffs 1967.

Minsky Marvin, Semantic Information Processing, MIT Press, Cambridge 1968.

Minsky Marvin, „Afterword to Vernor Vinge’s novel, True Names”, praca nieopublikowana, 1 października 1984, http://web.media.mit.edu/~minsky/papers/TrueNames.Afterword.html [dostęp 14 listopada 2015].

Minsky Marvin, The Emotion Machine: Commonsense Thinking, Artificial Intelligence, and the Future of the Human Mind, Simon & Schuster, New York 2006.

Minsky Marvin, Papert Seymour, Perceptrons: An Introduction to Computational Geometry, MIT Press, Cambridge 1969.

Moore Andrew, „Hedonism”, w: Zalta Edward N. (red.), The Stanford Encyclopedia of Philosophy, zima 2011, Stanford University, Stanford 2011.

Moravec Hans P., „The Role of Raw Power in Intelligence”, praca nieopublikowana, 12 maja 1976, https://www.frc.ri.cmu.edu/~hpm/project.archive/general.articles/1975/Raw.Power.html [dostęp 14 listopada 2015].

Moravec Hans P., „Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover”, praca doktorska, Stanford University, 1980.

Moravec Hans P., Mind Children: The Future of Robot and Human Intelligence, Harvard University Press, Cambridge 1988.

Moravec Hans P., When Will Computer Hardware Match the Human Brain?, „Journal of Evolution and Technology”, 1998, 1.

Moravec Hans P., Rise of the Robots, „Scientific American”, grudzień 1999, s. 124 – 135.

Muehlhauser Luke, Helm Louie, „The Singularity and Machine Ethics”, w: Eden Amnon, Søraker Johnny, Moor James H., Steinhart Eric (red.), Singularity Hypotheses: A Scientific and Philosophical Assessment, The Frontiers Collection, Springer, Berlin 2012.

Muehlhauser Luke, Salamon Anna, „Intelligence Explosion: Evidence and Import”, w: Eden Amnon, Søraker Johnny, Moor James H., Steinhart Eric (red.), Singularity Hypotheses: A Scientific and Philosophical Assessment, The Frontiers Collection, Springer, Berlin 2012.

Müller Vincent C., Bostrom Nick, „Future Progress in Artificial Intelligence: A Poll Among Experts”, w: Müller Vincent C. (red.), Risks of Artificial General Intelligence, „Journal of Experimental and Theoretical Artificial Intelligence”, wyd. specjalne, 2014.

Murphy Kevin P., Machine Learning: A Probabilistic Perspective, Adaptive Computation and Machine Learning, MIT Press, Cambridge 2012.

Nachman Michael W., Crowell Susan L., Estimate of the Mutation Rate per Nucleotide in Humans, „Genetics”, 156, 1, 2000, s. 297 – 304.

Nagy Z.P., Chang C.C., Artificial Gametes, „Theriogenology”, 67, 1, 2007, s. 99 – 104.

Nagy Z.P., Kerkis I., Chang C.C., Development of Artificial Gametes, „Reproductive BioMedicine Online”, 16, 4, 2008, s. 539 – 544.

NASA, „International Space Station: Facts and Figures”, 2013, http://www.nasa.gov/mission_pages/station/main/onthestation/facts_and_figures.html [dostęp 14 listopada 2015].

Newborn Monty, Beyond Deep Blue: Chess in the Stratosphere, Springer, New York 2011.

Newell Allen, Shaw J.C., Simon Herbert A., Chess-Playing Programs and the Problem of Complexity, „IBM Journal of Research and Development”, 2, 4, 1958, s. 320 – 335.

Newell Allen, Shaw J.C., Simon Herbert A., „Report on a General Problem-Solving Program: Proceedings of the International Conference on Information Processing”, w: Information Processing, UNESCO, Paris 1959, s. 256 – 264.

Nicolelis Miguel A.L., Lebedev Mikhail A., Principles of Neural Ensemble Physiology Underlying the Operation of Brain – Machine Interfaces, „Nature Reviews Neuroscience”, 10, 7, 2009, s. 530 – 540.

Nilsson Nils J., Shakey the Robot, Technical Note 323, AI Center, SRI International, Menlo Park, kwiecień 1984.

Nilsson Nils J., The Quest for Artificial Intelligence: A History of Ideas and Achievements, Cambridge University Press, New York 2009.

Nisbett R.E., Aronson J., Blair C., Dickens W., Flynn J., Halpern D.F., Turkheimer E., Intelligence: New Findings and Theoretical Developments, „American Psychologist”, 67, 2, 2012, s. 130 – 159.

Niven Larry, „The Defenseless Dead”, w: Elwood Roger (red.), Ten Tomorrows, Fawcett, New York 1973, s. 91 – 142.

Nordhaus William D., Two Centuries of Productivity Growth in Computing, „Journal of Economic History”, 67, 1, 2007, s. 128 – 159.

Norton John D., Waiting for Landauer, „Studies in History and Philosophy of Science Part B: Studies in History and Philosophy of Modern Physics”, 42, 3, 2011, s. 184 – 198.

Olds James, Milner Peter, Positive Reinforcement Produced by Electrical Stimulation of Septal Area and Other Regions of Rat Brain, „Journal of Comparative and Physiological Psychology”, 47, 6, 1954, s. 419 – 427.

Olum Ken D., The Doomsday Argument and the Number of Possible Observers, „Philosophical Quarterly”, 52, 207, 2002, s. 164 – 184.

Omohundro Stephen M., „The Nature of Self-Improving Artificial Intelligence”, referat zaprezentowany podczas Singularity Summit 2007, San Francisco, 8 – 9 września 2007.

Omohundro Stephen M., „The Basic AI Drives”, w: Wang Pei, Goertzel Ben, Franklin Stan (red.), Artificial General Intelligence 2008: Proceedings of the First AGI Conference, Frontiers in Artificial Intelligence and Applications 171, IOS, Amsterdam 2008, s. 483 – 492.

Omohundro Stephen M., „Rational Artificial Intelligence for the Greater Good”, w: Eden Amnon, Søraker Johnny, Moor James H., Steinhart Eric (red.), Singularity Hypotheses: A Scientific and Philosophical Assessment, The Frontiers Collection, Springer, Berlin 2012.

O’Neill Gerard K., The Colonization of Space, „Physics Today”, 27, 9, 1974, s. 32 – 40.

Oshima Hideki, Katayama Yoichi, Neuroethics of Deep Brain Stimulation for Mental Disorders: Brain Stimulation Reward in Humans, „Neurologia medico-chirurgica”, 50, 9, 2010, s. 845 – 852.

Parfit Derek, Racje i osoby, tłum. Witold M. Hensel, Michał Warchala, Wydawnictwo Naukowe PWN, Warszawa 2012.

Parfit Derek, On What Matters, The Berkeley Tanner Lectures, Oxford University Press, New York 2011.

Parrington Alan J., Mutually Assured Destruction Revisited, „Airpower Journal”, 11, 4, 1997.

Pasqualotto Emanuele, Federici Stefano, Belardinelli Marta Olivetti, Toward Functioning and Usable Brain – Computer Interfaces (BCIs): A Literature Review, „Disability and Rehabilitation: Assistive Technology”, 7, 2, 2012, s. 89 – 103.

Pearl Judea, Causality: Models, Reasoning, and Inference, 2nd ed., Cambridge University Press, New York 2009.

Perlmutter J.S., Mink J.W., Deep Brain Stimulation, „Annual Review of Neuroscience”, 29, 2006, s. 229 – 257.

Pinker Steven, The Better Angels of Our Nature: Why Violence Has Declined, Viking, New York 2011.

Plomin R., Haworth C.M., Meaburn E.L., Price T.S., Wellcome Trust Case Control Consortium 2, Davis O.S., Common DNA Markers Can Account for More than Half of the Genetic Influence on Cognitive Abilities, „Psychological Science”, 24, 2, 2013, s. 562 – 568.

Popper Nathaniel, Flood of Errant Trades Is a Black Eye for Wall Street, „New York Times”, 1 sierpnia 2012.

Pourret Olivier, Naim Patrick, Marcot Bruce (red.), Bayesian Networks: A Practical Guide to Applications, Wiley, Chichester 2008.

Powell A., Shennan S., Thomas M.G., Late Pleistocene Demography and the Appearance of Modern Human Behavior, „Science”, 324, 5932, 2009, s. 1298 – 1301.

Price Huw, Agency and Probabilistic Causality, „British Journal for the Philosophy of Science”, 42, 2, 1991, s. 157 – 176.

Qian M., Wang D., Watkins W.E., Gebski V., Yan Y.Q., Li M., Chen Z.P., The Effects of Iodine on Intelligence in Children: A Meta-Analysis of Studies Conducted in China, „Asia Pacific Journal of Clinical Nutrition”, 14, 1, 2005, s. 32 – 42.

Quine Willard Van Orman, Ullian Joseph Silbert, The Web of Belief, vol. 2, Random House, New York 1978.

Railton Peter, Facts and Values, „Philosophical Topics”, 14, 2, 1986, s. 5 – 31.

Rajab Moheeb Abu, Zarfoss Jay, Monrose Fabian, Terzis Andreas, „A Multifaceted Approach to Understanding the Botnet Phenomenon”, w: Proceedings of the 6th ACM SIGCOMM Conference on Internet Measurement, ACM, New York 2006, s. 41 – 52.

Rawls John, Teoria sprawiedliwości, tłum. Maciej Panufnik, Jarosław Pasek, Adam Romaniuk, Wydawnictwo Naukowe PWN, Warszawa 1994.

Read J.I., Trentham Neil, The Baryonic Mass Function of Galaxies, „Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences”, 363, 1837, 2005, s. 2693 – 2710.

Repantis D., Schlattmann P., Laisney O., Heuser I., Modafinil and Methylphenidate for Neuroenhancement in Healthy Individuals: A Systematic Review, „Pharmacological Research”, 62, 3, 2010, s. 187 – 206.

Rhodes Richard, Jak powstała bomba atomowa, tłum. Piotr Amsterdamski, Książka i Wiedza, Warszawa 2000.

Rhodes Richard, Arsenals of Folly: The Making of the Nuclear Arms Race, Vintage, New York 2008.

Rietveld Cornelius A., Medland Sarah E., Derringer Jaime, Yang Jian, Esko Tonu, Martin Nicolas W., Westra Harm-Jan, Shakhbazov Konstantin, Abdellaoui Abdel i in., GWAS of 126,559 Individuals Identifies Genetic Variants Associated with Educational Attainment, „Science”, 340, 6139, 2013, s. 1467 – 1471.

Ring Mark, Orseau Laurent, „Delusion, Survival, and Intelligent Agents”, w: Schmidhuber Jürgen, Thórisson Kristinn R., Looks Moshe (red.), Artificial General Intelligence: 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3 – 6, 2011. Proceedings, Lecture Notes in Computer Science 6830, Springer, Berlin 2011, s. 11 – 20.

Ritchie Graeme, Manurung Ruli, Waller Annalu, „A Practical Application of Computational Humour”, w: Cardoso Amilcar, Wiggins Geraint A. (red.), Proceedings of the 4th International Joint Workshop on Computational Creativity, Goldsmiths, University of London, London 2007, s. 91 – 98.

Roache Rebecca, Ethics, Speculation, and Values, „NanoEthics”, 2, 3, 2008, s. 317 – 327.

Robles J.A., Lineweaver C.H., Grether D., Flynn C., Egan C.A., Pracy M.B., Holmberg J., Gardner E., A Comprehensive Comparison of the Sun to Other Stars: Searching for Self-Selection Effects, „Astrophysical Journal”, 684, 1, 2008, s. 691 – 706.

Roe Anne, The Making of a Scientist, Dodd, Mead, New York 1953.

Roy Deb, „About”, http://web.media.mit.edu/~dkroy/ [dostęp 14 listopada 2015].

Rubin Jonathan, Watson Ian, Computer Poker: A Review, „Artificial Intelligence”, 175, 5 – 6, 2011, s. 958 – 987.

Rumelhart D.E., Hinton G.E., Williams R.J., Learning Representations by Back-Propagating Errors, „Nature”, 323, 6088, 1986, s. 533 – 536.

Russell Bertrand, „The Philosophy of Logical Atomism”, w: Slater John G. (red.), The Philosophy of Logical Atomism and Other Essays 1914 – 1919, The Collected Papers of Bertrand Russell, Allen & Unwin, Boston 1986, t. 8, s. 157 – 244.

Russell Bertrand, Griffin Nicholas, The Selected Letters of Bertrand Russell: The Public Years, 1914 – 1970, Routledge, New York 2001.

Russell Stuart J., Norvig Peter, Artificial Intelligence: A Modern Approach, 3rd ed., Prentice-Hall, Upper Saddle River 2010.

Sabrosky Curtis W., „How Many Insects Are There?”, w: United States Department of Agriculture (red.), Insects, Yearbook of Agriculture, United States Government Printing Office, Washington 1952, s. 1 – 7.

Salamon Anna, „When Software Goes Mental: Why Artificial Minds Mean Fast Endogenous Growth”, dokument roboczy, 27 grudnia 2009.

Salem D.J., Rowan A.N., The State of the Animals: 2001, Public Policy Series, Humane Society Press, Washington 2001.

Salverda W., Nolan B., Smeeding T.M., The Oxford Handbook of Economic Inequality, Oxford University Press, Oxford 2009.

Samuel A.L., Some Studies in Machine Learning Using the Game of Checkers, „IBM Journal of Research and Development”, 3, 3, 1959, s. 210 – 219.

Sandberg Anders, The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains, „Journal of Evolution and Technology”, 5, 1999.

Sandberg Anders, „An Overview of Models of Technological Singularity”, referat wygłoszony podczas The Roadmaps to AGI and the Future of AGI Workshop, Lugano, 8 marca 2010.

Sandberg Anders, „Feasibility of Whole Brain Emulation”, w: Müller Vincent C. (red.), Philosophy and Theory of Artificial Intelligence, 5, „Studies in Applied Philosophy, Epistemology and Rational Ethics”, Springer, New York 2013, s. 251 – 264.

Sandberg Anders, Bostrom Nick, Converging Cognitive Enhancements, „Annals of the New York Academy of Sciences”, 1093, 2006, s. 201 – 227.

Sandberg Anders, Bostrom Nick, Whole Brain Emulation: A Roadmap, Technical Report 2008-3, Future of Humanity Institute, University of Oxford, 2008.

Sandberg Anders, Bostrom Nick, Machine Intelligence Survey, Technical Report 2011-1, Future of Humanity Institute, University of Oxford 2011.

Sandberg Anders, Savulescu Julian, „The Social and Economic Impacts of Cognitive Enhancement”, w: Savulescu Julian, ter Meulen Ruud, Kahane Guy (red.), Enhancing Human Capacities, Wiley-Blackwell, Malden 2011, s. 92 – 112.

Schaeffer Jonathan, One Jump Ahead: Challenging Human Supremacy in Checkers, Springer, New York 1997.

Schaeffer J., Burch N., Bjornsson Y., Kishimoto A., Muller M., Lake R., Lu P., Sutphen S., Checkers Is Solved, „Science”, 317, 5844, 2007, s. 1518 – 1522.

Schalk Gerwin, Brain – Computer Symbiosis, „Journal of Neural Engineering”, 5, 1, 2008, s. P1 – P15.

Schelling Thomas C., Strategia konfliktu, wstęp do wydania polskiego Leszek Balcerowicz, tłum. Janusz Stawiński, Oficyna Wydawnicza Wolters Kluwer Business, Warszawa 2013.

Schultz T.R., In Search of Ant Ancestors, „Proceedings of the National Academy of Sciences of the United States of America”, 97, 26, 2000, s. 14028 – 14029.

Schultz W., Dayan P., Montague P.R., A Neural Substrate of Prediction and Reward, „Science”, 275, 5306, 1997, s. 1593 – 1599.

Schwartz Jacob T., „Limits of Artificial Intelligence”, w: Shapiro Stuart C., Eckroth David (red.), Encyclopedia of Artificial Intelligence, t. 1, Wiley, New York 1987, s. 488 – 503.

Schwitzgebel Eric, „If Materialism is True, the United States is Probably Conscious”, dokument roboczy, 8 lutego 2013.

Sen Amartya, Williams Bernard (red.), Utilitarianism and Beyond, Cambridge University Press, New York 1982.

Shanahan Murray, Embodiment and the Inner Life: Cognition and Consciousness in the Space of Possible Minds, Oxford University Press, New York 2010.

Shannon Robert V., Advances in Auditory Prostheses, „Current Opinion in Neurology”, 25, 1, 2012, s. 61 – 66.

Shapiro Stuart C., „Artificial Intelligence”, w: Encyclopedia of Artificial Intelligence, 2nd ed., t. 1, Wiley, New York 1992, s. 54 – 57.

Sheppard Brian, World-Championship-Caliber Scrabble, „Artificial Intelligence”, 134, 1 – 2, 2002, s. 241 – 275.

Shoemaker Sydney, Time Without Change, „Journal of Philosophy”, 66, 12, 1969, s. 363 – 381.

Shulman Carl [2010a], Omohundro’s „Basic AI Drives” and Catastrophic Risks, Machine Intelligence Research Institute, San Francisco 2010.

Shulman Carl [2010b], Whole Brain Emulation and the Evolution of Superorganisms, Machine Intelligence Research Institute, San Francisco 2010.

Shulman Carl, „Could We Use Untrustworthy Human Brain Emulations to Make Trustworthy Ones?”, referat wygłoszony podczas konferencji the AGI Impacts 2012.

Shulman Carl, Bostrom Nick, How Hard is Artificial Intelligence? Evolutionary Arguments and Selection Effects, „Journal of Consciousness Studies”, 19, 7 – 8, 2012, s. 103 – 130.

Shulman Carl, Bostrom Nick, Embryo Selection for Cognitive Enhancement: Curiosity or Game-Changer?, „Global Policy”, 5, 1, 2014, s. 85 – 92.

Shulman Carl, Jonsson Henrik, Tarleton Nick, „Which Consequentialism? Machine Ethics and Moral Divergence”, w: Reynolds Carson, Cassinelli Alvaro, AP-CAP 2009: The Fifth Asia-Pacific Computing and Philosophy Conference, October 1st-2nd, University of Tokyo, Japan. Proceedings, AP-CAP 2009, s. 23 – 25.

Sidgwick Henry, Jones Emily Elizabeth Constance, The Methods of Ethics, Nabu Press, Charleston 2010.

Silver Albert, „How Strong Is GNU Backgammon?”, Backgammon Galore!, 16 września 2006, http://www.bkgm.com/gnu/AllAboutGNU.html#how_strong_is_gnu [dostęp 14 listopada 2015].

Simeral J.D., Kim S.P., Black M.J., Donoghue J.P., Hochberg L.R., Neural Control of Cursor Trajectory and Click by a Human with Tetraplegia 1000 Days after Implant of an Intracortical Microelectrode Array, „Journal of Neural Engineering”, 8, 2, 2011, s. 025 – 027.

Simester Duncan, Knez Marc, Direct and Indirect Bargaining Costs and the Scope of the Firm, „Journal of Business”, 75, 2, 2002, s. 283 – 304.

Simon Herbert Alexander, The Shape of Automation for Men and Management, Harper & Row, New York 1965.

Sinhababu Neil, The Humean Theory of Motivation Reformulated and Defended, „Philosophical Review”, 118, 4, 2009, s. 465 – 500.

Slagle James R., A Heuristic Program That Solves Symbolic Integration Problems in Freshman Calculus, „Journal of the ACM”, 10, 4, 1963, s. 507 – 520.

Smeding H.M., Speelman J.D., Koning-Haanstra M., Schuurman P.R., Nijssen P., van Laar T., Schmand B., Neuropsychological Effects of Bilateral STN Stimulation in Parkinson Disease: A Controlled Study, „Neurology”, 66, 12, 2006, s. 1830 – 1836.

Smith Michael, The Humean Theory of Motivation, „Mind: A Quarterly Review of Philosophy”, 96, 381, 1987, s. 36 – 61.

Smith Michael, Lewis David, Johnston Mark, Dispositional Theories of Value, „Proceedings of the Aristotelian Society”, 63, 1989, s. 89 – 174.

Sparrow Robert, In Vitro Eugenics, „Journal of Medical Ethics”, opublikowane online 4 kwietnia 2013, http://jme.bmj.com/content/early/2013/02/13/medethics-2012-101200.full [dostęp 14 listopada 2015].

Stansberry Matt, Kudritzki Julian, Uptime Institute 2012 Data Center Industry Survey, Uptime Institute, 2012.

Stapledon Olaf, Star Maker, Methuen, London 1937.

Steriade M., Timofeev I., Durmuller N., Grenier F., Dynamic Properties of Corticothalamic Neurons and Local Cortical Interneurons Generating Fast Rhythmic (30 – 40 Hz) Spike Bursts, „Journal of Neurophysiology”, 79, 1, 1998, s. 483 – 490.

Stewart P.W., Lonky E., Reihman J., Pagano J., Gump B.B., Darvill T., The Relationship Between Prenatal PCB Exposure and Intelligence (IQ) in 9-Year-Old Children, „Environmental Health Perspectives”, 116, 10, 2008, s. 1416 – 1422.

Sun W., Yu H., Shen Y., Banno Y., Xiang Z., Zhang Z., Phylogeny and Evolutionary History of the Silkworm, „Science China Life Sciences”, 55, 6, 2012, s. 483 – 496.

Sundet J., Barlaug D., Torjussen T., The End of the Flynn Effect? A Study of Secular Trends in Mean Intelligence Scores of Norwegian Conscripts During Half a Century, „Intelligence”, 32, 4, 2004, s. 349 – 362.

Sutton Richard S., Barto Andrew G., Reinforcement Learning: An Introduction, Adaptive Computation and Machine Learning, MIT Press, Cambridge 1998.

Talukdar D., Sudhir K., Ainslie A., Investigating New Product Diffusion Across Products and Countries, „Marketing Science”, 21, 1, 2002, s. 97 – 114.

Teasdale Thomas W., Owen David R., Secular Declines in Cognitive Test Scores: A Reversal of the Flynn Effect, „Intelligence”, 36, 2, 2008, s. 121 – 126.

Tegmark Max, Bostrom Nick, Is a Doomsday Catastrophe Likely?, „Nature”, 438, 2005, s. 754.

Teitelman Warren, „Pilot: A Step Towards Man – Computer Symbiosis”, praca doktorska, Massachusetts Institute of Technology, 1966.

Temple Robert K.G., The Genius of China: 3000 Years of Science, Discovery, and Invention, Simon & Schuster, New York 1986.

Tesauro Gerald, Temporal Difference Learning and TD-Gammon, „Communications of the ACM”, 38, 3, 1995, s. 58 – 68.

Tetlock Philip E., Expert Political Judgment: How Good is it? How Can We Know?, Princeton University Press, Princeton 2005.

Tetlock Philip E., Belkin Aaron, „Counterfactual Thought Experiments in World Politics: Logical, Methodological, and Psychological Perspectives”, w: Tetlock Philip E., Belkin Aaron (red.), Counterfactual Thought Experiments in World Politics: Logical, Methodological, and Psychological Perspectives, Princeton University Press, Princeton 1996, s. 1 – 38.

Thompson Adrian, „Artificial Evolution in the Physical World”, w: Gomi Takashi (red.), Evolutionary Robotics: From Intelligent Robots to Artificial Life, Er ’97, Applied AI Systems, Carp 1997, s. 101 – 125.

Thrun S., Montemerlo M., Dahlkamp H., Stavens D., Aron A., Diebel J., Fong P. i in., Stanley: The Robot That Won the DARPA Grand Challenge, „Journal of Field Robotics”, 23, 9, 2006, s. 661 – 692.

Trachtenberg J.T., Chen B.E., Knott G.W., Feng G., Sanes J.R., Welker E., Svoboda K., Long-Term In Vivo Imaging of Experience-Dependent Synaptic Plasticity in Adult Cortex, „Nature”, 420, 6917, 2002, s. 788 – 794.

Traub Wesley A., Terrestrial, Habitable-Zone Exoplanet Frequency from Kepler, „Astrophysical Journal”, 745, 1, 2012, s. 1 – 10.

Truman James W., Taylor Barbara J., Awad Timothy A., „Formation of the Adult Nervous System”, w: Bate Michael, Martinez Arias Alfonso (red.), The Development of Drosophila Melanogaster, Cold Spring Harbor Laboratory, Plainview 1993.

Tuomi Ilkka, The Lives and the Death of Moore’s Law, „First Monday”, 7, 11, 2002.

Turing A.M., Computing Machinery and Intelligence, „Mind”, 59, 236, 1950, s. 433 – 460.

Turkheimer Eric, Haley Andreana, Waldron Mary, D’Onofrio Brian, Gottesman Irving I., Socioeconomic Status Modifies Heritability of IQ in Young Children, „Psychological Science”, 14, 6, 2003, s. 623 – 628.

Uauy Ricardo, Dangour Alan D., Nutrition in Brain Development and Aging: Role of Essential Fatty Acids, „Supplement, Nutrition Reviews”, 64, 5, 2006, s. S24 – S33.

Ulam Stanislaw M., John von Neumann, „Bulletin of the American Mathematical Society”, 64, 3, 1958, s. 1 – 49.

The Uncertain Future, „Frequently Asked Questions”, 2012, http://www.theuncertainfuture.com/faq.html [dostęp 14 listopada 2015].

U.S. Congress, Office of Technology Assessment, U.S. – Russian Cooperation in Space, ISS-618, U.S. Government Printing Office, Washington, kwiecień 1995.

Van Zanden Jan Luiten, On Global Economic History: A Personal View on an Agenda for Future Research, International Institute for Social History, 23 lipca 2003.

Vardi Moshe Y., Artificial Intelligence: Past and Future, „Communications of the ACM”, 55, 2012, 1, s. 5.

Vassar Michael, Freitas Robert A., Jr., „Lifeboat Foundation Nanoshield”, Lifeboat Foundation, 2006, http://lifeboat.com/ex/nanoshield [dostęp 14 listopada 2015].

Vinge Vernor, „The Coming Technological Singularity: How to Survive in the Post-Human Era”, w: Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace, NASA Conference Publication 10129, NASA Lewis Research Center, 1993, s. 11 – 22.

Visscher P.M., Hill W.G., Wray N.R., Heritability in the Genomics Era: Concepts and Misconceptions, „Nature Reviews Genetics”, 9, 4, 2008, s. 255 – 266.

Vollenweider Franz, Gamma Alex, Liechti Matthias, Huber Theo, Psychological and Cardiovascular Effects and Short-Term Sequelae of MDMA (‘Ecstasy’) in MDMA-Naïve Healthy Volunteers, „Neuropsychopharmachology”, 19, 4, 1998, s. 241 – 251.

Wade Michael J., Group Selections Among Laboratory Populations of Tribolium, „Proceedings of the National Academy of Sciences of the United States of America”, 73, 12, 1976, s. 4604 – 4607.

Wainwright Martin J., Jordan Michael I., Graphical Models, Exponential Families, and Variational Inference, „Foundations and Trends in Machine Learning”, 1, 1 – 2, 2008, s. 1 – 305.

Walker Mark, Prolegomena to Any Future Philosophy, „Journal of Evolution and Technology”, 10, 1, 2002.

Walsh Nick Paton, Alter our DNA or robots will take over, warns Hawking, „The Observer”, 1 września 2001, http://www.theguardian.com/uk/2001/sep/02/medicalscience.genetics [dostęp 14 listopada 2015].

Warwick Kevin, I, Cyborg, Century, London 2002.

Wehner M., Oliker L., Shalf J., Towards Ultra-High Resolution Models of Climate and Weather, „International Journal of High Performance Computing Applications”, 22, 2, 2008, s. 149 – 165.

Weizenbaum Joseph, Eliza: A Computer Program for the Study of Natural Language Communication Between Man And Machine, „Communications of the ACM”, 9, 1, 1966, s. 36 – 45.

Weizenbaum Joseph, Computer Power and Human Reason: From Judgment to Calculation, W.H. Freeman, San Francisco 1976.

Werbos Paul John, The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting, Wiley, New York 1994.

White J.G., Southgate E., Thomson J.N., Brenner S., The Structure of the Nervous System of the Nematode Caenorhabditis Elegans, „Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences”, 314, 1165, 1986, s. 1 – 340.

Whitehead Hal, Sperm Whales: Social Evolution in the Ocean, University of Chicago Press, Chicago 2003.

Whitman William B., Coleman David C., Wiebe William J., Prokaryotes: The Unseen Majority, „Proceedings of the National Academy of Sciences of the United States of America”, 95, 12, 1998, s. 6578 – 6583.

Wiener Norbert, Some Moral and Technical Consequences of Automation, „Science”, 131, 3410, 1960, s. 1355 – 1358.

Wikipedia [2012a], „Computer Bridge”, http://en.wikipedia.org/wiki/Computer_bridge [dostęp 10 grudnia 2015].

Wikipedia [2012b], „Superkomputer”, http://pl.wikipedia.org/wiki/Superkomputer [dostęp 10 grudnia 2015].

Williams George C., Adaptation and Natural Selection: A Critique of Some Current Evolutionary Thought, Princeton Science Library, Princeton University Press, Princeton 1966.

Winograd Terry, Understanding Natural Language, Academic Press, New York 1972.

Wood Nigel, Chinese Glazes: Their Origins, Chemistry and Re-creation, A. & C. Black, London 2007.

World Bank, Global Economic Prospects: Technology Diffusion in the Developing World, 42097, Washington 2008.

World Robotics, Executive Summary of 1. World Robotics 2011 Industrial Robots; 2. World Robotics 2011 Service Robots, 2011, http://www.bara.org.uk/pdf/2012/world-robotics/Executive_Summary_WR_2012.pdf [dostęp 14 listopada 2015].

World Values Survey, WVS 2005-2008, 2008, http://www.wvsevsdb.com/wvs/WVSAnalizeStudy.jsp [dostęp 14 listopada 2015].

Wright Robert, Nonzero: logika ludzkiego przeznaczenia, tłum. Zofia Łomnicka, Prószyński i s-ka, Warszawa 2005.

Yaeger Larry, „Computational Genetics, Physiology, Metabolism, Neural Systems, Learning, Vision, and Behavior or PolyWorld: Life in a New Context”, w: Langton C.G. (red.), Proceedings of the Artificial Life III Conference, s. 263 – 298, Santa Fe Institute Studies in the Sciences of Complexity, Addison-Wesley, Reading 1994.

Yudkowsky Eliezer, Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures, Machine Intelligence Research Institute, San Francisco, 15 czerwca 2001.

Yudkowsky Eliezer, „The AI-Box Experiment”, 2002, http://yudkowsky.net/singularity/aibox [dostęp 14 listopada 2015].

Yudkowsky Eliezer, Coherent Extrapolated Volition, Machine Intelligence Research Institute, San Francisco, maj 2004.

Yudkowsky Eliezer, „Levels of Organization in General Intelligence”, w: Goertzel Ben, Pennachin Cassio (red.), Artificial General Intelligence, Cognitive Technologies, Springer, Berlin 2007, s. 389 – 501.

Yudkowsky Eliezer [2008a], „Artificial Intelligence as a Positive and Negative Factor in Global Risk”, w: Bostrom Nick, Ćirković Milan M. (red.), Global Catastrophic Risks, Oxford University Press, New York 2008, s. 308 – 345.

Yudkowsky Eliezer [2008b], Sustained Strong Recursion, „Less Wrong” (blog), 5 grudnia 2008.

Yudkowsky Eliezer, Timeless Decision Theory, Machine Intelligence Research Institute, San Francisco 2010.

Yudkowsky Eliezer, Complex Value Systems are Required to Realize Valuable Futures, Machine Intelligence Research Institute, San Francisco 2011.

Yudkowsky Eliezer, Intelligence Explosion Microeconomics, Technical Report 2013 – 1, Machine Intelligence Research Institute, Berkeley 2013.

Zahavi Amotz, Zahavi Avishag, The Handicap Principle: A Missing Piece of Darwin’s Puzzle, Oxford University Press. New York 1997.

Zalasiewicz J., Williams M., Smith A., Barry T.L., Coe A.L., Bown P.R., Brenchley P. i in., Are We Now Living in the Anthropocene?, „GSA Today”, 18, 2, 2008, s. 4 – 8.

Zeira Joseph, Innovations, Patent Races and Endogenous Growth, „Journal of Economic Growth”, 16, 2, 2011, s. 135 – 156.

Zuleta Hernando, An Empirical Note on Factor Shares, „Journal of International Trade and Economic Development”, 17, 3, 2008, s. 379 – 390.

Spis treści

Niedokończona bajka o wróblach

Spisy rysunków, tabel i ramek

Spis rysunków

Spis tabel

Spis ramek

Przedmowa

Podziękowania

Rozdział 1. Dotychczasowe dokonania i obecne możliwości

Fazy wzrostu w dziejach ludzkości

Wielkie oczekiwania

Okresy nadziei i rozczarowań

Aktualny stan badań

Opinie na temat przyszłości sztucznej inteligencji

Rozdział 2. Ścieżki wiodące ku superinteligencji

Sztuczna inteligencja

Emulacja mózgu

Poznanie biologiczne

Interfejsy mózg – komputer

Sieci i organizacje

Podsumowanie

Rozdział 3. Formy superinteligencji

Superinteligencja szybka

Superinteligencja zbiorowa

Superinteligencja jakościowa

Osiągalność pośrednia i bezpośrednia

Źródła przewagi inteligencji cyfrowej

Rozdział 4. Dynamika eksplozji inteligencji

Moment i prędkość odejścia

Oporność

Niemaszynowe ścieżki inteligencji

Emulacja i scenariusze sztucznej inteligencji

Siła optymalizacyjna i eksplozywność

Rozdział 5. Decydująca przewaga strategiczna

Czy wiodący projekt uzyska decydującą przewagę strategiczną?

Jak duży będzie projekt uwieńczony sukcesem?

Monitoring

Współpraca międzynarodowa

Od decydującej przewagi strategicznej do singletonu

Rozdział 6. Poznawcze supermoce

Funkcjonalności i supermoce

Scenariusz przejęcia władzy przez SI

Władza nad naturą i bytami posiadającymi moc sprawczą

Rozdział 7. Pobudki superinteligencji

Związek pomiędzy inteligencją a motywacją

Konwergencja instrumentalna

Instynkt samozachowawczy

Niezmienność celu

Podnoszenie poziomu zdolności poznawczych

Perfekcja technologiczna

Pozyskiwanie zasobów

Rozdział 8. Czy czeka nas zagłada?

Zagłada ludzkości jako najbardziej prawdopodobny skutek eksplozji inteligencji?

Zdradziecki zwrot

Rodzaje złośliwych usterek

Przewrotna realizacja

Przerost infrastruktury

Zbrodnie przeciw umysłom

Rozdział 9. Problem kontroli

Dwa problemy agencji

Metody kontroli potencjału

Uwięzienie

Metody zachęt

Upośledzanie

Wyzwalacze

Metody doboru motywacji

Opis wprost

Udomowienie

Normatywność pośrednia

Rozszerzenie

Podsumowanie

Rozdział 10. Wyrocznie, dżiny, suwereni i narzędzia

Wyrocznie

Dżiny i suwereni

Narzędziowa SI

Porównanie

Rozdział 11. Scenariusze wielobiegunowości

O koniach i ludziach

Płace i bezrobocie

Kapitał i dobrobyt

Model maltuzjański w perspektywie historycznej

Wzrost populacji i inwestycje

Życie w gospodarce algorytmicznej

Ochotnicze niewolnictwo, zwykła śmierć

Czy maksymalnie efektywna praca byłaby zabawna?

Nieświadomi outsourcerzy?

Ewolucja niekoniecznie przebiega wzwyż

Poprzejściowe tworzenie się singletonu?

Drugie przejście

Superorganizmy i korzyści skali

Zjednoczenie traktatowe

Rozdział 12. Zaszczepianie wartości

Problem przekazywania wartości

Selekcja ewolucyjna

Uczenie ze wzmocnieniem

Stopniowy przyrost wartości

Zrąb systemu wartości

Uczenie się wartości

Modyfikowanie emulacji

Projektowanie organizacji instytucjonalnej

Podsumowanie

Rozdział 13. Wybór kryteriów wyboru

Potrzeba normatywności pośredniej

Spójna, ekstrapolowana wola

Kilka wyjaśnień

Uzasadnienie CEV

Dalsze uwagi

Modele moralności

Zrób to, co mam na myśli

Lista komponentów

Istota celu

Teoria decyzji

Teoria poznania

Ratyfikacja

Dostateczne przybliżenie

Rozdział 14. Perspektywa strategiczna

Strategia naukowo-technologiczna

Zróżnicowany rozwój technologiczny

Preferowana kolejność nadejścia

Tempo przemian i doskonalenie poznawcze

Sprzężenia technologiczne

Wodzenie za nos

Scenariusze i czynniki umożliwiające ich realizację

Efekty postępu w dziedzinie sprzętu

Czy należy propagować badania nad emulacją mózgu?

Perspektywa wpływu na człowieka preferuje szybkość

Współpraca

Dynamika wyścigu i jej niebezpieczeństwa

O korzyściach ze współpracy

Wspólna praca

Rozdział 15. Moment krytyczny

Filozofia z nieprzekraczalnym terminem

Co mamy do zrobienia?

Potrzeba rzucenia światła na sytuację strategiczną

Budowa dobrego potencjału

Szczególne środki

Proszę o powstanie najlepsze cechy natury ludzkiej

Przypisy

Przedmowa

Rozdział 1. Dotychczasowe dokonania i obecne możliwości

Rozdział 2. Ścieżki wiodące ku superinteligencji

Rozdział 3. Formy superinteligencji

Rozdział 4. Dynamika eksplozji inteligencji

Rozdział 5. Decydująca przewaga strategiczna

Rozdział 6. Poznawcze supermoce

Rozdział 7. Pobudki superinteligencji

Rozdział 8. Czy czeka nas zagłada?

Rozdział 9. Problem kontroli

Rozdział 10. Wyrocznie, dżiny, suwereni i narzędzia

Rozdział 11. Scenariusze wielobiegunowości

Rozdział 12. Zaszczepianie wartości

Rozdział 13. Wybór kryteriów wyboru

Rozdział 14. Perspektywa strategiczna

Rozdział 15. Moment krytyczny

Bibliografia