Analiza scenarijev človeškega izumrtja in sorodnih nevarnosti

Povzetek

Zaradi pospešujočega tehnološkega napredka je mogoče, da se človeštvo hitro približuje kritični fazi svoje kariere. Poleg dobro znanih groženj, kot je nuklearni holokavst, se zaradi obetov radikalno transformirajočih tehnologij, kot so nanotehnološki sistemi in strojna inteligenca, soočamo s priložnostmi in tveganji, kakršnih še ni bilo. Naša prihodnost, ter dejstvo, če bomo sploh imeli prihodnost, bo morda odločena ravno na podlagi tega, kako se bomo spopadli s temi izzivi. V primeru tehnologij radikalne transformacije je potrebno boljše razumevanje prehodnih dinamik iz človeške v “postčloveško” družbo. Še posebej pomembno je vedeti, kje ležijo pasti: načini, kako bi stvari lahko šle smrtonosno narobe. Medtem ko smo bili že dolgo izpostavljeni raznovrstnim osebnim, lokalnim in vzdržnim globalnim tveganjem, to delo analizira kategorijo, ki se je šele nedavno pojavila: eksistenčna tveganja. To so grožnje, ki bi lahko povzročile naše izumrtje ali uničile potencial inteligentnega življenja Zemeljskega izvora. Nekatere izmed teh groženj so precej dobro znane, medtem ko so druge, med njimi tudi nekaj najhujših, ostale skorajda popolnoma neznane. Eksistenčna tveganja imajo skupek značilnosti, zaradi katerih je klasično obvladovanje tveganj neučinkovito. Preostanek tega dela se ukvarja z različnimi implikacijami na področju etike in politik. Jasnejše razumevanje okvira groženj nam bo omogočilo formuliranje boljših strategij.

1. Uvod

Nevarno je biti živ in tveganja so povsod. Na srečo niso vsa tveganja enako nevarna. Za sedanje namene lahko uporabimo tri dimenzije za opis razsežnosti posameznega tveganja: obseg, intenzivnost in verjetnost. Z “obsegom” mislim velikost skupine ljudi, ki jih tveganje ogroža. Z “intenzivnostjo” mislim kako močan bi bil vpliv na vsakega posameznika v skupini. Z “verjetnostjo” pa mislim najboljšo trenutno subjektivno oceno verjetnosti neugodnega izida.[^1]

1.1 Tipologija tveganja

Lahko ločimo šest kvalitativno različnih tipov tveganja glede na njihov obseg in intenzivnost (slika 1). Tretjo dimenzijo, verjetnost, je mogoče razdeliti na dve dimenziji, ki sta grafično prikazani na sliki. Pri ostalih nespremenjenih pogojih, je tveganje bolj resno, če ima stvarno verjetnost in če naša dejanja lahko to verjetnost signifikantno povečajo ali zmanjšajo.

TODO shema Slika 1: Šest kategorij tveganja

“Oseben”, “lokalen” in “globalen” se nanašajo na velikost prebivalstva, ki je neposredno prizadeto; globalno tveganje prizadene celotno človeštvo (in naše potomce). “Vzdržno” v primerjavi s “smrtonosno” nakazuje, kako intenzivno bi bila ciljna populacija prizadeta. Vzdržno tvegaje lahko povzroči veliko uničenje, vendar pa si je po njem mogoče ali opomoči ali pa vsaj najti načine, kako obvladovati posledice. Nasprotno pa je smrtonosno tveganje, pri katerem so tarče ali uničene ali pa nepovratno pohabljene na načine, ki radikalno zmanjšajo njihov potencial za življenje takšnega življenja, za kakršnim težijo. V primeru osebnih tveganj, bi bil, na primer, lahko smrtonosni izid smrt, huda trajna možganska poškodba ali pa doživljenjska zaporna kazen. Primer lokalnega smrtonosnega tveganja bi bil genocid, ki vodi k uničenju posameznega ljudstva (to se je zgodilo vrsti indijanskih narodov). Trajno zasužnjenje je še en primer tega.

1.2 Eksistenčna tveganja

V tem delu bomo razpravljali o tveganjih šeste kategorije, ki so označena z X. To je kategorija globalnih, smrtonosnih tveganj. Imenoval jih bom eksistenčna tveganja.

Eksistenčna tveganja se razlikujejo od globalno vzdržnih tveganj. Primeri slednje vrste vsebujejo: grožnje bioraznovrstnosti Zemljine ekosfere, zmerno globalno segrevanje, globalne gospodarske recesije (celo velike) in morda dušeča kulturna ali religiozna obdobja, kakršno je bil “temni srednji vek”, tudi če se raztezajo prek celotne globalne družbe, pod pogojem, da so prehodna (vendar pa glej del o “vriščih” spodaj). Če rečemo, da je posamezno globalno tveganje vzdržno, s tem očitno nočemo reči, da je sprejemljivo, ali nepomembno. Vojna, bojevana s konvencionalnimi orožji, ali Rajh po nacističnem vzoru, ki bi trajal desetletje, bi predstavljala grozljive dogodke, čeprav bi padla v rubriko vzdržnih globalnih tveganj, saj bi si človeštvo sčasoma lahko opomoglo (Po drugi strani pa bi lahko predstavljala lokalno smrtonosno tveganje za mnoge posameznike in preganjane etnične skupine.)

Uporabljal bom sledečo definicijo eksistenčnih tveganj:

Eksistenčno tveganje - Tveganje, kjer bi neugoden izid ali uničil inteligentno življenje Zemeljskega izvora oziroma trajno in drastično okrnil njegov potencial.

Eksistenčno tveganje je tisto, zaradi katerega je ogroženo človeštvo kot celota. Eksistenčne katastrofe imajo velike negativne posledice za nadaljnji potek človeške civilizacije v celotni prihodnosti.

2. Edinstveni izziv eksistenčnih tveganj

Tveganja v tej šesti kategoriji so nedaven pojav. To je del razloga, zakaj jih je koristno ločiti od drugih tveganj. Nismo razvili mehanizmov, ne bioloških, ne kulturnih, za spoprijemanje s takšnimi tveganji. Dolgotrajne izkušnje s tveganji, kot so nevarne živali, sovražni posamezniki ali plemena, strupena hrana, avtomobilske nesreče, Černobil, Bopal, vulkanski izbruhi, potresi, suše, 1. svetovna vojna, 2. svetovna vojna, epidemije gripe, koze, črna kuga in AIDS so oblikovale naše intuicije in strategije obvladovanja. Katastrofe te vrste so se zgodile mnogokrat, našo kulturno držo do takšnih tveganj pa sta oblikovala poskus in zmota, ter obvladovanje takšnih nevarnosti. Vendar pa ne glede na to, kako tragični so takšni dogodki za ljudi, ki jih neposredno prizadenejo, so z velikega zornega kota – z zornega kota človeštva kot celote – tudi najhujše izmed teh katastrof le rahlo valovanje na površju velikega morja življenja. Niso namreč pomembno vplivale na celotno količino človeškega trpljenja ali sreče, oziroma niso določile dolgoročno usodo naše vrste.

Z izjemo kometa, ki je uničil število vrst, ali udara asteroida (zelo redek pojav), v človeški zgodovini verjetno ni bilo pomembnih eksistenčnih tveganj vse do sredine dvajsetega stoletja, prav gotovo pa ni bilo nobenega eksistenčnega tveganja, na katerega bi lahko sami vplivali.

Prvo človeško narejeno eksistenčno tveganje je bila inavguralna detonacija atomske bombe. V tem času je obstajala skrb, da bi eksplozija lahko sprožila pobeglo verižno reakcijo s tem, ko bi “vžgala” atmosfero. Čeprav sedaj vemo, da je bil takšen izid fizikalno nemogoč, se kvalificira kot eksistenčno tveganje, ki je bilo takrat prisotno. Da bi obstajalo tveganje, glede na znanje in razumevanje, ki je na voljo, zadostuje, da obstaja majhna subjektivna verjetnost neugodnega izida, čeprav se kasneje izkaže, da objektivno ni obstajala nobena možnost, da se zgodi nekaj slabega. Če ne vemo, ali je nekaj objektivno tvegano ali ne, potem je tvegano v subjektivnem smislu. Subjektivni smisel je seveda tisto, na čemer mora temeljiti naša odločitev.[^2] Ob katerem koli času, moramo uporabiti našo najboljšo možno subjektivno oceno tega, kaj naj bi bili objektivni faktorji tveganja.[^3]

Mnogo večje eksistenčno tveganje se je pojavilo s kopičenjem nuklearnega arzenala v ZDA in Sovjetski zvezi. Neomejena nuklearna vojna je bila možnost tako s stvarno verjetnostjo kot s posledicami, ki bi lahko bile dovolj trajne, da bi se kvalificirale kot globalne in smrtonosne. Med tistimi, ki so bili najbolje seznanjeni z informacijami, ki so bile na voljo v tem času, je obstajala resna skrbi, da bo prišlo do nuklearnega armagedona in da bi ta lahko uničil našo vrsto ali pa trajno uničil človeško civilizacijo.[^4] Rusija in ZDA imata še vedno velike nuklearne arzenale, ki bi se lahko uporabili v bodoči konfrontaciji, po nesreči ali pa namerno. Obstaja tudi tveganje, da bi lahko druge države nekega dne nakopičile velike nuklearne arzenale. Upoštevati pa je treba, da majhna nuklearna izmenjava, med Indijo in Pakistanom, na primer, ni eksistenčno tveganje, ker ne bi uničila ali trajno zmanjšala potenciala človeštva. Takšna vojna pa bi lahko bila lokalno smrtonosno tveganje za mesta, ki bi bila najverjetnejše tarče. Žal pa bomo videli, da so nuklearni armagedon, ter udarci kometov ali asteroidov le uvod k eksistenčnim tveganjem, s katerimi se bomo srečali v 21. stoletju.

Posebna narava izzivov, ki jih predstavljajo eksistenčna tveganja je prikazana v sledečih točkah:

• Naš pristop k eksistenčnim tveganjem ne more biti pristop poskusa in napak. Nimamo namreč priložnosti, da bi se učili iz napak. Reaktivni pristop—videti, kaj se bo zgodilo, omejiti škodo, ter se učiti iz izkušenj—je neuporaben. Namesto tega moramo zavzeti proaktivni pristop. Za to je potrebno predvidevanje pričakovanja novih vrst nevarnosti, ter pripravljenost sprejeti odločne preventivne ukrepe ter nositi ceno (moralno in gospodarsko) takšnih ukrepov.

• Ne moremo se nujno zanašati na institucije, moralne norme, družbena razpoloženja ali politike nacionalne varnosti, ki so se razvile iz naših izkušenj z obvladovanjem tveganj te vrste. Eksistenčna tveganja predstavljajo nevarnost drugačne vrste. Morda se nam bo zdelo takšna tveganja težko jemati tako resno, kot bi jih morali, preprosto zato, ker še nismo bili priča takšnim katastrofam.[^5] Naš kolektivni odziv za strah je zelo verjetno slabo kalibriran v primeru tveganj takšne razsežnosti.

• Zmanjševanje eksistenčnih tveganj predstavlja globalne javne dobrine [13] in jih trg zato morda nudi v premajhni količini. [14] Eksistenčna tveganja predstavljajo grožnjo vsakomur in zato zahtevajo delovanje na mednarodni ravni. Spoštovanje nacionalne suverenosti ni legitimen izgovor za opustitev protiukrepov v primeru pomembnega eksistenčnega tveganja.

• Če upoštevamo blagostanje bodočih generacij, se škoda, ki jo povzročijo eksistenčna tveganja pomnoži še z dodatnim faktorjem, velikost katerega je odvisna od tega če in v kolikšni meri odštejemo bodoče prednosti [15],[16].

Z obzirom na nesporno pomembnost področja je presenetljivo, kako malo sistemskega dela je bilo opravljenega. Del razloga je morda to, da najhujša tveganja izvirajo (kot bomo videli) iz pričakovanih bodočih tehnologij, ki smo jih šele nedavno pričeli razumeti. Drugi del razloga je morda neizogibno interdisciplinarna in špekulativna narava predmeta. Delno pa je zapostavljanje mogoče pripisati tudi averziji resnemu razmišljanju o depresivnih temah. Vendar pa namen ni jokati nad pogubno usodo, temveč preprosto usmeriti trezen pogled na stvari, ki bi lahko šle narobe, zato, da bomo lahko ustvarili odgovorne strategije za izboljšanje naših možnosti preživetja. Da bi to lahko storili, moramo vedeti, kam usmeriti naš trud.

3. Klasifikacija eksistenčnih tveganj

Uporabili bomo sledeče štiri kategorije za klasifikacijo eksistenčnih tveganj[^6]:

Pok

inteligentno življenje Zemeljskega izvora izumre v precej nenadni katastrofi, ki jo povzroči nesreča ali pa namerni akt destrukcije.

Hrsk

Potencial človeštva za razvoj v postčloveštvo[^7] je trajno onemogočen, čeprav se človeško življenje v nekakšni obliki nadaljuje.

Vrišč

Dosežena je nekakšna oblika postčloveštva, vendar pa le-ta predstavlja zelo ozek obseg tega, kar je bilo mogoče in zaželeno.

Trepet

Nastane postčloveška civilizacija, vendar se razvije v smeri, ki postopno vendar nepreklicno vodi v popolno izginotje stvari, ki jih cenimo, ali pa v stanje, kjer so te stvari realizirane samo v zelo majhnem obsegu tega, kar bi bilo lahko doseženo.

Oboroženi s to taksonomijo lahko pričnemo analizirati najverjetnejše scenarije v vsaki kategoriji. Definicije bodo še podrobneje razložene v nadaljevanju.

4. Poki

To je najbolj očitna vrsta eksistenčnih tveganj. Konceptualno jo je enostavno razumeti. Spodaj je nekaj možnih načinov, kako bi se svet lahko končal s pokom.[^8] Poskusil sem jih rangirati v približnem vrstnem redu njihove verjetnosti da, po moji oceni, povzročijo izumrtje z inteligentnega življenja Zemeljskega izvora; vendar pa je moj namen pri rangiranju pravzaprav ponuditi osnovo za nadaljnjo razpravo, ne postavljati nespremenljive trditve.

4.1 Namerna zloraba nanotehnologije

V zreli obliki bo molekularna nanotehnologija omogočila konstrukcijo samo-replicirajočih mehanskih robotov velikosti bakterij, ki se lahko hranijo z zemljo ali drugo organsko snovjo. [22],[23],[24],[25] Takšni replikatorji bi lahko požrli biosfero ali jo uničili na drugačne načine, na primer tako, da bi jo zastrupili, zažgali ali blokirali dostop sončne svetlobe. Zlonamerna oseba, ki bi imela v lasti to tehnologijo, bi lahko povzročila izumrtje inteligentnega življenja na Zemlji s sprostitvijo takšnih nanobotov v okolje.[^9]

Zdi se, da je tehnologijo za izdelavo uničevalnih nanobotov znatno lažje razviti kot tehnologijo za razvoj učinkovite obrambe proti takšnemu napadu (globalni nanotehnološki imunski sistem, “aktivni ščit” [23]). Zato je verjetno, da bo obstajalo obdobje ranljivosti v katerem bo potrebno preprečiti, da bi tehnologija prišla v napačne roke. Vendar pa bi se lahko izkazalo, da je tehnologijo težko regulirati, saj ne potrebuje redkih radioaktivnih izotopov ali velikih tovarn za izdelavo, ki bi jih bilo lahko prepoznati, kot v primeru izdelave nuklearnega orožja. [23]

Čeprav bo učinkovita obramba proti omejenemu nanotehnološkemu napadu razvita pred razvojem nevarnih replikatorjev in preden jih pridobijo samomorilski režimi ali teroristi, bo še vedno obstajala nevarnost oboroževalne tekme med državami, ki imajo v lasti nanotehnologijo. Razpravljalo se je [26], da bi molekularno izdelovanje vodilo tako v nestabilno oboroževalno tekmo kot v krizo nestabilnosti, v večji meri, kot se je to zgodilo v primeru nuklearnega orožja. Nestabilnost oboroževalne tekme pomeni, da bi obstajale dominantne iniciative za vsakega tekmovalca, da povečuje svojo oborožitev, kar bi vodilo v nenadzorovano oboroževalno tekmo. Kriza nestabilnosti pomeni, da bi obstajale dominantne iniciative za izvedbo prvega udarca. Dva približno uravnotežena rivala, ki bi oba pridobila nanotehnologijo, bi, po tem nazoru, začela masivno kopičenje orožja in oboroževalnih programov, ki bi se nadaljevalo, dokler ne bi prišlo do krize in bi izbruhnila vojna, ter potencialno povzročila končno globalno uničenje. Dejstvo, da bi bilo oboroževalno tekmo mogoče predvideti, ni zagotovilo, da bo tudi predčasno ustvarjen mednarodni varnostni sistem, ki bi preprečil, da bi se ta katastrofa zgodila. Nuklearna oboroževalna tekma med ZDA in ZSSR je bila predvidena, vendar se je vseeno zgodila.

4.2 Nuklearni holokavst

ZDA in Rusija imata še vedno velikanske količine nuklearnega orožja. Toda ali bi neomejena nuklearna vojna res iztrebila človeštvo? Upoštevajte: (i) Da bi obstajalo eksistenčno tveganje, je dovolj, če nismo popolnoma prepričani, da ne bo iztrebilo človeštva. (ii) Klimatski učinki obsežne nuklearne vojne niso dobro znani (obstaja možnost nuklearne zime). (iii) Ni mogoče izključiti bodoče oboroževalne tekme med drugimi državami, to pa bi lahko vodilo do še obsežnejših arzenalov, kot so bili na vrhuncu hladne vojne. Svetovna zaloga plutonija se je vztrajno povečevala do približno dva tisoč ton, kakšnih deset krat več, kot ga je še vedno vezanega v bojnih konicah. ([9], str. 26) (iv) Četudi bi nekaj ljudi preživelo kratkoročne učinke nuklearne vojne, bi slednja lahko vodila v propad civilizacije. Človeška rasa, ki bi živela v kamenodobnih razmerah bi lahko bila, ali pa tudi ne, odpornejša proti izumrtju kakor druge živalske vrste.

4.3 Živimo v simulaciji in simulacijo se izključi

Mogoče je trditi, da bi lahko hipotezi o tem, da živimo v računalniški simulaciji, podelili precejšnjo verjetnost. [27] Osnovna ideja, ki se nahaja za tako imenovanim “Argumentom simulacije” je, da bi v prihodnosti lahko postale razpoložljive velikanske količine komputacijske moči (glej npr. [28],[29]), slednja pa bi se, med drugim, lahko uporabila za poganjanje velikega števila visokoločljivostnih simulacij preteklih človeških civilizacij. Z nekaj ne-preveč-neverjetnimi predpostavkami, je rezultat lahko to, da so lahko skoraj vsi razumi, ki so podobni našim, pravzaprav simulirani, ter da bi morali zato dodeliti signifikantno verjetnost temu, da smo tudi mi takšni računalniško-emulirani razumi in ne (subjektivno od teh nerazločljivi) razumi prvotno razvitih bitij. In če smo, nas ogroža tveganje, da bi bila simulacija lahko kadarkoli izključena. Takšno odločitev za izklop naše simulacije pa bi lahko spodbudila ali naša dejanja ali pa zunanji dejavniki.

Medtem ko se nekaterim morda zdi neresno navesti takšno radikalno ali “filozofsko” hipotezo poleg konkretne grožnje nuklearnega holokavsta, se moramo truditi, da bi osnovali te ocene na razlogih, namesto na naivni intuiciji. Dokler se ne pojavi ovržba argumenta, predstavljenega v [27], bi bilo intelektualno nepošteno zanemarjati omembo izklopa simulacije kot potencialnega načina izumrtja.

4.4 Slabo programirana superinteligenca

Ko bomo ustvarili prvo superinteligentno entiteto [28 - 34], je mogoče, da bomo naredili napako in ji postavili cilje, ki bi jo vodili v uničenje človeštva, pod domnevo, da ji velikanska intelektualna prednost daje moč, da to stori. Lahko bi, na primer, zmotno povzdignili podnalogo v status nadnaloge. Rekli bi ji, naj reši matematični problem in bi ubogala tako, da bi spremenila vso materijo sončnega sistema v orjaško računsko napravo, ter pri tem ubila tudi osebo, ki je postavila vprašanje. (Za nadaljnjo analizo tega glej [35].)

4.5 Gensko inženirani biološki agent

Z neverjetnimi napredki, ki se trenutno dogajajo v genski tehnologiji, bi lahko postalo mogoče, da bi tiran, terorist, ali blaznež ustvaril virus sodnega dne, organizem, ki združuje dolgotrajno latenco z visoko nalezljivostjo in smrtnostjo. [36]

Nevarne viruse je mogoče ustvariti tudi nenamerno, kot so nedavno dokazali avstralski raziskovalci, ko so ustvarili modificirani virus mišjih koz s 100 % smrtnostjo, medtem, ko so poskušali razviti mišji kontracepcijski virus za uporabo pri nadzoru škodljivcev. [37] Medtem ko le-ta nima učinka na ljudi, se domneva, da bi analogna sprememba povečala smrtnost virusa človeških koz. Kar še povečuje to bodočo grožnjo je, da so bile raziskave hitro objavljene v odprti znanstveni literaturi. [38] Težko si je zamisliti, kako bi informacije, proizvedene v odprtih biotehnoloških programih, lahko obvladovali, ne glede na to, kako huda je potencialna nevarnost, ki jo predstavljajo; enako velja tudi za raziskave v nanotehnologiji.

Genska medicina bo vodila tudi do boljših zdravil in cepiv, vendar pa ni zagotovila, da bo obramba vedno sposobna držati korak z napadom. (Celo naključno ustvarjeni virus mišjih koz je imel 50 % mero smrtnosti pri cepljenih miših.) Sčasoma bo mogoče odpraviti skrbi zaradi bioloških orožij z razvojem nanomedicine, vendar pa nanotehnologija, ki ima velikanski dolgoročni medicinski potencial [39], s seboj prinaša lastne nevarnosti.

4.6 Zloraba nanotehnologije po nesreči (“rjavi zdriz”)

Možnosti, da se zgodi nesreča, ne moremo nikoli v celoti izključiti. Vendar pa obstaja veliko načinov, npr. s pomočjo odgovornih inženirskih postopkov, kako zagotoviti, da se nesreče, ki uničujejo celotne vrste, ne zgodijo. Lahko bi se izogibali samo-replikaciji; lahko bi naredili nanobote odvisne od redke hranilne kemikalije, ki ne obstaja v divjini; lahko bi jih omejili na zaprta okolja; lahko bi jih zasnovali na takšen način, da bi vsakršna mutacija zagotovo povzročila popolno prenehanje delovanja nanobota. [40] Zloraba po nesreči zato predstavlja manjšo skrb kot zlonamerna uporaba. [23],[25],[41]

Vendar pa se razlika med pojmoma namerno in po nesreči zlahka zabriše. Medtem ko se zdi “načeloma” mogoče prenesti smrtonosne nanotehnološke nesreče v polje skrajno neverjetnega, dejanske okoliščine morda ne dovoljujejo realizacije te idealne stopnje varnosti. Primerjajte nanotehnologijo z nuklearno tehnologijo. Z inženirskega zornega kota se seveda zdi čisto mogoče, da se nuklearno tehnologijo uporablja le za mirne namene, kot so nuklearni reaktorji, ki nimajo nikakršne možnosti, da bi uničili celoten planet. V praksi pa je zelo težko preprečiti, da se nuklearna tehnologija ne bi uporabljala tudi za gradnjo nuklearnih orožij, kar vodi do oboroževalne tekme. Z velikimi nuklearnimi arzenali s skrajno občutljivimi sprožilcih neizogibno ostaja tudi tveganje vojne po nesreči. Enako se lahko zgodi z nanotehnologijo: lahko se vpne v služenje vojaškim ciljem na način, ki s seboj prinaša neizogibna tveganja za resne nesreče.

V nekaterih primerih je lahko celo strateško prednostno, če so tehnološki ali nadzorni sistemi namerno narejeni tako, da obstaja tveganje, na primer zato, da postavijo “grožnjo, ki nekaj prepušča tudi tveganju”. [42]

4.7 Nekaj nepredvidenega

Potrebujemo raznovrstno kategorijo. Gotovost, da smo si že zamislili in tudi predvideli vsa pomembna tveganja, bi bila nespametna. Dokaj mogoče je, da bo bodoči tehnološki ali znanstveni razvoj razkril nove načine za uničenje sveta.

Nekatere nepredvidene nevarnosti (in zato ne članice trenutne kategorije), ki so bile izvzete s seznama pokov zaradi tega, ker se zdi premalo verjetno, da bi lahko povzročile globalno smrtonosno nesrečo so: sončni izbruhi, supernove, eksplozije ali združevanje črnih lukenj, izbruhi gama žarkov, izbruhi navzven iz galaktičnih centrov, supervulkani, izguba bioraznovrstnosti, kopičenje onesnaženja zraka, postopna izguba človeške plodnosti, ter različni religiozni scenariji sodnega dne. Hipoteza, da bomo nekega dne postali “razsvetljeni” ter storili kolektivni samomor ali se nehali razmnoževati, kot upajo podporniki VHEMT (The Voluntary Human Extinction Movement – Gibanje za prostovoljno človeško izumrtje) [43], se zdi malo verjetna. Če bi bilo res bolje ne obstajati (kot je Silenus dejal kralju Midasu v grškem mitu in kot je trdil Arthur Schopenhauer [44], čeprav iz razlogov, specifičnih njegovemu filozofskemu sistemu ni zagovarjal samomora), potem tega scenarija ne smemo šteti k eksistenčnim katastrofam. Domnevo, da ni slabše biti živ, bi bilo potrebno smatrati za implicitno domnevo pri definiciji pokov. Zmotni kolektivni samomor je eksistenčno tveganje, čeprav se zdi njegova verjetnost zelo majhna. (Za več podrobnosti o etiki človeškega izumrtja glej poglavje 4 v [9].)

4.8 Fizične nesreče

Skrb graditeljev Manhattanskega projekta o atmosferskem vžigu, ki bi ga lahko povzročila A-bomba ima tudi sodobne analoge.

Izražene so bile domneve, da bi bodoči poskusi s pospeševalniki visoko-energetskih delcev lahko povzročili motnjo meta-stabilnega stanja vakuuma, v katerem se morda nahaja naš del kozmosa, ter ga spremenili v “pravi” vakuum nizke energijske gostote. [45] To bi imelo za posledico razširjajoči se mehur popolnega uničenja, ki bi preplavil galaksijo in prostor onkraj nje s svetlobno hitrostjo, ter trgal vso materijo s svojim napredkom.

Druga možnost je, da bi poskusi s pospeševalnikom lahko proizvedli stabilne “strangelete” z negativnim nabojem (hipotetična oblika nuklearne materije), ali ustvarili miniaturno črno luknjo, ki bi potonila v središče Zemlje in pričela pospeševati preostanek planeta. [46]

Ti izidi se zdijo nemogoči glede na naše trenutno najboljše fizikalne teorije. Vendar pa je razlog za izvajanje poskusov ravno to, da ne vemo kaj se bo dejansko zgodilo. Bolj pomirjujoč argument je, da so energetske gostote, ki se dosegajo v današnjih pospeševalnikih mnogo nižje od tistih, ki se naravno dogajajo pri trčenjih med kozmičnimi žarki [46],[47]. Vendar pa je mogoče, da so za te hipotetične procese relevantni tudi drugi faktorji, ne le energetska gostota, ter da bodo ti faktorji združeni na nove načine v bodočih poskusih.

Glavni razlog za skrb v t. i. kategoriji “fizičnih katastrof” je meta-stopenjsko dognanje, da se odkritja vseh vrst nenavadnih fizikalnih fenomenov dogajajo ves čas, tako, da tudi če so bile sedaj vse posamezne fizikalne katastrofe, ki smo si jih zamislili, absurdno neverjetne ali nemogoče, lahko obstajajo drugi, bolj realistični načini neuspeha, ki čakajo na odkritje. Tukaj navedeni so le ilustracije splošnega primera.

4.9 Naravne nesreče

Kaj če bi bil AIDS tako nalezljiv, kot navadni prehlad?

Zaradi različnih značilnosti današnjega sveta je možnost globalne epidemije mnogo bolj verjetna kot kdajkoli prej. Potovanje, trgovanje s hrano, ter urbano bivanje so se vsi drastično povečali v modernih časih, kar je močno olajšalo novim boleznim, da naglo okužijo velik del svetovne populacije.

4.10 Udar asteroida ali kometa

Obstaja realno, vendar zelo majhno tveganje, da nas bo izbrisal udar asteroida ali kometa. [48]

Da bi povzročilo izumrtje človeškega življenja, bi moralo udarno telo verjetno imeti premer, večji od 1 km (najverjetneje 3 do 10 km). Do sedaj se je na Zemlji zgodilo vsaj pet in morda več kot dvanajst množičnih izumrtij in vsaj nekatere izmed njih so verjetno povzročili udari ([9], str. 81f.). Natančneje, K/T izumrtje pred 65 milijoni let, v katerem so izumrli dinozavri, je bilo povezano z udarom asteroida s premerom med 10 in 15 km na Jukatanskem polotoku. Ocenjeno je bilo, da telo premera 1 km ali več trči ob Zemljo približno vsakih 0.5 milijona let.[^10] Do sedaj smo katalogizirali le majhen del vseh potencialno nevarnih teles.

Če bi pravočasno zaznali bližajoče se telo, bi imeli dobre možnosti za spremenitev njegove poti tako, da bi ga prestregli z raketo, opremljeno z nuklearno bombo. [49]

4.11 Nenadzorovano globalno segrevanje

Eden izmed scenarijev je, da se sproščanje toplogrednih plinov v atmosfero izkaže za močno samo–ojačujoč proces s povratnim vplivom. Morda se je to zgodilo na Veneri, ki ima sedaj atmosfero nasičeno s CO₂ in temperaturo približno 450 ˚C. Upamo pa lahko, da bomo imeli na voljo tehnološka sredstva za delovanje proti takšnemu trendu do takrat, ko bo začel postajati resnično nevaren.

5. Hrski

Medtem ko bi nekateri izmed dogodkov, opisani v prejšnjem delu zagotovo dejansko izbrisali Homo sapiensa (t.j. zlom meta–stabilnega vakuumskega stanja), bi bilo druge mogoče potencialno preživeti (kot na primer vsestransko nuklearno vojna). Če pa bi se moderna civilizacija porušila, ni popolnoma gotovo, da bi se zopet lahko vzdignila, tudi če bi človeška vrsta preživela. Morda smo porabili preveč lahko dostopnih virov, ki bi jih primitivna družba morala uporabiti, da bi ponovno dosegla naš tehnološki nivo. Primitivno družbo morda bolj ali pa manj kot druge živalske vrste ogroža izumrtje, vendar se raje ne spuščajmo v takšne poskuse.

Če primitivna družba preživi, vendar se nikoli več ne povrne na sedanjo tehnološko stopnjo, kaj šele, da bi jo presegla, potem imamo primer hrska. Tu je nekaj potencialnih vzrokov hrska:

5.1 Osiromašenje virov ali ekološko uničenje

Naravni viri, ki so potrebni za vzdrževanje visoko-tehnološke civilizacije, se hitro trošijo. Če katera izmed drugih kataklizem uniči tehnologijo, ki jo imamo, morda ne bo mogoče priplezati nazaj do trenutnih stopenj, če bodo naravni pogoji manj ugodni, kot so bili za naše prednike, na primer če bodo na primer izčrpani viri premoga, nafte in mineralov, ki jih je najlažje izkoriščati. (Če pa bo po drugi strani ohranjenih precej informacij o naših tehnoloških dosežkih, bi to lahko olajšalo ponovno rojstvo civilizacije.)

5.2 Zgrešena svetovna vlada ali drugačno statično družbeno ravnotežje ustavi tehnološki napredek

Mogoče si je predstavljati, da fundamentalistično versko ali ekološko gibanje nekega dne doseže prevlado nad svetom. Če bi ob tem času obstajali načini, kako narediti takšno svetovno vlado varno pred upori (z naprednim nadzorovanje ali tehnologijami za nadzor razuma), bi to lahko trajno ustavilo človeški potencial za razvoj do postčloveške stopnje. Krasni novi svet Aldousa Huxleja je dobro znan scenarij te vrste. [50]

Svetovna vlada morda ni edina oblika stabilnega družbenega ravnotežja, ki bi lahko trajno zavrla napredek. Dandanes imajo mnoge regije sveta velike težave pri izgradnji institucij, ki lahko podpirajo hitro rast. Zgodovinsko pa prav tako obstaja več točk, kjer je napredek miroval ali pa nazadoval za daljša časovna obdobja. Mogoče je, da gospodarski in tehnološki napredek ni tako neizogiben, kot se zdi nam.

5.3 “Disgenični” pritiski

Mogoče je, da bi bila napredna civilizacija odvisna od obstoja dovolj velike frakcije intelektualno nadarjenih posameznikov. Trenutno se zdi, da na določenih mestih obstaja negativna korelacija med intelektualnimi dosežki in plodnostjo. Če bi takšna selekcija delovala preko daljših časovnih obdobij, bi se lahko razvili v manj bistro, vendar bolj plodno vrsto, v homo philoprogenitus (“ljubitelj številnega naraščaja”).

Vendar pa so se, v nasprotju s tem, na kar napeljuje takšno razmišljanje, IQ rezultati v zadnjem stoletju pravzaprav dramatično povečevali. To je znano kot Flynnov efekt; glej npr. [51],[52]. Ni še sporazumno ugotovljeno, če to odgovarja dejanskim pridobitvam v pomembnih intelektualnih funkcijah.

Poleg tega pa se genski inženiring naglo približuje točki, kjer bo postalo mogoče, da bodo starši imeli možnost svojim potomcem podeliti gene, ki so soodnosni z intelektualno zmožnostjo, fizičnim zdravjem, dolgoživostjo in drugimi zaželenimi lastnostmi.

Kakor koli že, se zdi časovni razpon naravne človeške genske evolucije preveč dolgotrajen, da bi imel takšen razvoj kakršen koli pomemben učinek, preden bodo drugačne oblike razvoja popolnoma zasenčile to vprašanje [19],[39].

5.4 Tehnološka zaustavitev

Same tehnološke težave za izvedbo prehoda v postčloveški svet bi se lahko izkazale za tako velike, da nam sam prehod ne bi nikoli uspel.

5.5 Nekaj nepredvidenega[^11]

Kot poprej, kategorija za vse.

Na splošno se zdi verjetnost hrska mnogo nižja kot verjetnost poka. Možnosti bi morali ohraniti v mislih, vendar ne bi smeli dopustiti, da igrajo dominantno vlogo v našem razmišljanju, vsaj na tej točki. Če bi se tehnološki in gospodarski razvoj iz nekega razloga znatno upočasnil, bi bilo potrebno, da si scenarije hrska natančneje ogledamo.

6. Vrišči

Določitev scenarijev, ki spadajo med vrišče je še otežena zaradi vključitve pojma zaželenosti v definicijo. Razen če vemo kaj je “zaželeno”, ne moremo vedeti, kateri scenariji so vrišči. Vendar pa obstaja nekaj scenarijev, ki bi se kategorizirali za vrišče pod najbolj razumnimi interpretacijami.

6.1 Prevzem s strani transcendirajočega uploada

Predpostavimo, da se uploadi pojavijo pred umetno inteligenco na človeški ravni. Upload je razum, ki je bil prenesen z bioloških možganov na računalnik, ki emulira komputacijske procese, ki so se poprej vršili v prvotni biološki nevralni mreži. [19],[33],[53],[54] Uspešen proces uploadanja bi ohranil spomine, spretnosti, vrednote in zavest prvotnega razuma. Uploadanje razuma bo močno olajšalo izboljševanje inteligence uploada, z izvajanjem pri višjih hitrostih, dodajanjem dodatnih komputacijskih virov ali z optimiziranjem njegove arhitekture. Mogoče si je zamisliti, da bi izboljševanje uploada preko določene točke povzročilo pozitivno povratno zanko, kjer je izboljšani upload sposoben najti načine, da se naredi še pametnejšega; pametnejša verzija-naslednik pa je nato še boljša pri načrtovanju izboljšane verzije same sebe, in tako dalje. Če bi bil ta nenadzorovani proces nenaden, bi lahko povzročil, da bi en sam upload dosegel nadčloveške nivoje inteligence, medtem, ko bi vsi drugi ostali na približno človeškem nivoju. Tako velikanska intelektualna premoč bi mu zlahka podelila ustrezno veliko moč. Lahko bi na primer naglo izumljal nove tehnologije ali izpopolnjeval nanotehnološke načrte. Če bi bil transcendirajoči upload naklonjen temu, da drugim prepreči priložnost za upload, bi to lahko storil.

Postčloveški svet bi potem lahko bil odsev egoističnih preferenc določenega uploada (ki bi bil v najslabšem primeru hujši od ničvrednega). Takšen svet bi bil zlahka uresničitev le majhnega dela tega, kar bi bilo lahko mogoče in zaželeno. Takšen konec je vrišč.

6.2 Superinteligenca z napako

Zopet obstaja možnost, da slabo programirana superinteligenca prevzame nadzor nad vsem in implementira pomanjkljive cilje, ki so ji bili zmotno dodeljeni.

6.3 Represivni totalitarni globalni režim

Podobno si je mogoče zamisliti oblikovanje stabilne, netolerantne svetovne vlade, temelječe na zmotnih verskih ali etičnih prepričanjih, ki se odloči uresničiti le zelo majhen del vseh dobrih stvari, ki bi jih postčloveški svet lahko vseboval.

Takšno svetovno vlado bi verjetno lahko oblikovala majhna skupina ljudi, če bi nadzorovala prvo superinteligenco in bi lahko izbirala njene cilje. Če se superinteligenca pojavi nenadoma in postane dovolj močna, da lahko prevzame nadzor nad svetom, bi postčloveški svet lahko odseval le idiosinkratične vrednote lastnikov ali snovalcev te superinteligence. Odvisno od tega, kakšne te vrednote so, bi ta scenarij lahko šteli za vrišč.

6.4 Nekaj nepredvidenega[^12]

Kategorija za vse.

Zdi se, da imajo ti scenariji vriščev znatno verjetnost in zato bi jih morali jemati resno pri našem strateškem načrtovanju.

Lahko bi dokazovali, da je vrednota, ki tvori velik del tega, kar bi smatrali za zaželeno v postčloveškem svetu, tista, ki vsebuje največje možno število trenutno živečih ljudi. Navsezadnje imajo mnogi izmed nas zelo močno željo, da ne bi umrli (vsaj zaenkrat še ne) in da bi imeli možnost postati postljudje. Če sprejmemo to, potem bi bil kateri koli scenarij, v katerem je prehod v postčloveški svet zapoznel dovolj dolgo, da bodo skoraj vsi trenutno živeči ljudje mrtvi, preden se zgodi (če domnevamo, da niso bili uspešno ohranjeni s pomočjo krioničnih priprav [53],[57]), kategoriziran kot vrišč. Brez preboja na področju podaljševanja življenja ali široko razširjenega sprejetja krionike, bi tudi gladka tranzicija v polno–razvit postčloveški svet v osemdesetih letih od danes predstavljala pomembno eksistenčno tveganje, če definiramo “zaželeno” s posebnim obzirom na ljudi, ki so živi danes. Ta “če” pa je vseeno obremenjen z globokim aksiološkim problemom, ki ga tukaj ne bomo poskušali razrešiti.

7. Trepeti

Če bodo stvari potekale ugodno, je mogoče, da bomo nekega dne dosegli končne fizikalne meje. Čeprav se zdi vesolje neskončno [58],[59]], je del vesolja, ki bi ga lahko potencialno kolonizirali (glede na naše trenutno res zelo omejeno razumevanje položaja) končen [60], zato bomo sčasoma izčrpali vse razpoložljive vire, ali pa bodo viri spontano propadli zaradi postopnega zmanjševanja negentropije in s tem povezanega razkroja materije v žarčenje. Toda v tem primeru govorimo o astronomskih časovnih razponih. Konec takšne vrste bi bil dejansko lahko najboljše, na kar lahko upamo, zato bi bilo zavajajoče, če bi ga šteli med eksistenčna tveganja. Ne kvalificira se za trepet, ker bi človeštvo v tem scenariju lahko uresničilo dobršen del svojega potenciala.

Zdi se, da imata dva trepeta (za razliko od običajne hipoteze za raznovrstne dogodke) znatno verjetnost:

7.1 Evolucijski razvoj erodira naš potencial ali celo naše temeljne vrednote

Ta scenarij je konceptualno bolj zapleten kot druga eksistenčna tveganja, ki smo jih preučevali (morda skupaj s scenarijem poka “Živimo v simulaciji in simulacijo se izključi”). Podrobneje je preučen v spremljevalni razpravi [61]. Povzetek te razprave se nahaja v Dodatku.

Sorodni scenarij je opisan v [62], razpravlja pa o tem, da bi lahko našo “kozmično soseščino” popolnoma iztrošili v kolonizacijski tekmi. Selekcija bi bila naklonjena tistim replikatorjem, ki bi vse svoje vire porabili za pošiljanje nadaljnjih kolonizacijskih sond [63].

Čeprav je mogoče, da je čas, ki bi bil potreben za to, da se trepet te vrste iztroši, zelo dolg, bi vseeno lahko imel pomembne implikacije za politike, ker bi kratkoročne izbire lahko določile če bomo zavili na pot [64], ki neizbežno vodi do takšnega izida. Ko se evolucijski proces prične odvijati, oz. ko se kozmična kolonizacijska tekma enkrat začne, bi se lahko izkazalo, da ga je težko ali celo nemogoče zaustaviti [65]. Morda je edini izvedljivi način, da se izognemo trepetu, to, da preprečimo prvotni začetek odvijanja dogodkov v tej smeri.

7.2 Uniči nas nezemeljska civilizacija

Verjetnost, da v bližnji prihodnosti srečali tuja bitja se zdi zelo majhna (glej poglavje o ocenjevanju verjetnosti spodaj, poleg tega pa tudi [66],[67]).

Če pa se bodo stvari razvijale ugodno in se bomo razvili v intergalaktično civilizacijo, je mogoče, da bomo nekega dne v daljni prihodnosti srečali tuja bitja. Če bi bila sovražni in bi (iz nekega neznanega razloga) imela znatno boljšo tehnologijo kot jo bomo takrat imeli mi, bi lahko začela s postopkom našega podjarmljenja. Če pa bodo namesto tega sprožila fazno tranzicijo vakuuma s svojimi visoko–energetskimi fizikalnimi poskusi (glej poglavje o Pokih) se bomo morali morda nekega dne soočiti s posledicami. Ker bi bil prostorski obseg naše civilizacije na tej stopnji verjetno zelo velik, bi podjarmljenje ali uničenje trajalo sorazmerno dolgo preden bi bilo dokončano, bi bil ta scenarij prej trepet kot pok.

7.3 Nekaj nepredvidenega

Hipoteza za vse.

Prvi izmed teh scenarijev trepeta bi moral predstavljati pomembno skrb pri oblikovanju dolgoročne strategije. Soočanje z drugim trepetom pa je nekaj, kar lahko varno prepustimo bodočim generacijam (ker tako ali tako sedaj ne moremo storiti nič v zvezi s tem).

8. Ocenjevanje verjetnosti eksistenčnih tveganj

8.1 Neposredne proti posrednim metodam

Obstajata dva komplementarna načina ocenjevanja naših možnosti za stvaritev postčloveškega sveta. To, kar bi lahko poimenovali neposredna pot poteka sledeče: analiziramo različne posamezne načine neuspeha, jim dodelimo verjetnost in nato odštejemo vsoto verjetnosti teh katastrof od ena, da dobimo verjetnost uspeha. Tako bi imeli koristi od podrobnega razumevanja glede tega, kako se bodo medsebojno izšli osnovni kavzalni faktorji. Radi bi na primer vedeli odgovor na vprašanja, kot je: Koliko težje je zasnovati popolnoma varen globalni nanotehnološki imunski sistem, kot zasnovati nanobota, ki lahko preživi in se razmnožuje v naravnem okolju? Je izvedljivo, da nanotehnologija ostane strogo regulirana za daljše časovno obdobje (tako, da nihče z zlonamernimi cilji ne more dobiti v roke sestavljavca, ki ni vsebovan v zaprtem sestavljalnem laboratoriju, varnem pred nedovoljenimi posegi [23])? Kako verjetno je, da bo superinteligenca prišla pred napredno nanotehnologijo? Lahko ugibamo o teh in drugih relevantnih parametrih, ter oblikujemo oceno na podlagi te osnove; enako lahko storimo za ostala eksistenčna tveganja, ki smo jih orisali zgoraj (poskušal sem nakazati približno relativno verjetnost različnih tveganj v hierarhiji, navedeni v zgornjih štirih poglavjih).

Potem pa obstaja še posredna pot. Obstajajo teoretične omejitve, ki jih je mogoče usmeriti na to vprašanje, glede na nekatere splošne značilnosti sveta v katerem živimo. Obstaja jih le manjše število, vendar so pomembne, ker se ne zanašajo na številna ugibanja o bodočih tehnologijah in družbenem razvoju:

8.2 Fermijev paradoks

Fermijev paradoks se nanaša na vprašaja, ki lebdi nad podatkovno točko, da nismo videli nobenih znamenj zunajzemeljskega življenja [68]. To govori proti domnevi, da se življenje razvije na znatnem delu Zemlji–podobnih planetov in razvije napredno tehnologijo, ter jo uporabi za kolonizacijo vesolja na načine, ki bi jih zaznali z našimi sedanjimi instrumenti. Obstajati mora (vsaj en) Veliki filter - evolucijski korak, ki je ekstremno neverjeten - nekje na poti med Zemlji - podobnemu planetu in civilizacijo, ki izvaja kolonizacijo na načine, ki jih je mogoče zaznati [69]. Če se Veliki filter ne nahaja v naši preteklosti, se ga moramo bati v naši (bližnji) prihodnosti. Morda skoraj vsaka civilizacija, ki razvije določeno stopnjo tehnologije, povzroči lastno izumrtje.

Na srečo se to, kar vemo o naši evolucijski preteklosti, sklada s hipotezo, da se Veliki filter nahaja za nami. Obstaja več verjetnih kandidatov za evolucijske korake, ki so lahko dovolj neverjetni, da bi razložili zakaj nismo videli ali srečali nobenih nezemljanov in vključujejo pojav prvih organskih samo-replikatorjev, tranzicijo od prokariotov in eukariotov, do dihanja kisika, do spolne reprodukcije in morda tudi druge.[^13] Zaključek je torej, da nam z našim trenutnim znanjem evolucijske biologije, argumenti Velikega filtra ne morejo povedati kaj več o tem, kako verjetno je, da bomo postali postčloveški, čeprav nam lahko dajo nekaj subtilnih namigov. [66],[70],[71],[72]

To bi se dramatično spremenilo, če bi odkrili sledi življenja, ki se je razvilo neodvisno (pa naj bo že izumrlo ali ne) na drugih planetih. Takšno odkritje bi pomenilo slabe novice. Če bi odkrili sorazmerno napredno obliko življenja (večcelični organizmi) bi bilo to še posebej moreče.

8.3 Učinki opazovalne izbire

Teorija učinkov opazovalne izbire nam lahko pove, kaj lahko pričakujemo, da bomo opazovali, glede na neko hipotezo o distribuciji opazovalcev v svetu. S primerjavo takšnih napovedi z našimi dejanskimi opazovanji, dobimo verjetnostne dokaze za ali proti različnim hipotezam.

Eden izmed poskusov, da bi takšno razmišljanje aplicirali na predvidevanje naših bodočih obetov, je tako imenovani argument sodnega dne [9],[73].[^14] Trdi, da lahko pokaže, da smo sistematično podcenjevali verjetnost, da bo človeštvo precej kmalu izumrlo. Ideja, v svoji najpreprostejši obliki, je, da moramo o sebi razmišljati kot o v nekem smislu naključnih vzorcih iz niza vseh opazovalcev v našem referenčnem razredu, in bilo bi bolj verjetno, da živimo tako zgodaj, kot živimo, če ni zelo velikega števila opazovalcev v našem referenčnem razredu, ki živijo kasneje kot mi. Argument Sodnega dne je zelo kontroverzen, in drugje sem argumentiral, da čeprav je morda teoretično smiseln, nekateri izmed njegovih pogojev aplikacije dejansko niso zadovoljeni, tako, da bi bilo napačno, če bi ga aplicirali na naš dejanski primer. [75],[76]

Drugi antropični argumenti bodo morda uspešnejši: argument, ki temelji na Fermijevem paradoksu je en primer, naslednje poglavje pa ponuja še enega. Na splošno je ena izmed lekcij, naj bomo previdni in naj ne uporabljamo dejstva, da je življenje na Zemlji preživelo do danes ter da naši humanoidni predniki niso izumrli v neki nenadni katastrofi za zaključek, da so življenje na Zemlji in naši humanoidni predniki zelo odporni. Tudi če na veliki večini Zemlji podobnih planetov življenje izumre, preden se razvijejo inteligentne oblike življenja, moramo še vedno pričakovati, da se nahajamo na enem izmed izrednih planetov, ki so imeli dovolj sreče, da so ušli razdejanju.[^15] V tem primeru nam naš pretekli uspeh ne nudi podlage za pričakovanje uspeha v prihodnosti.

Področje učinkov opazovalne izbire je metodološko zelo zapleteno [76],[78],[79] in več temeljnega dela je potrebno, preden bomo lahko prepričani, da zares razumemo, kako sklepati o teh stvareh. Morda obstajajo tudi nadaljnje lekcije iz te domene, za katere še nismo bili dovolj bistri, da bi jih doumeli.

8.4 Simulacijski argument

Večina ljudi ne verjame, da trenutno živimo v računalniški simulaciji. Nedavno sem pokazal (z uporabo nekaterih dokaj nekontroverznih delov teorije učinkov opazovalne izbire), da nas sprejetje simulacijskega argumenta obvezuje k prepričanju, da skoraj gotovo ne bomo nikoli dosegli postčloveške stopnje, ali pa so v skoraj vseh postčloveških civilizacijah odsotni posamezniki, ki izvajajo veliko število simulacij prednikov, t.j. računalniških emulacij takšne vrste človeku–podobnih bitij iz kakršnih so se sami razvili. [27] Ta sklep je pesimističen, saj znatno zmanjšuje obseg pozitivnih scenarijev prihodnosti, ubranljivih v luči empiričnih informacij, ki jih imamo sedaj.

Simulacijski argument ne sproža le splošnega preplaha; obenem ponovno razdeljuje verjetnost med hipotezami, ki ostajajo verjetne. Povečuje verjetnost, da živimo v simulaciji (kar lahko na več subtilnih načinov vpliva na naše ocene o tem, kako verjetni so različni izidi) in zmanjšuje verjetnost, da bi postčloveški svet vseboval veliko število prostih posameznikov, ki imajo na voljo velike količine virov in človeškim–podobne nagibe. To nam nudi nekaj dragocenih namigov o tem, na kaj lahko realistično upamo in kam naj posledično usmerimo svoje napore.

8.5 Psihološke pristranosti?

Psihologija dojemanja tveganja je aktivno, vendar precej neurejeno področje [80], ki bi potencialno lahko prispevalo osnovo za ponovno ocenitev naših ocen o eksistenčnih tveganjih.

Predpostavimo, da našo intuicijo o tem, kateri scenariji prihodnosti so “verjetni in realistični” oblikuje to, kar vidimo na TV in v filmih in kar preberemo v romanih (Navsezadnje je velik del diskurza o prihodnosti, s katerim se ljudje soočajo, v obliki fikcije in drugih rekreacijskih kontekstov.). Nato bi morali, ko kritično razmišljamo, posumiti, da je naša intuicija pristrana v smeri precenjevanja verjetnosti scenarijev, ki predstavljajo dobro zgodbo, saj se bodo takšni scenariji zdeli mnogo bolj znani in bolj “resnični”. Ta pristranost dobre zgodbe je lahko precej močna. Kdaj ste nazadnje videli film o tem, kako je človeštvo nenadoma izumrlo (brez opozorila in ne da bi jih zamenjala neka druga civilizacija)? Medtem, ko je takšen scenarij morda mnogo bolj verjeten kot scenarij, v katerem človeški junaki uspešno odbijejo invazijo pošasti ali robotskih bojevnikov, ne bi bil preveč zabaven za ogled. Zato ne vidimo veliko zgodb te vrste. Če ne bomo pazljivi, nas lahko zavedejo, da bomo verjeli, da je dolgočasen scenarij preveč neverjeten, da bi ga bilo vredno jemati resno. Na splošno, če mislimo, da obstaja pristranost dobre zgodbe, bi po razmisleku morda hoteli povečati naše zaupanje v dolgočasne hipoteze in zmanjšati naše zaupanje v zanimive, dramatične hipoteze. Skupni učinek bi bil ponovno porazdeliti verjetnost med eksistenčna tveganja, v korist tistih, ki se jih zdi težje uvrstiti v kategorijo pripovedi, ki se dobro prodajajo in morda povečati verjetnost eksistenčnih tveganj kot skupine.

Empirični podatki glede pristranosti pri ocenjevanju tveganj so nejasni. Dokazovano je bilo, da trpimo zaradi različnih sistematičnih pristranosti, kadar ocenjujemo naše lastne obete ali tveganja na splošno. Nekateri podatki napeljujejo na to, da se ljudje nagibamo k precenjevanju svojih osebnih zmožnosti in obetov.[^16] Približno tri četrtine vseh avtomobilistov misli, da so boljši vozniki od povprečnega voznika.[^17] Zdi se, da je pristranost prisotna tudi med visoko izobraženimi ljudmi. Glede na eno izmed anket je skoraj polovica vseh sociologov verjela, da bodo prišli med deset najboljših na svojem področju [87], 94 % sociologov pa je mislilo, da svoj poklic opravljajo bolje kot njihovi povprečni sodelavci. [88] Prikazano je bilo tudi, da imajo depresivni ljudje bolj točno samo-dojemanje kot normalni ljudje, razen glede brezupnosti svojega položaja. [89],[90],[91] Zdi se, da večina ljudi pripisuje manjšo verjetnost temu, da bodo sami postali žrtve vsakdanjih tveganj, kot da se bo to zgodilo drugim ljudjem. [92] Široko razširjeno je prepričanje [93], da se javnost nagiba k precenjevanju verjetnosti visoko publiciranih tveganj (kot so letalske nesreče, umori, zastrupitve s hrano, itd.), nedavna študija [94] pa kaže, da javnost precenjuje velik razpon vsakdanjih zdravstvenih tveganj, ki jih ogrožajo. Vendar pa še ena nedavna študija [95] napeljuje na to, da so podatki, ki so na voljo, konsistentni s predpostavko, da javnost racionalno ocenjuje tveganja (čeprav z rahlo pristranostjo okrnjenosti zaradi kognitivnih stroškov ohranjanja natančnih informacij v mislih).[^18]

Čeprav bi lahko pridobili trdne dokaze za pristranosti pri ocenjevanju osebnih tveganj, bi morali biti še vedno previdni pri sklepanju v zvezi s primerom eksistenčnih tveganj.

8.6 Tehtanje dokazov

V kombinaciji, ti neposredni argumenti dodajajo pomembne omejitve tistim, ki jih lahko naberemo iz neposrednega upoštevanja različnih tehnoloških tveganj, čeprav tukaj ni prostora, da bi razdelali podrobnosti. Vendar pa je ravnotežje dokazov takšno, da bi se zdelo nerazumno, če ne bi dodelili znatne verjetnosti hipotezi, da nas bo pogubila eksistenčna katastrofa. Moje subjektivno mnenje je, da bi bilo zgrešeno postaviti to verjetnost nižje kot 25 % in najboljša ocena je lahko znatno višja. Vendar tudi če bi bila verjetnost mnogo manjša (recimo ~1 %) bi si vsebina še vedno zaslužila zelo resno pozornost, zaradi vsega, kar je na kocki.

Na splošno se zdi, da največja eksistenčna tveganja izvirajo iz časovnega razpona nekaj stoletij ali manj, torej tista, ki izvirajo iz dejavnosti naprednih tehnoloških civilizacij. To je razvidno, če si ogledamo različna eksistenčna tveganja, ki smo jih navedli. V vsaki izmed štirih kategorij glavna tveganja povzročajo naše dejavnosti. Edina signifikantna eksistenčna tveganja, za katera to ne velja, so “simulacija se izključi” (čeprav bi pri nekaterih različicah te hipoteze izklop spodbudile naše dejavnosti [27]); hipoteze za vse primere (ki vključujejo obe vrsti scenarijev); udar asteroida ali kometa (ki je tveganje z zelo majhno verjetnostjo); ter tveganje, da nas ubije zunajzemeljska civilizacija (kar bi bilo precej neverjetno v bližnji prihodnosti).[^19]

Morda ni presenetljivo, da eksistenčna tveganja, ki jih je ustvarila moderna civilizacija, dobijo levji delež verjetnosti. Navsezadnje sedaj izvajamo stvari, ki se na Zemlji niso še nikoli dogajale, obenem pa razvijamo zmožnosti za izvajanje še več takih stvari. Če ne–antropogeni faktorji sto tisoče let niso uspeli uničiti človeške vrste, bi se zdelo malo verjetno, da nas bodo takšni faktorji pokončali v naslednjem stoletju ali dveh. V primerjavi s tem pa nimamo prav nikakršnih razlogov za prepričanje, da izdelki naše napredne civilizacije ne bodo naša poguba.

Kljub temu pa eksistenčnih tveganj, ki jih niso proizvedli ljudje, ne bi smeli prehitro odpisati kot nepomembna. Res je, da je naša vrsta preživela dolgo časa, ne glede na to, katera izmed teh tveganj so prisotna. Vendar pa se morda tukaj v igri nahaja učinek opazovalne izbire. Vprašanje, ki ga je potrebno postaviti je, na podlagi teorije, da naravne nesreče sterilizirajo Zemlji–podobne planete zelo pogosto, kaj bi morali pričakovati, da bomo opazovali? Brez dvoma ne to, da živimo na steriliziranem planetu. Toda morda, da bi morali biti bolj primitivni ljudje, kot smo? Zato, da bi lahko odgovorili na to vprašanje, potrebujemo rešitev problema referenčnega razreda v teoriji opazovalne izbire. [76] Toda to je del metodologije, ki še ne obstaja. Tako trenutno lahko ugotovimo, da najresnejša eksistenčna tveganja proizvaja napredna človeška civilizacija, vendar to izjavo utemeljujemo na neposrednih premislekih. Če za to obstaja dodatna podpora, osnovana na neposrednih premislekih, je odprto vprašanje.

Ne bi smeli kriviti civilizacije ali tehnologije ker sta nam naložili velika eksistenčna tveganja. Zaradi načina, kako smo definirali eksistenčna tveganja, bi neuspeh sploh razviti tehnološko civilizacijo impliciral, da smo postali žrtev eksistenčne katastrofe (in sicer hrska, “tehnološke zaustavitve”). Brez tehnologije, bi bile tako naše možnosti, da se izognemo eksistenčnim tveganjem, enake nič. S tehnologijo imamo vsaj nekaj možnosti, čeprav se lahko za največja tveganja izkažejo tista, ki jih proizvaja tehnologija sama.

9. Implikacije za politike in etiko

Eksistenčna tveganja imajo kup značilnosti, zaradi katerih je koristno, če jih identificiramo kot posebno kategorijo: velikanski obseg škode, ki bi izvirala iz eksistenčnega tveganja; jalovost pristopa poskusov in napak; pomanjkanje razvitih bioloških in kulturnih metod za spoprijemanje z njimi; dejstvo, da je slabitev eksistenčnih tveganj globalno javno dobro; skupni interes vseh bodočih generacij; mednarodna narava mnogih potrebnih protiukrepov; nujno visoko abstraktna teoretična in multidisciplinarna narava predmeta; subtilni in raznoliki metodološki problemi, ki so vpleteni v ocenjevanje verjetnosti eksistenčnih tveganj; in primerjalno zanemarjanje celotnega področja. Iz našega pregleda najpomembnejših eksistenčnih tveganj in njihovih ključnih atributov, lahko povzamemo poskusna priporočila za etiko in politike:

9.1 Izboljšati profil eksistenčnih tveganj

Potrebujemo več raziskav eksistenčnih tveganj – podrobne študije posameznih vidikov specifičnih tveganj, kakor tudi splošnejšo preiskavo povezanih etičnih, metodoloških, varnostnih in političnih vprašanj. Prav tako je potrebno razviti javno zavest, tako, da bo postala mogoča konstruktivna politična razprava o možnih protiukrepih.

Res je običajno, da raziskovalci vedno zaključijo, da je potrebno na njihovem področju narediti še več raziskav. Toda v tem primeru je to zares upravičeno. Obstaja več akademskih del o življenjskih navadah hišne muhe kot o eksistenčnih tveganjih.

9.2 Ustvariti ogrodje za mednarodno ukrepanje

Ker zmanjševanje eksistenčnih tveganj predstavlja globalno javno dobro, bi idealno moral obstajati institucionalni okvir, tako, da bi bili stroški in odgovornosti za nudenje takšnih dobrin lahko pravično porazdeljeni med vse ljudi. Tudi če stroškov ni mogoče pravično deliti, bi bilo potrebno poskušati vzpostaviti nekakšen sistem, ki vodi do ukrepov za zmanjšanje eksistenčnih tveganj v obsegu, ki se približuje optimalnim količinam.

Vendar pa potreba po mednarodni dejavnosti sega preko zaželenosti po delitvi stroškov. Mnogih eksistenčnih tveganj preprosto ni mogoče znatno zmanjšati z dejavnostmi, ki so notranje eni ali celo večini držav. Na primer, celo če večina držav sprejme in uveljavi nacionalne zakone proti stvaritvi nekakšne specifične verzije uničujoče nanotehnologije, je mogoče, da bomo res dosegli varnost, če se nekatere manj tankovestne države odločijo, da bodo ne glede na to prevzele vodstvo pri razvoju takšnih tehnologij? Strateško pogajanje pa bi lahko povzročilo, da bo postalo neizvedljivo podkupiti vse neodgovorne strani, da bi se pridružile pogodbi, tudi če bi bilo za vse boljše, če bi se ji vsi pridružili [14],[42].

9.3 Ohraniti pripravljenost za preventivni ukrep, ko vse drugo odpove

Ustvariti obširen konsenz med nacionalnimi državami sveta je časovno potratno, težavno in v mnogih primerih celo nemogoče. Zato moramo priznati možnost, da se lahko pojavijo primeri, v katerih bi morala močna država ali koalicija držav delovati unilateralno, za lastni in skupni interes. Takšno unilateralno delovanje lahko posega v suverenost drugih držav in ga bo morda potrebno izvesti preventivno.

Prikažimo hipotetični scenarij konkretneje. Predpostavimo, da je bila napredna nanotehnologija pravkar razvita v enem izmed vodilnih laboratorijev (Z napredno nanotehnologijo mislim na precej splošen sestavljavec, napravo, ki lahko zgradi širok razpon tridimenzionalnih struktur – vključno z nepremičnimi deli – do atomske natančnosti, pod predpostavko razpoložljivosti podrobnih specifikacij načrta in konstrukcijskega procesa, nekaj surovinskih kemikalij in napajanja z energijo.). Predpostavimo, da je na tej stopnji mogoče predvideti, da bo gradnja nevarnih nanoreplikatorjev mnogo lažja, kot gradnja zanesljivega nanotehnološkega imunskega sistema, ki bi lahko varoval pred vsemi preprostimi nevarnimi replikatorji. Morda so bili konstrukcijski načrti za nevarne replikatorje že izdelani v predhodnih načrtovalnih naporih in so na voljo na internetu. Nadalje predpostavimo, da je večino raziskav, ki so vodile do konstrukcije sestavljavca, z izjemo le zadnjih nekaj stopenj, na voljo v odprti literaturi; tako je verjetno, da bodo tudi laboratoriji v drugih delih sveta kmalu verjetno razvili lastne sestavljavce. Kaj storiti?

S takšnim stanjem lahko samozavestno predvidevamo, da bo nevarna tehnologija kmalu padla v roke “odpadniških držav”, ekstremističnih sovražnih skupin in morda sčasoma posameznih psihopatov. Prej ali kasneje bo nekdo sestavil in izpustil destruktivnega nanobota ter uničil biosfero. Edina opcija je ukrepati za preprečitev širjenja tehnologije sestavljavcev do tedaj, ko bodo razviti zanesljivi protiukrepi nano-napadu.

Upamo lahko, da bo večina držav dovolj odgovorna, da bodo prostovoljno sprejele ustrezno regulacijo tehnologije sestavljavcev. Ni potrebno, da bi bila regulacija v obliki prepovedi sestavljavcev, vendar pa bi morala začasno a učinkovito omejiti uporabo sestavljavcev, potrebno pa bi jo bilo povezati s temeljitim programom nadzorovanja. Vendar pa je mogoče, da bi nekatere države odklonile svoj podpis. Takšne države bi najprej s pomočjo pritiska prisilili, da se pridružijo koaliciji. Če vsi poskusi prepričevanja propadejo, bo potrebno uporabiti silo ali grožnjo s silo, da bi jih pripravili do pristopa.

Medtem ko preventivni udar proti suvereni državi ni poteza, ki bi jo izvedli brez pomislekov, v ekstremnem primeru, ki smo ga orisali – kjer bi nedejavnost z zelo visoko verjetnostjo vodila v eksistenčno katastrofo – vendarle predstavlja odgovornost, ki je ne bi smeli zavrniti. Kakršne koli moralne prepovedi običajno obstajajo proti kršenju nacionalne suverenosti, v tem primeru izgubijo prednost zaradi potrebe po preprečitvi uničenja človeštva. Tudi če sporna država še ni pričela z uporabo odprtega nasilja, je potrebno že samo določitev, da nadaljuje z razvojem nevarne tehnologije v odsotnosti zadostnih predpisov, interpretirati kot agresivno dejanje, saj preostanek sveta tako postavlja v še večjo nevarnost, kot bi ga na primer z izstrelitvijo več jedrskih izstrelkov v naključne smeri.

Intervencija bi morala biti dovolj odločna, da bi znižala tveganje na spremenljivo stopnjo, vendar ne bi smela biti večja, kot je potrebno za dosego tega cilja. Morda bi bilo celo primerno plačati odškodnino ljudem prizadete države, saj bo večina izmed njih nosila le majhno, ali pa sploh nobene odgovornosti, za neodgovorna dejanja svojih voditeljev.

Čeprav moramo upati, da ne bomo nikoli postavljeni v položaj, kjer bo postalo potrebno uporabiti silo, je bistvenega pomena, da v našem moralnem in strateškem razmišljanju naredimo prostor za to možnost. Razvoj predčasnega, široko razširjenega priznanja moralnih vidikov tega scenarija je še posebej pomemben, saj bodo brez določene stopnje javne podpore demokracije težko odločno delovale, preden bi prišlo do kakršne koli vidne demonstracije tega, kar je na kocki. Čakati na takšno demonstracijo zagotovo ni ustrezna izbira, saj bi lahko pomenila konec vsega.[^20]

9.4 Diferencialni tehnološki razvoj

Če ima izvedljiva tehnologija velik komercialni potencial, je verjetno nemogoče preprečiti, da bi bila razvita. Vsaj v sodobnem svetu, z množico avtonomnih sil in relativno omejenim nadzorstvom, ter vsaj v primeru tehnologij, ki se ne opirajo na redke snovi ali velike proizvodne obrate, bi bilo zelo težavno zagotoviti 100 % učinkovitost prepovedi. V primeru nekaterih tehnologij (recimo kemikalij, ki uničujejo ozon), nepopolno izvršeni predpisi morda zadostujejo. Toda v primeru drugih tehnologij, kot so na primer uničevalni nanoboti, ki se samo-replicirajo v naravnem okolju, bi bil lahko že en sam pobeg smrtonosen. Omejena izvršljivost tehnoloških prepovedi omejuje skupek izvedljivih politik, med katerimi lahko izbiramo.

Na kar pa mi lahko vplivamo (v kolikšni meri je odvisno od tega, kako definiramo “mi”) je hitrost razvoja različnih tehnologij in potencialno zaporedje v katerem so izvedljive tehnologije razvite in implementirane. Osredotočiti bi se morali na to, kar želim poimenovati diferencialni tehnološki razvoj: poskušati upočasniti implementacijo nevarnih tehnologij in potešiti implementacijo koristnih tehnologij, še posebej tistih, ki zmanjšujejo nevarnosti, ki jih predstavljajo druge tehnologije. V primeru nanotehnologije bi bilo zaželeno zaporedje tisto, pri katerem bi se obrambni sistemi vzpostavili preden bi ofenzivne zmožnosti postale dostopne mnogim neodvisnim silam; ko si namreč neko skrivnost ali tehnologijo delijo mnogi, postane preprečevanje nadaljnjega širjenja izredno težavno. V primeru biotehnologij, bi se morali truditi za promocijo raziskovanja cepiv, antibakterijskih in antivirusnih zdravil, zaščitne opreme, senzorjev in diagnostik, ter kolikor je mogoče dolgo zadrževati razvoj (in širjenje) sredstev biološkega vojskovanja ter njihovih vektorjev. Razvoj, ki enakovredno napreduje ofenzivne in defenzive zmožnosti, je z varnostne perspektive nevtralen, razen če ga opravljajo države, ki jih identificiramo kot odgovorne, v katerem primeru so koristne do te mere, do katere povečujejo našo tehnološko superiornost nad našimi potencialnimi sovražniki. Takšen “nevtralni” razvoj je lahko tudi v pomoč pri zmanjševanju grožnje, ki jo predstavljajo naravne nesreče, lahko pa imajo seveda tudi koristi, ki niso neposredno povezane z globalno varnostjo.

Zdi se, da je nekatere tehnologije še posebej vredno promovirati, saj lahko pomagajo pri zmanjševati širok spekter groženj. Superinteligenca je ena izmed njih. Čeprav prinaša lastne nevarnosti (opisane v prejšnjih odstavkih), so to nevarnosti, s katerimi se bomo morali enkrat soočiti, ne glede na vse. Kljub temu pa je zgodnje stvarjenje superinteligence zelo zaželeno, ker bi pomagalo zmanjšati druga tveganja. Superinteligenca bi nam lahko svetovala glede politik. Superinteligenca bi pomagala narediti krivuljo napredka nanotehnologije mnogo bolj strmo, ter tako skrajšala obdobje ranljivosti med razvojem nevarnih nanoreplikatorjev in razvojem ustrezne obrambe. V primerjavi bi stvarjenje nanotehnologije pred superinteligenco naredilo precej malo za zmanjšanje tveganj superinteligence. Glavna mogoča izjema je, če mislimo, da je pomembno doseči superinteligenco s pomočjo uploadanja, namesto s pomočjo umetne inteligence. Nanotehnologija bi namreč močno pospešila uploadanje. [3