Povzetek

V roku tridesetih let bomo imeli tehnološka sredstva za stvaritev nadčloveške inteligence. Kmalu zatem bo človeška doba končana.

Se je mogoče takšnemu napredku izogniti? Če se mu ni mogoče izogniti, je mogoče dogodke usmerjati tako, da bi lahko ljudje preživeli? To so vprašanja s katerimi sem se ukvarjal v tej raziskavi. Predstavljeni so nekateri možni odgovori (ter nakatere nove nevarnosti).

Kaj je Singularnost?

Pospeševanje tehnološkega napredka je bila osrednja značilnost tega stoletja. V tej raziskavi trdim, da smo na meji sprememb, ki so primerljive z vzponom človeškega življenja na Zemlji. Natančni vzrok te spremembe je skorajšnja stvaritev entitet z inteligenco, večjo od človeške, s pomočjo tehnologije. Obstaja več sredstev s katerimi lahko znanost doseže ta preboj (in to je še dodaten razlog za prepričanje, da se bo ta dogodek res zgodil):

• Lahko obstajajo razviti računalniki, ki se “prebudijo” in so nadčloveško inteligentni. (Do sedaj je bilo mnogo polemik o tem, če lahko ustvarimo človeško enakovrednost v stroju. Če je odgovor “da, lahko”, potem ni dvoma, da je mogoče kmalu zatem ustvariti bitja, ki so bolj inteligentna.)
• Velike računalniške mreže (in z njimi povezani uporabniki) se lahko “prebudijo” kot nadčloveško inteligentna entiteta.
• Vmesniki med računalnikom/človekom lahko postanejo tako globoki, da se lahko uporabnike upravičeno smatra za nadčloveško inteligentne.
• Biološka znanost lahko prinese sredstva za izboljšanje naravnega človeškega intelekta.

Prve tri možnosti so v veliki meri odvisne od izboljšav računalniške strojne opreme. Napredek računalniške strojne opreme je v zadnjih nekaj desetletjih sledil osupljivo konstantni krivulji. Izhajajoč v veliki meri iz tega trenda, verjamem, da se bo stvaritev inteligence, večje od človeške, zgodila v naslednjih tridesetih letih. (Charles Platt je izpostavil, da so navdušenci nad UI postavljali podobne trditve zadnjih trideset let. Da ne bom kriv dvoumnosti, bom bolj natančen: presenečen bom če se bo ta dogodek zgodil pred letom 2005 ali po letu 2030.)

Kaj so posledice tega dogodka? Ko inteligenca, večja od človeške, postane gonilo napredka, bo ta napredek mnogo hitrejši. Pravzaprav ne poznam razloga, zakaj sam napredek ne bi vključeval stvarjenja še mnogo bolj inteligentnih entitet – v še krajšem časovnem razponu. Najboljša analogija, ki si jo lahko zamislim, je povezana z našo evolucijsko zgodovino: živali se lahko prilagodijo glede na probleme in izdelujejo invencije, vendar običajno nič hitreje od tega, kolikor naravna selekcija potrebuje za svoje delo – svet v primeru naravne selekcije deluje kot svoj lastni stimulator. Ljudje imamo sposobnost ponotranjiti svet in izvajati “kaj če” špekulacije v naših glavah; mnoge probleme lahko rešujemo tisočkrat hitreje kot naravna selekcija. Sedaj, s stvarjenjem sredstev za izvajanje teh simulacij pri mnogo večjih hitrostih, vstopamo v režim, ki je tako radikalno drugačen od naše človeške preteklosti, kot smo mi ljudje drugačni od nižjih živali.

S človeškega zornega kota bo ta sprememba videti kot opustitev vseh preteklih pravil, morda v trenutku, eksponentni pobeg, brez vsakršnega upanja, da bi ga lahko nadzorovali. Razvoj, za katerega se je v preteklosti mislilo, da bi se lahko zgodil “v milijonu let” (če sploh kdaj) se bo verjetno zgodil v naslednjem stoletju.

Zdi se mi primerno poimenovati ta dogodek singularnost (“Singularnost” za namene tega članka). Predstavlja točko, kjer moramo zavreči naše predhodne modele in kjer prične veljati nova realnost. Ko se pomikamo bližje tej točki se bo vedno bolj grozeče dvigala nad človeškimi zadevami, dokler sama ideja ne bo postala splošno sprejeta. Toda ko se bo končno zgodila, bo še vedno veliko presenečenje in še večja neznanka. V 1950ih je bilo zelo malo ljudi, ki so si jo lahko predstavljali: Stan Ulam [1] parafrazira Johna von Neumanna, ko je dejal:

Pogovor, ki se osredotoča na vedno hitrejši napredek tehnologije in spremembe v načinu človeškega življenja, ki daje vtis, da se približuje nekakšni bistveni singularnosti v zgodovini rase, po kateri se človeške zadeve kot jih poznamo, ne bi več mogle nadaljevati.

Von Neumann celo uporablja pojem singularnost, čeprav kaže, da misli na običajni napredek, ne na stvaritev nadčloveškega intelekta. (Zame je nadčloveškost bistvo Singularnosti. Brez tega bi dobili preobilje tehničnih bogastev, ki jih ne bi nikoli primerno absorbirali.)

V 1960ih se je pojavilo spoznanje o nekaterih izmed implikacij nadčloveške inteligence. I. J. Good je zapisal [2]:

Naj bo ultrainteligentni stroj definiran kot stroj, ki lahko daleč preseže vse intelektualne dejavnosti katerega koli človeka, ne glede na to, kako bister je. Ker je načrtovanje strojev ena izmed teh intelektualnih aktivnosti, bi lahko ultrainteligentni stroj načrtoval še boljše stroje; po tem bi nedvomno prišlo do “eksplozije inteligence,” in inteligenca človeka bi ostala daleč zadaj. Tako je prvi ultrainteligentni stroj zadnji izum, ki ga bo potrebno človeku narediti, če seveda predpostavimo, da je stroj dovolj pokoren, da nam bo povedal, kako ga nadzorovati. … Bolj kot ne je verjetno, da bo v dvajsetem stoletju zgrajen ultrainteligenten stroj in da bo to zadnji izum, ki ga bo moralo človeštvo kdaj koli narediti.

Good je zajel bistvo pobeglega razvoja, ni pa zasledoval njegovih najbolj vznemirljivih posledic. Katerikoli inteligentni stroj iz vrste, ki jo opisuje, ne bi bil nikoli “orodje” človeštva – prav tako kot ljudje niso orodja zajcev ali taščic ali šimpanzov.

V šestdesetih, sedemdesetih in osemdesetih se je spoznanje o kataklizmi razširilo. Morda so bili znanstvenofantastični pisatelji tisti, ki so prvi čutili njen dejanski vpliv. Navsezadnje so pisatelji “trde” znanstvene fantastike tisti, ki poskušajo pisati specifične zgodbe o vsem, kar tehnologija lahko stori za nas. Bolj in bolj so ti pisci čutili steno, ki zakriva prihodnost. Nekoč so lahko postavljali takšne fantazije milijone let v prihodnost. Sedaj so videli, da se njihove najbolj prizadevne ekstrapolacije končujejo v neznanem … in to v bližnji prihodnosti. Nekoč se je zdelo, da galaktični imperiji spadajo v post-človeško območje. Sedaj, na žalost, tja spadajo tudi interplanetarni.

Kaj pa prihajajoča desetletja, ko drsimo proti robu? Kako bo bližanje Singularnosti prepojilo človeški pogled na svet? Še nekaj časa bodo splošni kritiki strojne sapience uživali podporo. Navsezadnje je nespametno misliti, da bomo sposobni ustvariti človeku enakovredno (ali večjo) inteligenco, dokler nimamo na voljo strojne opreme, ki bo tako zmogljiva kot človeški možgani. (Obstaja tudi nekovencionalna možnost, da bi lahko dosegli človeško ekvivalenco na manj zmogljivi strojni opremi, če bi se bili pripravljeni odpovedati hitrosti, če bi se bili pripravljeni zadovoljiti z umetnim bitjem, ki bi bilo dobesedno počasno. Vendar pa je mnogo bolj verjetno, da bo razvoj programske opreme zapleten proces, z mnogimi lažnimi začetki in eksperimentiranjem. Če je tako, potem se bo prihod samozavedajočih strojev zgodil šele, ko bomo razvili strojno opremo, ki je znatno zmogljivejša od človekove naravne opreme.)

S časom pa bi morali opaziti več simptomov. Dilemo, ki jo sedaj čutijo pisatelji znanstvene fantastike bodo občutili tudi na drugih ustvarjalnih področjih. (Od zaskrbljenih piscev stripov sem slišal, kako naj vendar ohranijo spektakularne posebne učinke, ko pa lahko vse vidno proizvede to, kar je tehnološko vsakdanje.) Videli bomo, kako avtomatizacija zamenjuje poklice na vedno višjih ravneh. Že sedaj imamo orodja (simbolni matematični programi, cad/cam), ki nas osvobajajo velikega dela nizkostopenjskega garanja. Ali če povemo drugače: delo, ki je zares produktivno postaja domena vedno manjšega in vedno bolj elitnega dela človeštva. V prihodu Singularnosti vidimo, kako se napovedi resnične tehnološke nezaposlenosti končno uresničujejo.

Še eden izmed simptomov napredka k Singularnosti: same ideje naj bi se širile še hitreje in tudi najbolj radikalne bodo hitro postale vsakdanje. Ko sem pričel pisati znanstveno fantastiko sredi šestdesetih let je bilo zelo lahko najti ideje, ki so potrebovale desetletja, da so proniknile v kulturno zavest; sedaj se zdi, da je povprečni čas bolj podoben osemnajstim mesecem. (Seveda je mogoče, da se to zdi samo meni, ko izgubljam domišljijo, sedaj ko se staram, vendar ta učinek opažam tudi pri drugih.) Kakor ujet val, se Singularnost vedno bolj približuje, ko pospešujemo skozi kritično hitrost.

Kaj pa prihod same Singularnosti? Kaj lahko rečemo o njenem dejanskem izgledu? Ker vsebuje nagle spremembe v smislu intelekta, se bo verjetno odvijala hitreje od katere koli tehnološke revolucije, ki se je zgodila do sedaj. Nenadni dogodek bo verjetno nepričakovan – morda tudi za raziskovalce, ki bodo v njem sodelovali (“Toda vsi naši predhodni modeli so bili katataonični! Spreminjali smo samo par parametrov….”). Če bo povezovanje v mreže dovolj razširjeno (v vseprisotne vgnezdene sisteme), se bo morda zdelo, da so se naši artefakti kot celota nenadoma prebudili.

In kaj se zgodi mesec ali dva (ali dan ali dva) zatem? Lahko pokažem samo na analogije: vzpon človeštva. Takrat bomo v post-človeški dobi. In kljub vsemu svojemu nebrzdanemu tehnološkemu optimizmu včasih mislim, da bi se počutil bolje, če bi na te transcendentalne dogodke gledal z oddaljenosti tisoč let … namesto dvajsetih.

Se je Singularnosti mogoče izogniti?

No, morda se kljub vsemu ne bo zgodila: Včasih si poskušam predstavljati simptome, ki jih lahko pričakujemo, če se Singularnost ne bo razvila. Obstajajo splošno spoštovani argumenti Penrosa [3] in Searla [4] proti izvedljivosti strojne sapience. Avgusta 1992, je Thinking Machines Corporation organizirala delavnico za raziskovanje vprašanja “Kako bomo zgradili stroj, ki misli”. Kot lahko uganete s pomočjo naslova delavnice, sodelujoči nisi pokazali preveč podpore za argumente proti strojni inteligenci. Pravzaprav je obstajalo splošno strinjanje, da inteligentni razumi lahko obstajajo na nebioloških substratih in da so algoritmi bistvenega pomena za obstoj razumov. Vendar pa je obstajalo precej polemike o čisti strojni opremi, ki je prisotna v organskih možganih. Manjšina je menila, da so bili največji računalniki v letu 1992 v obsegu treh velikostnih stopenj moči človeških možganov. Večina sodelujočih se je strinjala z Moravčevo oceno [5], da smo deset do štirideset let oddaljeni od enakovrednosti strojne opreme. Obstajala pa je še ena manjšina, ki je domnevala, da je morda računska sposobnost posameznih nevronov mnogo večja, kot se na splošno domneva. Če je tako, je mogoče, da je naša sedanja računalniška strojna oprema celo do deset velikostnih stopenj pod opremo, ki jo nosimo naokrog v naših glavah. Če je to res (oziroma če je Penrosova ali Searlova kritika pravilna), morda ne bomo nikoli dočakali Singularnosti. Namesto tega bomo v zgodnjih dvatisočih opazili, da se krivulje zmogljivosti naše strojne opreme začenjajo izravnavati – zaradi naše nezmožnosti, da bi avtomatizirali načrtovalno delo, ki je potrebno za nadaljnje izboljšave strojne opreme. Na koncu bi prišli do zelo močne strojne opreme, vendar je ne bi bili sposobni razvijati naprej. Komercialno procesiranje digitalnih signalov bi morda bilo osupljivo, saj bi imele celo digitalne operacije analogni videz, vendar pa se ne bi nikoli nič “prebudilo” in nikoli ne bi bilo naglega intelektualnega napredka, ki je bistvo Singularnosti. Verjetno bi na to obdobje gledali kot na zlato dobo … pomenilo pa bi tudi konec napredka. Takšna vizija je zelo podobno prihodnosti, kot jo predvideva Gunther Stent [6], ki citira razvoj transčloveške inteligence kot zadosten pogoj za zlom svojih napovedi.

Če pa se tehnološka Singularnost lahko zgodi, se bo zgodila. Tudi če bi vse vlade sveta razumele “grožnjo” in se je na smrt bale, bi se napredek proti cilju nadaljeval. V fikciji so se pojavljale zgodbe o sprejetju zakonov, ki so prepovedovali konstrukcijo “stroja v podobi človeškega razuma”. Pravzaprav je konkurenčna prednost – ekonomska, vojaška, celo umetniška – vsakega napredka v avtomatizaciji tako privlačna, da sprejetje zakonov ali uvedba carin, ki takšne stvari prepovedujejo, samo zagotavlja, da jo bo nekdo drug dosegel prej.

Eric Drexler [7] nam je omogočil spektaklularne vpoglede v to, kako daleč bi lahko šle tehnološke izboljšave. Strinja se, da bodo nadčloveške inteligence na voljo v bližnji prihodnosti – ter da takšne entitete predstavljajo grožnjo človeškemu statusu quo. Vendar pa Drexler trdi, da lahko takšne transčloveške naprave omejimo tako, da bo njihove rezultate mogoče preučiti in varno uporabljati. To je ultrainteligentni stroj I. J. Gooda z dobro mero previdnosti. Sam trdim, da je omejevanje samo po sebi nepraktično. Za primer fizičnega omejevanja: predstavljajte si, da ste zaprti v svojem domu, samo z omejenim dostopom do podatkov iz zunanjega sveta, ki prihaja od vaših gospodarjev. Če bi ti gospodarji razmišljali s hitrostjo – recimo – milijonkrat počasneje od vas, ostaja zelo malo dvoma o tem, da bi se lahko v obdobju večih let (vašega časa) spomnili “koristnih nasvetov”, ki bi vas, po naključju seveda, osvobodili. (Takšno “hitro mislečo” obliko superinteligence imenujem “šibka nadčloveškost”. Takšna “šibko nadčloveška” entiteta bi verjetno izgorela v nekaj tednih zunanjega časa. “Močna nadčloveškost” pa bi pomenila več kot samo pospeševanje hitrosti ure pri razumu, enakovrednem človeškemu. Težko je natančno reči kakšna naj bi bila “močna nadčloveškost”, vendar pa se zdi, da je razlika globoka. Predstavljajte si, da izvajate razum psa z zelo visoko hitrostjo. Bi bilo tisoč let pasjega življenja dovolj, da bi privedlo do kakršnih koli človeških vpogledov? (Če pa bi pasji razum spretno reprogramirali in ga nato zagnali pri visoki hitrosti, bi morda videli kaj drugega….) Videti je, da so mnoge špekulacije o nadinteligenci osnovane na šibkem nadčloveškem modelu. Prepričan sem, da lahko pridemo do najboljših domnev o post-Singularnostnem svetu z razmišljanjem o naravi močne nadčloveškosti. K tej točki se bom vrnil kasneje v raziskavi.)

Drugačen pristop k omejevanju je, da bi v razum ustvarjene nadčloveške entitete vgradili pravila (na primer Asimove zakone robotike). Prepričan sem, da bi kakršna koli pravila, ki so dovolj stroga, da bi bila učinkovita, proizvedla napravo, katere sposobnosti bi bile jasno inferiorne v primerjavi z neomejenimi verzijami (in tako bi bla človeška konkurenčnost naklonjena razvoju bolj nevarnih modelov). Kljub temu pa so Asimove sanje še vedno čudovite: predstavljajte si voljnega sužnja, ki ima 1000 krat večje zmožnosti od vaših, v vsakem pogledu. Predstavljajte si bitje, ki bi lahko zadovoljilo vsako vašo varno željo (karkoli že to pomeni) in še vedno imelo 99.9% svojega časa prostega za druge aktivnosti. Nastalo bi novo vesolje, ki ga ne bi nikoli zares razumeli, vendar napolnjeno z dobrohotnimi bogovi (čeprav bi bila morda ena izmed mojih želja, da postanem eden izmed njih).

Če Singularnosti ni mogoče preprečiti ali omejiti, kako slaba bi post-človeška doba lahko bila? Pravzaprav … zelo slaba. Fizično izumrtje človeške rase je ena izmed možnosti (Ali kot je Eric Drexler dejal o nanotehnologiji: Glede na to, kaj vse lahko takšna tehnologija stori, bi se vlade morda preprosto odločile, da ne potrebujejo več državljanov!). Vendar pa fizično izumrtje morda ni najstrašnejša možnost. Zopet, analogije: pomislite na različne načine kako ravnamo z živalmi. Nekatere izmed surovih fizičnih zlorab niso verjetne, vendar kljub temu …. V post-človeškem svetu bi bilo še vedno precej niš, kjer bi bila zaželjena človeku enakovredna avtomatizacija: vgnezdeni sistemi v samostojnih napravah, samozavedajoči demoni v nižjem delovanju večjih sentientov (Močna nadčloveška inteligenca bi bila zelo verjetno Združba razuma [8] z nekaj zelo zmogljivimi komponentami.). Nekateri izmed teh ekvivalentov ljudem se morda ne bi uporabljali za nič več kot digitalno procesiranje signalov. Bolj bi bili podobni kitom kot ljudem. Drugi bi bili lahko precej podobni ljudem, vendar z enostranskostjo, s predanostjo, ki bi jih v naši dobi spravila v umobolnico. Čeprav morda nobeno izmed teh bitij ne bilo človek iz mesa in krvi, bi bili v novem okolju najbližje temu, kar sedaj imenujemo človeško.

Zgoraj sem trdil, da Singularnosti ne moremo preprečiti, da je njen prihod neizogibna posledica človeške naravne tekmovalnosti in zmožnosti, vsebovanih v tehnologiji. Toda vseeno … mi smo njeni pobudniki. Tudi največji plaz sprožijo majhne stvari. Smo svobodni, da vzpostavimo začetne pogoje, povzročimo, da se stvari zgodijo tako, da so manj škodljive kot bi lahko bile. Seveda pa (prav tako kot s sprožanjem plazov) morda ne bo jasno, kakšen je potisk, ki bi sprožil stvari v pravo smer:

Druge poti do Singularnosti: Povečevanje inteligence

Ko ljudje govorijo o stvaritvi nadčloveško inteligentnih bitij si običajno predstavljajo UI projekt. Vendar kot sem omenil na začetku te raziskave, obstajajo tudi druge poti do nadčloveškosti. Računalniške mreže in vmesniki za povezavo med ljudmi in računalniki se morda zdijo bolj vsakodnevni od UI, vseeno pa bi lahko pripeljali do Singularnosti. Takšen pristop imenujem Povečevanje inteligence (PI). PI je nekaj, kar napreduje zelo naravno, v večini primerov je njeni razvijalci niti ne prepoznajo kot to, kar dejansko je. Toda vsakič, ko se naša sposobnost za dostop do informacij in naše komuniciranje z drugimi izboljša, smo v nekem smislu dosegli povečanje inteligence v primerjavi z naravno. Že sedaj bi lahko ekipa, ki jo sestavljata človek z doktoratom in dobra računalniška delovna postaja (celo postaja, ki ni priključena na splet!) dosegla najvišje razultate pri katerem koli pisanem inteligenčnem testu, ki obstaja.

Obenem je zelo verjetno, da je PI mnogo lažja pot do dosege nadčloveškega kot čista UI. Pri ljudeh so bili najtežji razvojni problemi že rešeni. Graditi iz nas samih bi moralo biti lažje kot najprej ugotoviti kaj pravzaprav smo in nato zgraditi stroje, ki so vse to. Obstaja pa vsaj domneven precedens za ta pristop. Cairns-Smith [9] je teoretiziral, da se je biološko življenje morda začelo kot pristav še bolj primitivnega življenja, osnovanega na rasti kristalov. Lynn Margulis (v [10] in drugje) je postavila trdne argumente da je načelo medsebojne odvisnosti za dobro vseh močna gonilna sila v evoluciji.

S tem ne predlagam, da bi morali raziskave UI ignorirati ali jim namenjati manj sredstev. Kar se dogaja pri UI bo pogosto imelo uporabo v PI in obratno. Predlagam, da priznamo, da v raziskovanju mrež in vmesnikov obstaja nekaj tako globokega (in potencialno divjega) kot je umetna inteligenca. S tem vpogledom lahko opazimo projekte, ki niso tako neposredno uporabni kot delo pri načrtovanju konvencionalnih vmesnikov in mrež, vseeno pa služijo za napredek proti Singularnosti po poti PI.

Tu je nekaj potencialnih projektov, ki imajo poseben pomen, iz zornega kota PI:

• Avtomatizacija človeško/računalniških ekip: vzeti probleme, ki se običajno smatrajo kot primerni za čisto strojno reševanje (kot problemi plezanja na hrib) in razviti programe in vmesnike, ki izkoriščajo človeško intuicijo in razpoložljivo računalniško strojno opremo. Glede na vso bizarnost višje dimenzionalnih problemov plezanja na hrib (in ličnih algoritmov, ki so bili razviti za njihovo reševanje), bi lahko dobili zelo zanimive prikazovalnike in nadzorna orodja, ki bi bila na voljo človeškemu članu ekipe.
• Razviti človeško/računalniško simbiozo v umetnosti: združiti zmožnost grafičnega generiranja, ki jo imajo moderni stroji in estetično senzibilnost ljudi. Seveda je bila opravljena že ogromna količina raziskav pri razvoju računalniških pripomočkov za umetnike, kot orodij za pomoč pri delu. Predlagam, da se usmerimo neposredno v večje združevanje kompetenc, da eksplicitno priznamo kooperativni pristop, ki je mogoč, Karl Sims [11] je opravil mnogo čudovitega dela v tej smeri.
• Dovoliti človeško/računalniške ekipe na šahovskih turnirjih. Že sedaj imamo programe, ki lahko igrajo bolje, kot skoraj katerikoli človek. Toda koliko dela je bilo opravljenega na tem, kako bi to moč lahko uporabil človek, da bi dobili nekaj še boljšega? Če bi bile takšne ekipe dovoljene na vsaj nekaterih šahovskih turnirjih, bi to lahko imelo pozitivni učinek za PI raziskave, kot ga je dovoljevanje računalnikov na turnirjih imelo za ustrezno nišo v UI.
• Razviti vmesnike, ki omogočajo računalniški in mrežni dostop, ne da bi moral človek zato biti vezan na določeno mesto, torej sedeti pred računalnikom (To je vidik PI, ki se tako dobro prekriva z znanimi ekonomskimi prednostmi, da se vanj že sedaj vlaga veliko truda.).
• Razviti bolj simetrične sisteme za podporo odločitev. Popularno področje raziskav in proizvodov so bili v zadnjih letih sistemi za podporo odločitev. To je oblika PI, vendar je morda preveč osredotočena na sisteme, ki so orakularni. Poleg tega, da program daje uporabniku informacije, mora biti prisotna tudi ideja, da uporabnik usmerja program.
• Uporabiti lokalna omrežja za sestavo človeških ekip, ki dejansko delujejo (t. j. so bolj učinkovite kot njihovi sestavni člani). To je na splošno področje “groupware”, že sedaj zelo priljubljenega posla. Sprememba vidika bi bila, da bi obravnavali skupinsko aktivnost kot kombinirani organizem. V enem smislu bi lahko ta predlog obravnavali kot prizadevanje za iznajdbo “pravil obnašanja” za takšne kombinirane operacije. Skupinsko osredotočenje bi, na primer, lahko vzdrževali mnogo lažje kot na klasičnih sestankih. Strokovno znanje posameznih človeških članov bi lahko ločili od ega, tako, da bi bil doprinos različnih članov ekipe osredotočen na skupinski projekt. Prav tako bi lahko skupne podatkovne baze uporabljali mnogo priročneje kot na konvencionalnih zasedanjih odborov (Upoštevajte, da je ta predlog namenjen skupinskim operacijam, ne političnim sestankom. V političnem okolju bi zgoraj opisana avtomatizacija zgolj vsiljevala moč oseb, ki bi sestavljale pravila!).
• Izkoristiti svetovni internet kot kombinirano človeško/strojno orodje. Od vseh točk na seznamu, napredek pri tej napreduje najhitreje in nas morda lahko pripelje v Singularnost pred čim drugim. Moč in vpliv sedanjega Interneta se močno podcenjuje. Na primer, sam mislim, da bi se naš sodobni računalniški sistem zlomil pod težo lastne kompleksnosti, če ne bi bilo prednosti, ki jih USENET “skupinski razum” daje sistemskim administratorjem in podpornemu osebju! Sama anarhija razvoja svetovne mreže je dokaz njenega potenciala. Ko se povezljivost in pasovna širina in velikost arhivov in računalniška hitrost povečujejo, opažamo nekaj, kar je podobno viziji Lynn Margulis, torej viziji biosfere kot rekapitulacijskega podatkovnega procesorja, toda z milijonkrat večjo močjo in z milijoni inteligetnih človeških posrednikov (nas samih).

Zgornji primer prikazuje raziskave, ki se lahko opravijo v okviru sodobnih oddelkov za računalniško znanost. Obstajajo tudi druge paradigme. Na primer, množica raziskav v umetni inteligenci in nevralnih mrežah bi imela koristi od tesnejše povezave z biološkim življenjem. Namesto, da bi preprosto poskušali modelirati in razumeti biološko življenje z računalniki, bi raziskave lahko usmerili v stvarjenje sestavljenih sistemov, ki se opirajo na biološko življenje za usmerjanje, ali za nudenje zmožnosti, ki jih še ne razumemo dovolj, da bi jih implementirali v strojni opremi. Davne znanstvenofantastične sanje so neposredni vmesnik med možgani in računalnikom. Pravzaprav obstaja konkretno delo, ki ga je mogoče opraviti (in se opravlja) na tem področju:

• Proteze okončin so področje z neposredno komercialno uporabnostjo. Pretvornike signalov iz živcev do silikona je mogoče izdelati. To je razburljiv, kratkoročni korak v smeri neposredne komunikacije.
• Neposredne povezave v možgane se zdijo mogoče, če je količina bitov nizka: če upoštevamo človeško fleksibilnost pri učenju lahko domnevamo, da dejanskih tarč, ki jih predstavljajo možganski nevroni, morda ne bi bilo treba natančno izbrati. Celo 100 bitov na sekundo bi lahko predstavljalo veliko pomoč žrtvam kapi, ki bile drugače omejene na vmesnike z meniji.
• Vključitev v optično steblo ima potencial za pasovne širine okrog 1 Mbit/sekundo. Vendar bomo morali za kaj takega poznati podrobno arhitekturo vida, poleg tega pa bomo morali položiti velikansko mrežo elektrod s posebno natančnostjo. Če želimo širokopasovno povezavo poleg povezav, ki so že prisotne v možganih, postane problem še mnogo težji. Če v možgane samo potisnemo mrežo visoko zmogljivih širokopasovnih sprejemnikov s tem ne bomo dosegli veliko. Lahko pa si zamislimo primer, ko bi bila visokozmogljiva širokopasovna mreža že prisotna medtem ko bi se možganska struktura še oblikovala, torej ko se zarodek šele razvija. To nas napeljuje na:
• Poskusi z živalskimi zarodki. Ne pričakujem uspehov na PI področju v prvih letih takšnih raziskav. Toda če bi razvijajočim možganom omogočili dostop do zapletenih simuliranih nevralnih struktur, bi bilo to lahko zelo zanimivo za ljudi, ki preučujejo razvoj možganov zarodka. V dolgem roku bi takšni poskusi lahko ustvarili živali z dodatnimi čutnimi potmi in zanimivimi intelektualnimi zmožnostmi.

Na začetku sem upal, da bo ta razprava o PI pokazala varnejši pristop k Singularnosti (Navsezadnje PI omogoča naše sodelovanje v nekakšni transcendenci.). Žal je sedaj, ko ponovno berem te predloge za PI, vse o čemer sem prepričan le to, da bi se jih splača pretehtati, saj nam lahko ponudijo več opcij. Kar pa zadeva varnost … no, nekateri izmed teh predlogov so malce strašljivi, če se o njih podrobneje zamislimo. Eden izmed mojih neformalnih recenzentov je pripomnil, da bi PI, ki bi bila na voljo posameznim ljudem, ustvarila precej zloveščo elito. Ljudje s seboj nosimo evolucijski tovor, ki se je nabiral milijone let in zaradi katerega gledamo na tekmovalnost v smrtonosni luči. Večina te smrtonosnosti morda ni potrebna v današnjem svetu, v svetu kjer poraženci prevzamejo zvijače zmagovalcev in so kooptirani v zmagovalčeve podvige. Bitje, ki bi bilo zgrajeno de novo bi bilo morda mnogo bolj dobronamerna entiteta kakor entieta z jedrom, ki je nastalo s čekani in kremplji. In celo egalitarni pogled interneta, ki se prebuja skupaj s celotnim človeštvom je lahko videti kot nočna mora.

Težava ni le v tem, da Singularnost predstavlja umik človeštva s središča odra, temveč, da nasprotuje našim najglobljim predstavam o bivanju. Mislim, da nam podrobnejši pogled na idejo močne nadčloveškosti lahko pokaže, zakaj je temu tako.

Močna nadčloveškost in najboljše, kar si lahko želimo

Zamislite si, da bi lahko oblikovali Singularnost. Zamislite si, da bi lahko izpolnili naše najbolj ekstravagantne upe. Za kaj bi torej prosili: da bi ljudje sami postali svoji lastni nasledniki, da bi kakršne koli krivice, ki bi se zgodile, umirjala naša vednost o našem izvoru. Za tiste, ki bi ostali nespremenjeni, bi bil cilj dobronamerno obravnavanje (morda bi tistim, ki bi ostali zadaj, celo pustili videz, da so gospodarji božanskih sužnjev). To bi bila lahko zlata doba, ki bi vključevala tudi napredek (ki bi presegel Stentovo bariero). Nesmrtnost (ali vsaj življenjska doba, ki bi trajala tako dolgo, dokler bi lahko ohranili vesolje pri življenju) bi bila dosegljiva.

Vendar bi v tem najsvetlejšem in najprijaznejšem svetu sami filozofski problemi postali zastrašujoči. Razum, ki ostaja pri enaki kapaciteti ne more živeti večno; po nekaj tisoč letih bi bil bolj podoben ponavljajočemu posnetku kot osebi. (Najbolj mrazeča upodobitev tega, ki sem jo kdajkoli videl, je zgodba Larrya Nivena “The Ethics of Madness”.) Da bi živel neomejeno dolgo, mora sam razum rasti … in ko postane dovolj velik, ter se ozre nazaj … kakšna tovariška čustva ima lahko do človeka, iz katerega je izšel? Zagotovo bi bilo to novo bitje vse, kar je bil prvotni človek, vendar pa tudi neznansko več. In tako mora biti tudi za posameznika še vedno veljavna Cairns-Smithova ali Lynn Margulisina ideja o novem življenju, ki inkrementalno raste iz starega.

Ta “težava” glede nesmrtnosti se pojavlja tudi mnogo bolj neposredno. Ideja ega in samozavedanja je tvorila temelj praktičnega racionalizma zadnjih nekaj stoletij. Sedaj pa idejo samozavedanja napadajo raziskovalci umetne inteligence (“Samozavedanje in druge zablode”). Povečevanje inteligence pa spodrezuje naš koncept jaza z druge smeri. Post-Singularnostni svet bo vseboval zelo zmogljivo širokopasovno mreženje. Osrednja značilnost močno nadčloveških entiet bo verjetno njihova zmožnost za komuniciranje pri spremenljivih pasovnih širinah, vključno s tistimi, ki bodo mnogo višje kot govor ali pisana sporočila. Kaj se zgodi, ko je dele jaza mogoče kopirati in združevati, ko se velikost samozavednosti lahko poveča ali skrči, ter tako prilagodi naravi problema, s katerim se ukvarja? To so bistvene značilnosti močne nadčloveškosti in Singularnosti. Če se zamislimo nad njimi, lahko začutimo, kako bistveno nenavadna in drugačna bo post-človeška doba – ne glede na to, kako bistroumno in dobrohotno bo povzročena.

Z enega zornega kota se ta vizija sklada z mnogimi izmed naših najlepših sanj: življenje brez konca in kraja, kjer bomo lahko resnično spoznali drug drugega, ter razumeli najgloblje skrivnosti. Z drugega zornega kota pa je precej podobna najslabšemu možnemu izidu, ki sem si ga zamislil prej v tem članku.

Kateri zorni kot je pravilen? Pravzaprav mislim, da je nova doba preprosto preveč drugačna, da bi jo bilo mogoče postaviti v klasične okvirje dobrega in zla. Ta okvir je zasnovan na ideji izoliranih, nespremenljivih razumov, ki jih povezujejo borne, nizkopasovne povezave. Vendar pa post-Singularnostni svet spada v večjo tradicijo sprememb in sodelovanja, ki se je začela dolgo tega (morda celo pred vzponom biološkega življenja). Mislim, da obstajajo nazori etike, ki bi bili uporabni v takšni dobi. Raziskave PI in širokopasovnih komunikacij bi morale izboljšati naše razumevanje tega. Sedaj vidim le drobce tega, morda pa obstajajo pravila za razlikovanje sebe od drugih na podlagi pasovne širine povezave. In čeprav bosta razum in jaz mnogo bolj nestalna kot v preteklosti, mnogo tega, kar cenimo (znanje, spomin, misel) v prihodnosti ne bo izgubljeno. Mislim, da je Freeman Dyson zadel bistvo, ko je dejal [12]: “Bog je to, kar razum postane, ko preseže obseg našega dojemanja.”

[Rad bi se zahvalil Johnu Carrollu iz San Diego State University in Howardu Davidsonu iz Sun Microsystems za prediskutiranje osnutka tega papirja z mano.]

Reference

1. Ulam, S., “Tribute to John von Neumann”, Bulletin of the American Mathematical Society, vol. 64. no. 3, May 1958, s. 1-49.

2. Good, I. J., “Speculations Concerning the First Ultraintelligent Machine”, v Advances in Computers, vol 6, Franz L. Alt and Morris Rubinoff, eds., 31-88, 1965, Academic Press. Ko sem pripravljal te pripombe, sem si podrobneje ogledal ta članek. Pravzaprav ima Goodov esej še globlje vpoglede, kot je citat, ki je prikazan tukaj. Razmišlja, na primer, da bi bil vmesni korak do “ultrainteligentnega stroja” lahko simbiotično razmerje med ljudmi in stroji in predlaga človeško/računalniške ekipe za igranje šaha. Z ozirom na takšen šah celo predlaga mešanje začetnih pozicij, ideja, o kateri je govoril tudi Garry Kasparov (glej Kasparov intervju iz leta 1998 na http://www.chessclub.com/event/kaspinterview.html). Zahvaljujoč Robertu Bradburyu je Goodov esej sedaj na spletu na http://www.aeiveos.com/~bradbury/Authors/Computing/Good-IJ/SCtFUM.html

3. Penrose, Roger, The Emperor’s New Mind, Oxford University Press, 1989.

4. Searle, John R., “Minds, Brains, and Programs”, in The Behavioral and Brain Sciences, vol. 3, Cambridge University Press, 1980. Ta esej je ponatisnjen v The Mind’s I, urednika Douglas R. Hofstadter in Daniel C. Dennett, Basic Books, 1981 (moj vir za to referenco). Ta ponatis vsebuje odlično kritiko Searlovega eseja.

5. Moravec, Hans, Mind Children, Harvard University Press, 1988. Nedavno je Hans Moravec predstavil svoje sklepanje v Robot: Mere Machine to Transcendent Mind, Oxford University Press, 1999. Še ena nedavna referenca je The Age of Spiritual Machines: When Computers Exceed Human Intelligence Raya Kurzweila, Penquin USA, 2000.

6. Stent, Gunther S., The Coming of the Golden Age: A View of the End of Progress, The Natural History Press, 1969.

7. Drexler, K. Eric, Engines of Creation, Anchor Press/Doubleday, 1986.

8. Minsky, Marvin, Society of Mind, Simon and Schuster, 1985.

9. Cairns-Smith, A. G., Seven Clues to the Origin of Life, Cambridge University Press, 1985.

10. Margulis, Lynn and Dorian Sagan, Microcosmos: Four Billion Years of Evolution From Our Microbial Ancestors, Summit Books, 1986.

11. Sims, Karl, “Interactive Evolution of Dynamical Systems”, Thinking Machines Corporation, Technical Report Series (objavljeno v Toward a Practice of Autonomous Systems: Proceedings of the First European Conference on Artificial Life, Paris, MIT Press, December 1991).

12. Dyson, Freeman, Infinite in All Directions, Harper & Row, 1988.

Drugi viri

Alfvén, Hannes, pod psevdonimom Olof Johanneson, The End of Man?, Award Books, 1969. Zgodneje objavljeno kot The Tale of the Big Computer, Coward-McCann, prevedeno iz založniško zaščitene 1966 Albert Bonniers Forlag AB z angleškim prevodom založniško zaščitene 1966 Victor Gollancz, Ltd.

Anderson, Poul, “Kings Who Die”, If, March 1962, 8-36. Najzgodnejša zgodba o povečevanju inteligence s pomočjo povezave računalnika/možganov.

Asimov, Isaac, “Runaround”, Astounding Science Fiction, March 1942, 94. Ponatis v Robot Visions, Isaac Asimov, ROC, 1990, kjer Asimovs opisuje tudi razvoj svojih serij o robotiki.

Barrow, John D. and Frank J. Tipler, The Anthropic Cosmological Principle, Oxford University Press, 1986.

Bear, Greg, “Blood Music”, Analog Science Fiction-Science Fact, June, 1983. Razširjeno v roman Blood Music, Morrow, 1985.

Conrad, Michael, et al., “Towards an Artificial Brain”, BioSystems, vol. 23, 175-218, 1989.

Dyson, Freeman, “Physics and Biology in an Open Universe”, Review of Modern Physics, vol. 51, 447-460, 1979.

Herbert, Frank, Dune, Berkley Books, 1985. Ta novela je bila serializirana v Analog Science Fiction-Science Fact v 1960ih.

Kovacs, G. T. A., et al., “Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation”, IEEE Transactions on Biomedical Engineering, vol. 39, no. 9, 893-902.

Niven, Larry, “The Ethics of Madness”, If, April 1967, 82-108. Ponatis v Neutron Star, Larry Niven, Ballantine Books, 1968.

Platt, Charles, private communication.

Rasmussen, S. et al., “Computational Connectionism within Neurons: a Model of Cytoskeletal Automata Subserving Neural Networks”, v Emergent Computation, Stephanie Forrest, ed., 428-449, MIT Press, 1991.

Stapledon, Olaf, The Starmaker, Berkeley Books, 1961. Od tega datuma naprej, verjetno napisano pred 1937.

Swanwick Michael, Vacuum Flowers, serialized in Isaac Asimov’s Science Fiction Magazine, December(?) 1986 - February 1987.

Thearling, Kurt, “How We Will Build a Machine That Thinks”, a workshop at Thinking Machines Corporation, August 24-26, 1992. Osebna komunikacija.

Vinge, Vernor, “Bookworm, Run!”, Analog, March 1966, 8-40. Zgodnja zgodba o povečevanju inteligence. Junak je prvi poskusni subjekt – šimpanz, povzdignjen do človeške inteligence.

Vinge, Vernor, “True Names”, Binary Star Number 5, Dell, 1981.

Vinge, Vernor, “First Word”, Omni, January 1983, 10. Zgodnejši esej o “singularnosti”.