Eliezer Yudkowsky je eden izmed vodilnih strokovnjakov na področju Singularnosti, na spletu je na voljo več kot megabajt njegovih del. Yudkowsky je avtor Splošne inteligence, Semenske UI in Stvarjenja prijazne UI, in je bil ena izmed glavnih gonilnih sil pri oblikovanju organizirane singularitanske skupnosti

Pogovor

BJKlein:

Kaj je Singularnost?

Eliezer:

Enkrat v prihodnjih letih, ali desetletjih, bo človeštvo postalo sposobno preseči zgornjo mejo inteligence, ki je ostala nespremenjena vse od vzpona človeške vrste v njeni sedanji obliki. Postali bomo sposobni tehnološke stvaritve inteligence, pametnejše od človeka, morda z izboljševanjem človeških možganov, neposrednimi povezavami med računalniki in možgani, ali z umetno inteligenco (UI). Ta dogodek se imenuje ‘Singularnost’ zaradi analogije s singularnostjo v središču črne luknje - ravno tako, kot se podre naš trenutni model fizike, ko poskuša opisati središče črne luknje, se podre tudi naš model prihodnosti, ko ta prihodnost vsebuje razume, pametnejše od človeka. Ker je tehnologija sama proizvod inteligence, vsebuje Singularnost, ko se enkrat zgodi, učinek snežne kepe – prvi pametni razumi lahko ustvarijo pametnejše razume, pametnejši razumi pa lahko izdelajo še pametnejše razume. Zato je Singularnost najpomembnejša točka v prihodnosti človeštva.

BJKlein:

Sta po vašem mnenju prizadevanje za nesmrtnost in prizadevanje za Singularnost eno in isto?

Eliezer:

Zagotovo, verjamem, da je prizadevanje za Singularnost eden izmed najbolj učinkovitih načinov kako si prizadevati za nesmrtnost, vendar nista – v celoti – eno in isto. Prizadevanje za nesmrtnost ima, kot človeška želja, mnogo daljšo zgodovino, kot prizadevanje za Singularnost. Obenem pa prizadevanje za Singularnost dodaja veliko idej, ki niso nujno prisotne v prizadevanju za nesmrtnost. Nekatere izmed teh idej, kot so na primer postati pametnejši, so nujne posledice prizadevanja za nesmrtnost, vendar se zgodovinsko ne pojavljajo v njem, ker se nujne posledice pač precej pogosto spregleda.

Prizadevanje za Singularnost vidim kot zelo učinkovit način prizadevanja za dobro, nesmrtnost pa kot eno vrsto dobrega, za katerega si je treba prizadevati.

BJKlein:

Kot sva se pogovarjala že prej, sem mnenja, da je življenje edina alternativa. Zato je iskanje nesmrtnosti končni cilj. Obenem bi rad rekel še, da je cilj nesmrtnosti pomembnejši od vseh drugih prizadevanj. Kaj bi odvrnili na to?

Eliezer:

Rad sem natančen, kadar gre zato, da do pravih zaključkov pridemo iz pravih razlogov in s tega zornega kota se ne morem strinjati z vašo logiko. Izjava “Življenje je edina alternativa” ne sporoča nobenih informacij razen “Smrti prav zares ne maram”, in to, da ne maramo smrti ni dovolj, da bi preprečili svojo smrt. Mnogo ljudi nikakor ni hotelo sprejeti smrti, nato pa so vseeno umrli. Odločnost tukaj ne zadošča. Da bi premagali smrt, moramo vedeti, kaj storiti in kako. Smrt je tehnološki, ne čustveni izziv.

Prav tako iz nesprejemanja smrti ne sledi, da je nesmrtnost edini, ali glavni cilj. Za ljubezen in smeh je potrebno, da se izogibamo smrti, premagati smrt pa je prizadevanje, ki bo enkrat končano – premagali ste smrt, končali ste, glede smrti vam ni treba več skrbeti in lahko nadaljujete z ljubeznijo in smehom in se ukvarjate z matematiko. Če je nesmrtnost končni cilj, kaj bomo počeli potem, ko bo ta končni cilj dosežen? Če rečemo, da je nesmrtnost končni cilj, dajemo s tem smrti prevelik pomen. Nesmrtnost je gola nujnost za kakršen koli sprejemljiv življenjski standard.

BJKlein:

Kaj je torej vaše gonilo, da želite povzročiti Singularnost?

Eliezer:

Želja narediti toliko dobrega, kolikor je mogoče.

BJKlein:

Dobrega kot je…

Eliezer:

Običajno. Resnica. Sreča. Življenje. Da ljudje dobijo, kar hočejo. Konec neprostovoljne bolečine, smrti, prisile in neumnosti.

BJKlein:

Kateri del družbe se bo zavedal Singularnosti v dnevih in tednih, preden se bo zgodila?

Eliezer:

Odvisno od oblike Singularnosti. Sam sem privrženec teorije “trdega vzleta” Singularnosti, v kateri pametni razumi gradijo pametnejše razume in hitri razumi gradijo hitrejše razume – zelo strm vzpon, ko se enkrat prične. Za razum, ki bo to izvajal, bi bilo seveda mogoče, da se razkrije kadarkoli, vendar bi se lahko celo pametni, alturistični razum – takšen, ki bi bil zaskrbljen za človeško blagostanje – odločil, da ostane tiho, dokler ne bo imel dovolj tehnologije, da bi lahko učinkovito pomagal ljudem. Če na določeni točki nesmrtnost postane dosegljiva, bi bilo prav res brez pomena umreti v nemirih nekaj dni pred to točko. Če pa to točko odložite za teden dni, pa izgubite vse, ki bodo umrli v tem tednu – približno 150,000 ljudi na dan. V bistvu ni moja naloga sprejeti to odločitev, vendar pa mi je jasno, da bi bila lahko moralna odločitev ostati tiho med procesom trdega vzleta. Jaz bi storil tako, če bi me zato prosila moja UI.

BJKlein:

Seveda…

Eliezer:

Če bo tako… bo del družbe, ki se bo zavedal Singularnosti v dneh in tednih, preden se bo zgodila, enak nič. Na srečo so pred nami leta, v katerih lahko poveste karkoli, za kar se vam zdi, da je potrebno povedati o Singularnosti – dokler boste to storili danes, namesto da čakate do zadnje minute.

BJKlein:

Torej ste mnenja, da je mogoče UI, ki so jo zgradili ljudje, “zaupati”, da nam bo pomagala…če bomo izdelali Seme UI pravilno?

Eliezer:

Moje stališče glede Prijazne UI je mešanica “Najverjetneje bo UI prišla najprej, ne glede na to, kaj storimo, zato je najbolje, da jo naredimo kot Prijazno UI” in “Človek je razum, UI je razum, ni teoretičnega razloga, zakaj UI ne bi mogla biti vsaj toliko dobrohotna kot katerikoli človek, ki je kdajkoli živel, morda celo mnogo bolj.” Če zares resno hočete kodirati tisto UI, je za to potreben več kot en programer - Singularity Institute pa za kaj takega še nima finančnih sredstev.

BJKlein:

Pa trenutno delate na kodi za takšno UI? Če da, kako projekt napreduje?

Eliezer:

Trenutno je to napredno načrtovalno delo. In ravno v tem trenutku bom pravzaprav naredil premor, da bi sestavil še več vsebine za spletno stran SIAI.

BJKlein:

Načrtujete knjigo o Singularnosti?

Eliezer:

“Stopnje organizacije v splošni inteligenci” se bodo pojavile kot poglavje v prihajajoči knjigi “Real AI: New Approaches to Artificial General Intelligence”.

BJKlein:

Kaj lahko bralci “Immortality Newsletter”-ja storijo, da bi pomagali sprožiti Singularnost?

Eliezer:

Ko sem sebi postavil to vprašanje, je bil odgovor do katerega sem prišel “Zgradi že enkrat samo-izboljšujočo UI in opravi s tem!” Zato torej Singularity Institute. Zavzemamo neposredni pristop.

BJKlein:

Torej je ključ UI, koda je ključ?

Eliezer:

Pravzaprav menim, da je koda le približno ena tretjina do ena četrtina dela… ne glede na to pa: mislim, da je res, da neposredni pristop maksimizira uspešnost… obstaja mnogo bolj običajnih stvari, ki postransko doprinašajo k Singularnosti, toda mnogi ljudje že delajo te stvari iz drugih razlogov, da bi pa prišli do Singularnosti kar najhitreje in maksimizirali uspešnost kakršnega koli prizadevanja, je najbolje, da sežete po bistvu in neposredno delujete na Singularnosti – tako jaz gledam na stvar. Razen tega lahko širite idejo o Singularnosti… postanete raziskovalec v kognitivni znanosti… se zaposlite pri Intel-u ali AMD-ju… širite pro-tehnološke ideje na vaše prijatelje… vendar ob koncu dneva še vedno mislim, da je smiselno neposredno delati za Singularnost!

BJKlein:

Če je pisanje kode ena tretjina dela, kaj sta drugi dve tretjini?

Eliezer:

Od drugih dveh tretjin je ena tretjina eksperimentalno učenje – vodenje UI skozi scenarije v navideznih mikrookoljih, opazovanje vzorcev, ki jih oblikuje, jo skušati naučiti kako interno koordinirati misel – držati UI za roko, medtem ko ustvarja vsebino svojega razuma in pri tej tretjini seveda ne vemo vnaprej, kaj bomo dobili – delo, da bi spravili UI v cikel samo-izboljševanja, ki ne bo začel pojenjati, eksperimentalno delo s prijazno UI, določen čas za pogovor z UI, ko enkrat zna govoriti (veliko vsebine izhaja iz tega, vendar je za to potrebno manj časa in truda, ko si enkrat na tej stopnji) skupaj z še vsemi stvarmi, ki jih tako daleč vnaprej še ne moremo vedeti.

BJKlein:

Hvala vam. Bilo mi je v veselje.

Eliezer:

Enako.