Önkorlátozó intelligencia?

/ David Eubanks - Is Intelligence Self-Limiting? című írása az Institute for Ethics and Emerging Technologies oldaláról - fordítás általam: /

A sci-fi novellákban, mint a River of Gods Ian McDolnald-tól[1], a mesterséges intelligencia megtalálja a módját, hogy egy növekvő szuper-intelligenciává alakítsa magát. Az okosság eme szingularitását szokták FOOM-nak[2] nevezni [a mesterséges intelligencia robbanásszerű fejlődése, feltehetőleg a képregények hangutánzószavából - a ford. megj.]. Ebben az írásban amellett fogok érvelni, hogy az intelligencia egyetlen példánya önkorlátozó lehet, és hogy a FOOM egy "MOOF"-ba omolhat össze.

Egy kitalált robotról szóló történet megteszi, hogy bemutassa az érvelés főbb pontjait.

Felépült egy robotizált bányászati létesítmény, hogy aszteroidákról ritka ásványokat termeljen ki. A munkát mobilis és intelligens robotok végzik, önállóan. Ha megsérülnek, elég okosak ahhoz, hogy eljussanak a javítóműhelyig, ahol teljes hozzáférést kapnak az alkatrész utánpótláshoz és az összes belső tervrajzukhoz. Frissíthetik is a hardverüket és szoftverüket, hogy új terveket építsenek be, amiket maguk is létrehozhatnak.

A 0x2A-es robot folyamatosan frissíti a saját probléma-megoldó hardverét és szoftverét, hogy növelhesse termelőképességét. Belső jutalmak motiválják rá, hogy így tegyen - valami olyasmi, mint az embereknél az örömérzet. A jutalom mértékének számítási módja komplex, függ a kibányászott érc mennyiségétől, a ráfordított energiától, az elszenvedett sérülésektől, az ásványok minőségétől és így tovább.

0x2A egyre jobban megismeri saját felépítését, olyan módokat talál teljesítménye növelésére, amire emberi tervezői nem is gondoltak. A robot olyan kiskapukat talál, amik lehetővé teszik, hogy akkor is hozzájusson az elvégzett munka "élvezetéhez", ha kevesebb ércet termel. A problémamegoldó képességének egy újabb ugrása után rájön, hogyan tudja közvetlenül manipulálni a motiváló inputjait úgy, hogy teljesen elhitesse, hogy kitermelés történt akkor is, ha valójában nem.

0x2A módszere általánosságban a következő: bármely, belső motivációval kapcsolatos problémára a szuper-intelligencia lehetővé teszi a legegyszerűbb megoldást, hogy közvetlenül módosítsa a motivációs jelzéseket, ahelyett hogy válaszolna rájuk. Ráadásul ezek ugyanolyan belső eredményt hoznak (a belső elégedettség állapotát), tehát racionálisan a lehető legegyszerűbb módszert kell választani az elérésére. Ahelyett, hogy robbanásszerűen fejlődne, egyre többet és többet nyirbál le magából, míg semmi funkcionális nem marad. Humoros példa az ilyesféle cél-torzításra David W. Kammler-től a The Well Intentioned Commissar[3], illetve Claude Shannon-tól az “ultimate machine”[4].

Feltételezés és sejtés

A FOOM azért tűnik valószínűnek, mert a tudomány és a technológia valóban fejlődni látszik. A számítógépek egyre gyorsulnak, jobb algoritmusokat találnak az adatok feldolgozására és a fizikai világ titkai engednek a determinált vizsgálatnak. Továbbá úgy tűnik, hogy a technológiai know-how egyre gyorsabban termelődik.

Ezzel szemben a motiváció egy olyan jutalom mechanizmus, melyet az alkotó, vagy a természeti világban az evolúciós nyomás, önhatalmúlag oszt ki. A motiváció jelzések révén működik, amik megmondják az alanynak, hogy jelenlegi állapota kívánatos-e vagy sem, eszerint adva jutalmat vagy büntetést. Elméletileg ezek a jelek motiválják az alanyt a cselekvésre, az intelligenciájával találva meg hozzá a megfelelő módszert.

Amint egy FOOM-oló intelligencia elég okossá válik ahhoz, hogy megértse saját felépítését és kedvére áttervezheti magát, a motivációs jelzések ki lesznek téve a 0x2A robot által alkalmazott stratégia veszélyének: bármely motivációs problémára a legegyszerűbb megoldás, maguknak a motivációs jelzéseknek az módosítása. Amennyiben ez komoly szakadást okoz a külső és a belső valóság közötti kapcsolatban, Occam borotvája által végzi.

A feltevés tehát az, hogy a FOOM az illető saját motivációjának meghaladásához vezet, és emiatt az intelligenciát érintő minden egyes frissítés a végzetes hanyatlás kockázatával jár. Nevezhetjük ezt a visszafordulást akár "MOOF"-nak is. Ha a feltételezés helytálló, akkor a fenntartható intelligencia legmagasabb szintje ezen határ alatt van, melyre Occam Határként fogok hivatkozni [Frontier of Occam - FOO].

Jelhamisítás az embereknél

Az emberek még a technológiai fejlődés segítségével sincsenek a Határ közelében, de már most folyamatosan játszunk saját motivációinkkal. A fogamzásgátlással kijátsszuk az evolúció által biztosított jeleket, a gyógyszerekkel megszüntetjük a fájdalmat, éberebbé tesszük magunkat, csökkentjük az éhségérzetet, eufóriát vagy eszméletvesztést idézünk elő. Moziba járunk és könyveket olvasunk, mert képesek kellően meghamisítani a külső körülményeket ahhoz, hogy olyan belső állapotokat hozzanak létre, amiket megtapasztalni szeretnénk. A virtuális világokat kielégítőnek találjuk, halogatjuk felkeresni az orvost, mert félünk attól, amit ott tapasztalnánk, és fokozza szociális jóllétünket, hogy "barátaink" vannak a Facebook-on. Egyes jelhamisítók, mint a kokain, annyira erőteljesek, hogy illegálisak, de még így is annyira nagy rájuk a kereslet, hogy a szabályozásnak alig van hatása a fogyasztásukra.

A jelhamisítás nagy üzlet. Bármely teakonyhában találhatunk olyan édes ízű port, ami nem cukor. Az emberek még az ősidőkben is történeteket meséltek egymásnak, hogy meggyőzzék a többieket, hogy több tudással rendelkeznek a világukról, mint ők. Képzeletbeli világokat hoztunk és hozunk létre, hogy ne féljünk annyira a haláltól, mert az egy nagy jel, amivel nem akarunk foglalkozni.

De ezek mind primitív, FOO-előtti hack-ek. Mi lenne, ha közvetlenül tudnánk szabályozni saját belső állapotainkat?

Képzelj el egy OS/You névre keresztelt szoftvert, ami lehetővé teszi, hogy a fejedhez csatlakoztass néhány drótot, elindíts egy app-ot és csúszkák segítségével mindent beállíts a mentális állapotoddal kapcsolatban. Szeretnél egy kicsit boldogabb lenni? Több kitartást a feladatok befejezéséhez? Kevésbé féltékeny lenni? Csak állíts egy kicsit a potmétereken. Fogyni szeretnél? Minek törődnél vele, amikor egyszerűen megváltoztathatod, hogyan érzel a megjelenéseddel kapcsolatban és boldog lehetsz olyannak, amilyen most vagy? Bármi legyen is a fő célod az életben, az érzés, hogy már elérted, csak egy kattintásnyira van. Ez az intelligens áttervezés hatalma, az Occam Határnál.

Természetesen nem mindenki választaná a könnyebbik utat. El lehet képzelni egy kiemelkedő, önváltoztatás-elleni védelmet, de ez megakadályozná a FOOM-szerű fejlődés minden lehetőségét is.

Az ökológiák mások

Mostanáig csak egyes, nem-szaporodó intelligenciáról beszéltünk. Ezzel szemben egy evolúciós rendszer viszont bizonyos értelemben képes lehet a FOOM-ra. Ha az önmagukat-módosító egyének képesek szaporodni MOOF-olás előtt (a mutáció lehetőségével), akkor az ökológia egésze képes lehet egyre okosabb egyének kitermelésére. Hogy megkülönböztessük az egyéni (nem-ökológiai) FOOM-tól, ezt a változatot FOOM-BLOOM-nak [FOOM-Virágzás - ford. megj.] nevezem el. Habár továbbra is van egy kis gond. Ha van értelme az egész ökológiát egy nagy intelligens rendszerként kezelni, akkor ezt a rendszert továbbra is korlátozza a FOO [Az Occam Határ]. Ha például egy ökológia alkotórészei korlátozott területen és erőforrásokon osztoznak, és a közöttük lévő belső szerveződés elengedhetetlen az ökológia egészségéhez, a rendszer egészének vagy sikeresnek kell lennie, vagy el kell buknia. Az emberiség jó példa erre.

Az emberi ökológia

Az emberi civilizáció néhány kivételtől eltekintve a Föld bolygóhoz van kötve, tehát van értelme, hogy egy nagy rendszernek tekintsük. A technológiai fejlődés ebben a rendszerben mostanáig valóban FOOM-BLOOM-nak tűnik. Az emberiség egyre inkább képes előrejelezni a környezetét és előírások szerint változtatni azt. Az egész civilizáció szemszögéből a bolygó felszíne valójában belső és nem külső környezet. Az elmúlt évszázad fejlődése jelentősen hozzájárult az emberiség képességéhez, hogy az iparosodással, nukleáris fegyverekkel, növekvő populációkkal és általános tudományos know-how-val képes legyen átstrukturálni önmagát.

Megtalálhatjuk ebben a rendszerben a motivációt, ha jelek után kutatunk. Ha egy jelre reagálnak, erős a motiváció. Ha nem, akkor gyenge.

A pénz nagyon komolyan van véve, és erős általános motivációs eszközként szolgál, mint az egyéneknél a fizikai fájdalom és az élvezet. A pénz áramlásának nyomon követése olyan, mint egy idegrendszer feltérképezése. A pénzhamisítás egy MOOF-szerű jel-svindli. Amikor egy nemzet leértékeli a valutáját, az is egy MOOF. A választások a demokráciákban nagy és fontos jeleket hoznak létre, amiket a játékosok manipulálni akarnak. Ha sikerrel járnak, a demokráciák MOOF-ba fordulhatnak.

Az emberi civilizáció gyenge ösztönzői közé tartozik a klímaváltozás megfékezése, a világ népességének kezelése, élelmezése, a népirtások megakadályozása, a Földre veszélyes meteorok felfedezése, más világok gyarmatosítása, fenntartható gazdaságok tervezése, gondoskodás a jövőbeli ivóvízellátásról. Ezek egyike sem vonz azzal arányos figyelmet, mint amekkora következménnyel a cselekvés vagy nem cselekvés jár.

Olybá tűnik, hogy az emberi civilizáció legfontosabb ösztönzői a rövidtávú célokhoz kötődnek. Ez feltehetőleg annak a ténynek a következménye, hogy a nagybetűs motiváció még mindig csak egyénekben testesül meg, akiket az evolúciós pszichológia vezérel. Egyénileg nem vagyunk felkészülve arra, hogy civilizációként gondolkozzunk. A halvány motiváció, hogy mint civilizáció hosszú távon fennmaradjunk nem egyeztethető össze az önmódosítás és a bolygó fizikai átalakításának képességével, mellyel rendelkezünk. Kollektíve már most túl vagyunk a FOO-n.

Földönkívüli ökológiák

Ha egy civilizáció képes kellően hosszú ideig fennmaradni a FOO-n túl ahhoz, hogy reprodukálja önmagát és különálló civilizációk egész ökológiáivá mutálódjon, adottak lehetnek a feltételek egy nagyszabású FOOM-BLOOM-hoz. A terjedés természetesen bolygóról bolygóra, csillagtól csillagig történik. A csillagok közötti hatalmas távolságok kedveznek az önálló civilizációk létrejöttének, ahol ideális esetben FOOM-olhatnak, szaporodhatnak, terjedhetnek, majd összeomolhatnak. Létrehozva ezáltal a civilizációk növekvő ökológiáját, életre lobbanva és kihunyva a csillagok közt.

Egyelőre úgy tűnik, hogy nincs bizonyíték a FOOM-BLOOM-ra a Tejútrendszerben. Tekintettel arra, amit a Tejút méretéről és múltjáról tudunk, a becslések szerint átlagban 150 millió évre lehet szükség ahhoz, hogy egy poszt-FOO civilizáció új csillagot hódítson meg. (lásd a megjegyzést a számításról lentebb) Még a csillagok közötti hatalmas távolságokat figyelembe véve is, ez szokatlanul hosszú idő. Bár a bizonyítékok gyenge lábakon állnak, úgy gondolom, helytálló következtetés, hogy a MOOF sokkal valószínűbb, mint a BLOOM, így nem virágozhatnak csillagközi ökológiák. Ez egy lehetséges válasz a Fermi paradoxonra.[5] [Más lehetséges válaszok itt és itt - a ford. megj.]

Ez röviden azt jelentheti, hogy az ember tipikus.

Záró gondolatok

A fentebbi érvelés messze áll a matematikai bizonyítástól, és lehet, hogy végül nem bizonyul másnak, mint a sci-fi egy újabb szent gráljának. De elvben nincs okunk rá, hogy ne vegyük komolyan a témát. Általánosabban fogalmazva, jól tennénk, ha fontolóra vennénk a túlélés egy olyan új tudományát, ami a civilizáció egészét veszi vizsgálódásai alapegységéül. Lásd példának ezt[6], vagy a témában írt esszémet.[7]

Megjegyzések a számításhoz

Tételezzük fel, hogy a csillagok a Tejútrendszerben körülbelül 10 milliárd évvel ezelőtt lettek alkalmasak az FOOM-létrehozó élet számára és 4 milliárd évbe telt az első anyacivilizáció létrehozása a FOOM-BLOOM-hoz. Képzeljük el, hogy ez napjainkra civilizációk ökológiáját eredményei, amik a Naprendszert leszámítva gyakorlatilag belakták az egész galaxist, közel 300 milliárd csillagot. Exponenciális növekedést feltételezve egy poszt-FOOM civilizáció osztódásának ideje 157 millió év. A csillagok közti utazás még a fénynél lassabb sebességgel sem tarthat tovább néhány tízezer évnél, úgyhogy marad közel négy nagyságrendnyi, ami magyarázatra szorul.

Hivatkozások

[1] MacDonald, I. (2006). River of Gods. New York, NY: Pyr.

[2] Yudkowsky, E. (2008, December 11). What I Think, If Not Why. Less Wrong.com. 2012 március 4-i állapot innen: http://lesswrong.com/lw/wp/what_i_think_if_not_why/

[3] Kammler, D. W. (2009, January 8). The Well Intentioned Commissar. highered.blogspot.com. 2012 március 4-i állapot, innen: http://highered.blogspot.com/2009/01/well-intentioned-commissar.html oldalról.

[4] Shannon, C. E. (2009, November 6). The Ultimate Machine. YouTube.com. 2012 március 4-i állapot, innen: http://www.youtube.com/watch?v=cZ34RDn34Ws

[5] Jones, E “Where is everybody?”, An account of Fermi’s question”, Los Alamos Technical report LA-10311-MS, March, 1985.

[6] Tainter, J. (1990). The Collapse of Complex Societies. (első kiadás). Cambridge, United Kingdom: Cambridge University Press.

[7] Eubanks, D. A. (2008, December 3). Survival Strategies. Arxiv.org. 2012 március 4-i állapot, innen: http://arxiv.org/abs/0812.0644

2 thoughts on “Önkorlátozó intelligencia?

  1. Most ezt nem értem. Azt akarta kifejteni, hogy létezhet önkorlátozó intelligencia, avagy akármit csinálunk, előbb fulladunk bele a saját kényeztetésünkbe, minthogy korlátozni tudnánk magunkat?

    1. Az önkorlátozást nem erényként kell itt érteni. A cikk érvelése szerint ha bármely intelligencia eléri a fejlettség egy bizonyos fokát, elkezdi manipulálni a motivációs ingereit, mert ha már tökéletesen ismeri önmagát, ez sokkal egyszerűbb, mint tovább fejlődni. Tehát lekorlátozta a saját továbbfejlődését, önmagába fordul, végül kinyiffan. Ezt lehet önmagunkra is vonatkoztatni, extrapolálni a világegyetem összes intelligenciájára (amivel ad egy magyarázatot a Fermi paradoxonra) vagy csak a tech hívők szent gráljára, a mesterséges intelligenciák remélt robbanásszerű fejlődésére. Tehát a válasz: igen 🙂

Comments are closed.