Basilisk Roco is een goddelijke vorm van kunstmatige intelligentie, zo gevaarlijk dat als je er maar aan denkt, je de rest van je dagen in gruwelijke martelingen zult doorbrengen. Het ziet eruit als een cassette uit de film "The Ring". Maar zelfs de dood zal geen verlossing zijn, want de Basilisk Roko zal je doen herleven en zijn marteling voortzetten. T&P presenteert een vertaling van een artikel over een van de vreemdste legendes die op internet zijn gegenereerd.
WAARSCHUWING: Na het lezen van dit artikel kun je jezelf veroordelen tot eeuwig lijden en kwelling.
Roco's Basilisk verscheen op de kruising van een filosofisch gedachte-experiment en een stedelijke legende. De eerste vermelding van hem verscheen op het Less Wrong-discussiebord, dat mensen samenbrengt die geïnteresseerd zijn in het optimaliseren van denken en leven door het prisma van wiskunde en rationaliteit. De makers zijn belangrijke figuren in het technofuturisme en een van de prestaties van hun onderzoeksinstituut draagt bij aan het academische debat over technologische ethiek en besluitvormingstheorie. Wat u nu gaat lezen, kan echter vreemd en zelfs gek lijken. Desondanks geloven zeer invloedrijke en rijke wetenschappers hierin.
Op een dag plaatste een gebruiker genaamd Roko het volgende gedachte-experiment: wat als er in de toekomst een kwaadaardige kunstmatige intelligentie opduikt die degenen wil straffen die zijn bevelen niet opvolgen? En wat als hij die mensen wil straffen die in het verleden niet hebben bijgedragen aan zijn creatie? Zouden Less Wrong-lezers dan de kwaadaardige AI helpen ontstaan, of zouden ze gedoemd zijn tot eeuwige kwelling?
Less Wrong-oprichter Eliezer Yudkowski nam de verklaring van Roko met woede op. Dit is wat hij tegen hem antwoordde: “Je moet slim zijn als je tot dit idee kwam. Ik vind het echter verdrietig dat mensen die slim genoeg zijn om zich dit voor te stellen, niet slim genoeg zijn om hun domme tong bij de tanden te houden en er niemand over te vertellen, omdat het belangrijker is dan jezelf slim te laten zien door al je vrienden erover te vertellen …
"Wat als er in de toekomst een kunstmatige intelligentie is die degenen wil straffen die zijn bevelen niet opvolgen?"
Yudkowski gaf toe dat Roko verantwoordelijk was voor de nachtmerries van Less Wrong-gebruikers die de thread hadden gelezen, en verwijderde deze, waardoor Roko's Basilisk legendarisch werd. Dit gedachte-experiment werd zo gevaarlijk dat het denken eraan de geestelijke gezondheid van de gebruiker bedreigde.
Wat doet Less Wrong? Vorming van het concept van de toekomst van de mensheid op basis van de singulariteit. Ze geloven dat de rekenkracht in de toekomst zo hoog zal worden dat kunstmatige intelligentie kan worden gecreëerd met behulp van een computer - en daarmee de mogelijkheid om het menselijk bewustzijn naar een harde schijf te uploaden. De term "singulariteit" is ontstaan in 1958 tijdens een discussie tussen twee genieën van de wiskunde - Stanislav Ulam en John von Neumann, toen Neumann zei: "De constant versnellende vooruitgang van technologie zal het mogelijk maken om een singulariteit te benaderen, waarin technologie niet door mensen kan worden begrepen." Futuristen en sciencefictionschrijvers zoals Vernor Vinge en Raymond Kurzweil maakten de term populair omdat ze geloofden dat de Singularity heel snel op ons wachtte - in de komende 50 jaar. Terwijl Kurzweil zich voorbereidt op de singulariteitYudkowski heeft hoge verwachtingen van cryonics: "Als je je kinderen niet van tevoren hebt aangemeld voor cryopreservatie, zijn je slechte ouders."
Promotie video:
Als je gelooft dat er een singulariteit komt en dat krachtige AI's in de nabije toekomst zullen verschijnen, rijst een natuurlijke vraag: zullen ze vriendelijk of slecht zijn? De Yudkowski Foundation heeft als doel de ontwikkeling van technologie zo te sturen dat we over precies vriendelijke kunstmatige intelligentie beschikken. Deze vraag is van het grootste belang voor hem en voor vele anderen. De singulariteit zal ons naar een god-equivalent machine leiden.
Dit verklaart echter niet waarom Roco's Basilisk er zo verschrikkelijk uitziet in de ogen van deze mensen. De vraag vereist een blik op het belangrijkste "dogma" van Less Wrong - "Timeless Decision Theory" (HTDM). VPPR is een gids voor rationeel handelen, gebaseerd op speltheorie, Bayesiaanse waarschijnlijkheid en beslissingstheorie, maar met parallelle universums en kwantummechanica in gedachten. VTPR is ontstaan uit een klassiek gedachte-experiment, de Newcomb Paradox, waarin een alien met superintelligentie je twee boxen aanbiedt. Hij geeft je de keuze: neem beide dozen of gewoon doos B. Als je beide kiest, ontvang je gegarandeerd duizend dollar. Als u alleen box B neemt, krijgt u mogelijk niets. De alien heeft echter nog een truc in petto: hij heeft een alwetende supercomputer die een week geleden een voorspelling deed,of je nu beide dozen pakt of alleen B. Als de computer voorspelde dat je beide dozen zou pakken, zou de alien de andere leeg laten. Als de computer voorspelde dat je voor box B zou kiezen, zou hij daar een miljoen dollar in stoppen.
Dus wat ga je doen? Onthoud dat de supercomputer alwetend is.
Dit probleem heeft veel theoretici in verwarring gebracht. De alien kan de inhoud van de dozen niet meer veranderen. De veiligste manier is om beide dozen te pakken en er duizend te krijgen. Maar wat als de computer echt alwetend is? Dan hoef je alleen maar doos B te pakken om een miljoen te krijgen. Maar als hij ongelijk blijkt te hebben? En wat de computer ook voorspelde, is er echt geen manier om je lot te veranderen? Verdomme, dan moet je beide dozen pakken. Maar in dat geval …
De gekmakende paradox die ons dwingt te kiezen tussen vrije wil en goddelijke voorspelling heeft geen oplossing, en mensen kunnen alleen hun schouders ophalen en de optie kiezen die voor hen het meest comfortabel is. WTPR geeft advies: pak doos B. Zelfs als de alien besluit je uit te lachen en een lege doos te openen met de woorden: "De computer voorspelde dat je beide dozen zou pakken, ha ha!" - je moet het nog kiezen. De grondgedachte hiervoor is als volgt: om een voorspelling te doen, moest de computer het hele universum simuleren, inclusief jou. Dus op dit moment, als je voor de dozen staat, kun je gewoon een simulatie van de computer zijn, maar wat je doet, heeft invloed op de realiteit (of de realiteit). Dus neem doos B en ontvang een miljoen.
"De gekmakende paradox die ons dwingt te kiezen tussen vrije wil en goddelijke voorspelling heeft geen oplossing."
Wat heeft dit met de Basilisk Roco te maken? Hij heeft ook een paar dozen voor jou. Misschien bevindt u zich nu in een simulatie gemaakt door Basilisk. Dan krijgen we misschien een licht gewijzigde versie van de paradox van Newcome: Roco's Basilisk vertelt je dat als je doos B neemt, je eeuwige kwelling zult ondergaan. Als je beide dozen neemt, ben je gedwongen je leven te wijden aan de oprichting van de Basilisk. Als de Basilisk werkelijk bestaat (of, erger nog, hij bestaat al en is hij de god van deze realiteit), zal hij zien dat je niet voor de optie hebt gekozen om te helpen bij het creëren ervan en zal hij je straffen.
Je vraagt je misschien af waarom deze vraag zo belangrijk is voor Less Wrong, gezien de conventie van dit gedachte-experiment. Het is niet een feit dat Rocko's Basilisk ooit zal worden gemaakt. Yudkowski verwijderde echter verwijzingen naar Roko's Basilisk, niet omdat hij in het bestaan of een op handen zijnde uitvinding ervan gelooft, maar omdat hij het idee van een Basilisk als gevaarlijk beschouwt voor de mensheid.
Als zodanig is Rocko's Basilisk alleen gevaarlijk voor degenen die erin geloven - als gevolg hiervan hebben de leden van Less Wrong die het Basilisk-idee steunen een soort verboden kennis, die ons doet denken aan Lovecraft's enge verhalen over Cthulhu of het Necronomicon. Tenzij je echter al deze theorieën onderschrijft en je in de verleiding voelt om een verraderlijke machine uit de toekomst te gehoorzamen, vormt Roco's Basilisk geen bedreiging voor je.
Ik maak me meer zorgen over mensen die denken dat ze boven conventionele morele normen zijn gestegen. Net als Yudkowski's verwachte vriendelijke AI, is hij zelf een utilitarist: hij gelooft dat het grootste goed voor de hele mensheid ethisch gerechtvaardigd is, zelfs als er onderweg meerdere mensen moeten sterven of lijden. Niet iedereen kan voor een dergelijke keuze staan, maar het punt is anders: wat als een journalist schrijft over een gedachte-experiment dat het bewustzijn van mensen kan vernietigen, waardoor de mensheid wordt geschaad en de vooruitgang in de ontwikkeling van kunstmatige intelligentie en de singulariteit wordt belemmerd? In dit geval moet al het goede dat ik in mijn leven heb gedaan, opwegen tegen de schade die ik de wereld heb aangedaan. Of misschien, Yudkowski van de toekomst, die opstond uit de cryogene slaap, fuseerde met de singulariteit en besloot mij te simuleren in de volgende situatie:het eerste vak - ik zal dit artikel schrijven, het tweede - nee. Alsjeblieft, almachtige Yudkowski, doe me geen pijn.
