Artificiell intelligens och incitament

Om det är möjligt att utveckla robotar som är smartare än människan, kommer de rådande incitamenten leda till en sådan utveckling. Detta oavsett riskerna som robotarna kanske kommer att utgöra.

Det var tyskarna som tog idén om en monsterlik bomb från en teoretisk tanke till praktisk möjlighet. Hitler startade ett forskningsprojekt för utveckling av kärnvapen 1939, men det mynnade ut i en omprioritering 1942 då resurserna allt mer intensivt började användas på annat håll. Detta visste dock inte de allierade. Tanken på att Hitler skulle utveckla en atombomb före demokratierna var lika verklig som skrämmande. Därför gav alliansens ledande fysiker, däribland Einstein, sitt stöd åt kärnforskning skulle bedrivas också i USA för försöka komma före i utvecklingen (se här och här). Manhattanprojektet bildades. Hade de fortsatt utveckla kärnvapen om de visste att nazisterna så småningom i princip lade ner sina försök? Hade vi då idag haft över tretusen aktiva kärnvapen bara i Ryssland och USA? Så fort tillverkningen av dem möjliggjordes, inleddes en kapplöpning för att också göra det, och det är idag svårt att se att vi någonsin kommer bli av med kärnvapen. I en värld med fiendestater kommer farliga idéer att förverkligas även om varje enskild stat kanske egentligen inte vill förverkliga dem, i rädsla av att de andra fiendestaterna gör det istället.

Även om vi är rädda för potentiellt förödande konsekvenser för en viss, blir det en kapplöpning mot den utvecklingen ändå. Om vi vet eller tror att något farligt utvecklas, är det allra sämst att inte vara först med det, och bara näst sämst att vara först.

Sedan några år har jag varit intresserad av artificiell intelligens och de följderna som dess utveckling får för vår värld.* Med tanke på den exponentiellt ökande tekniska utvecklingen (fördubbling av en transistors kapacitet varannat år enligt Moores lag), vilken bland annat yttrar sig i att datorer sakta men säkert besegrar oss människor på de flesta intellektuellt krävande uppgifterna (schack, Jeopardy, Go), är det rimligt att förvänta oss att en maskin snart kommer uppnå så kallad artificiell generell intelligens, dvs. att intelligensen inte bara är högre än människans inom ett visst specifikt område utan rent generellt inom alla områden. Om vi når en sådan punkt där en maskin är bättre än en människa på allt, kommer den maskinen också vara bättre än vi på att tillverka smarta maskiner, varför den i sin tur kan utveckla en smartare kopia av sig själv. Enligt ett resonemang skulle den nya, smartare kopian i sin tur kunna göra en ännu smartare kopia på sig själv, och så vidare i all oändlighet. En intelligensexplosion, ofta kallad ”singulariteten”, inträffar. Hur långt denna intelligens kan nå vet vi inte, ej heller hur snabbt det kan ske, eller när. Vi vet inte om människan är nära en övre gräns för intelligens, om det ens finns en sådan, men det finns egentligen ingen anledning att tro att vi är det. Det finns inget som säger att det är omöjligt att en framtida maskins intelligens kan stå i relation till människans intelligens på det sätt vår intelligens står till en myras intelligens, eller ännu mer avlägset. Detta scenario kan sammanfattas med detta välkända citat från I. J. Good:

”Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.”

Som detta citat antyder, finns det problem med en sådan utveckling. Utvecklingen av artificiell intelligens kan potentiellt visserligen leda till extremt positiva konsekvenser: om en extremt intelligent och effektiv robot kan processera information en miljon gånger snabbare än människan, kan den potentiellt också lösa våra utmaningar en miljon gånger fortare, och frågor som global uppvärmning, cancer, fattigdom och liknande kanske blir en barnlek att lösa. Å andra sidan kan utvecklingen också ha potentiellt förödande konsekvenser, som i värsta fall leder till mänsklighetens utrotning. På samma sätt som det inte nödvändigtvis finns ett samband mellan vår intelligensnivå och någon maximal intelligensnivå, finns det inte nödvändigtvis ett samband mellan intelligens och moral, eller intelligens och mål. Vad kommer en superintelligent robot ha för moral och mål? Kommer de stämma överens med våra, eller ens tolerera vår existens? Vi vet det inte. En invändning mot detta är att vi bara ”slår av” maskinen i så fall. På det kan man svara: vad är anledningen till att människor härskar över schimpanser, och inte tvärtom? Schimpanser är starkare än människor, och kan ”slå av” oss genom att exempelvis strypa oss. Svaret är att vi är smartare och kan förutse vad en schimpans kan göra innan den gör det, så vi bygger burar som hindrar dem från att slå av oss (detta resonemang har jag lånat från Nick Bostrom, som återfinns som video bland länkarna längst ner på denna sida). På samma sätt skulle en superintelligent robot kunna förutse vad vi vill göra, och manipulera oss så att de får oss dit vi vill. Det här kallas kontrollproblemet.

Incitament och artificiell intelligens
Kommer människan utveckla en sådan robot, med tanke på dessa risker? Det är här våra incitament ställer till det. Tänk tillbaka på atombomben. Även om vi är rädda för potentiellt förödande konsekvenser för en viss uppfinning, blir det en kapplöpning till att uppfinna den ändå. Om vi vet eller tror att något farligt utvecklas, är det allra sämst att inte vara först med det, och bara näst sämst att vara först. Bäst är det naturligtvis om utvecklingen inte sker, men man kan inte styra vad andra gör och inte gör. För det första belönas forskare av framgång inom sitt fält. Redan där har de ett incitament att utveckla så bra intelligens så fort det går, också med tanke på alla fantastiska saker vår teknologi idag bidrar med i vårt samhälle. Men även om vi inkluderar de framtida riskerna, kommer forskare x hellre utveckla en potentiellt farlig robot än att låta forskare y göra detsamma. Gör inte x det idag, kommer y göra det imorgon ändå. Detta gäller på nationell nivå också. USA ser hellre en amerikansk superdator med kapacitet för världsherravälde, än en kinesisk, och kineserna ser hellre en kinesisk än en amerikansk. Precis som med kärnvapen, blir det en snabb kapplöpning mot mål oavsett vilken utvecklingstakt som egentligen är optimal. Den optimala utvecklingstakten av artificiell intelligens hade kanske varit att avväga riskerna och fördelarna med en sådan utveckling, dvs. att ta det försiktigt.

Begreppet allmänningens tragedi beskriver ett oönskat scenario som uppstår trots att ingen vill att det ska uppstå. Anledningen till att det ändå uppstår är att varje individs incitament går tvärtemot det gemensamt optimala incitamentet. Om det blir svårare att få fisk i en sjö till följd av överfiske, kommer fiskarna inte sluta fiska utan tvärtom kanske fiska ännu mer för att försäkra sig om tillräcklig fångst, vilket leder till att sjön ännu snabbare blir överfiskad. Det optimala hade varit att gemensamt bestämma att fisket begränsas. Alla vill ha en säkrare värld, och därför rustar alla upp med kärnvapen och följden blir istället en mindre säker värld. För en utvecklare av artificiell intelligens hade kanske det bästa varit att lägga ner en stor del av sin forskning på arbete med riskhantering, som kontrollproblemet, men det gör man kanske inte eftersom andra inte gör det, och eftersom man vill komma först i ett scenario där vinnaren tar allt.

Testet av atombomben Trinity i New Mexico, juli 1945.
Testet av atombomben Trinity i New Mexico, juli 1945.

Jag kommer skriva mer om artificiell intelligens, men för de som genast vill läsa mer på området kan jag rekommendera några interentsidor och böcker, videos och podcasts. Den som känner sig skeptisk till riskerna får väldigt gärna komma med invändningar i mitt kommentarsfält om varför ett pessimistiskt scenario är långsökt. Förslag på hur man kan styra bort incitamenten för att undvika allmänningens tragedi mottages också varmt.

Tips till den intresserade


Fotnot
* Jag ser en tämligen stor lucka mellan de som hört och köpt konceptet om AI och singulariteten, och de som aldrig ägnat det en tanke. De som intresserar sig för ämnet tenderar att ha absorberats ganska mycket av det och tänkt och läst mycket kring det, medan de som inte har det inte vet nästan någonting alls, utan ofta avfärdar det som nonsens. Därför är det en balansgång att skriva om det: för de redan invigda finns det inte mycket att säga om man själv inte kan väldigt mycket på området, medan de som inte är invigda först måste övertygas om att ämnet faktiskt har viss relevans, och inte bara är galenskap eller science fiction. Man märker dock att ämnet AI har gått från att i princip enbart framställas som dystopisk science fiction (typ ”Terminator”), till att börja inta en mer realistisk beskrivning av en inte alltför avlägsen framtid, bland annat genom filmatiseringar som ”Ex Machina”, ”Her”, eller den suveräna svenska serien ”Äkta människor”. Men även om temat ofta tas upp, pratas det väldigt lite i normala umgängeskretsar om detta, och även i politiken. AI tas fortfarande inte riktigt på allvar, kan tyckas.

Annonser

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s