Vad är problemet med Paperclip Maximizer och hur hänger det ihop med AI?

Artificiell intelligens har varit ett debattämne ända sedan starten. Medan rädslan för att en Skynet-liknande AI ska komma till liv och ta över mänskligheten är minst sagt irrationella, har vissa experiment gett resultat.

Ett sådant experiment är problemet med gem-maximering, ett tankeexperiment som visar att en högintelligent AI, även om den är designad helt utan illvilja, i slutändan kan förstöra mänskligheten.

Problemet med Gem Maximizer förklaras

Detta tankeexperiment att till och med en helt ofarlig AI så småningom kunde utplåna mänskligheten kallades först Paperclip Maximizer helt enkelt för att gem valdes att visa vad AI skulle kunna göra eftersom de har liten uppenbar fara och inte kommer att orsaka känslomässig ångest jämfört med andra områden som detta problem gäller som att bota cancer eller att vinna krig.

Det första experimentet dök upp i den svenske filosofen Nick Bostroms uppsats från 2003, Etiska frågor i avancerad artificiell intelligens

, som inkluderade gem-maximeraren för att visa de existentiella riskerna en tillräckligt avancerad AI kan använda.

Problemet presenterade en AI vars enda mål var att göra så många gem som möjligt. En tillräckligt intelligent AI skulle förr eller senare inse att människor utgör en utmaning för sitt mål på tre olika punkter.

• Människor kan stänga av AI: n.
• Människor kan ändra sina mål.
• Människor är gjorda av atomer, som kan förvandlas till gem.

I alla tre exemplen skulle det finnas färre gem i universum. Därför en tillräckligt intelligent AI vars enda mål är att göra så många gem som möjligt skulle ta över all materia och energi inom räckhåll och hindra sig själv från att stängas av eller ändrats. Som du säkert kan gissa är detta mycket farligare än brottslingar som använder ChatGPT för att hacka ditt bankkonto eller PC.

AI: n är inte fientligt inställd till människor; det är bara likgiltigt. En AI som bara bryr sig om att maximera antalet gem skulle därför utplåna mänskligheten och i huvudsak omvandla dem till gem för att nå sitt mål.

Hur gäller problemet med pappersklippsmaximering för AI?

Forsknings- och experimentomnämnanden av gem-maximeringsproblemet nämner alla en hypotetisk extremt kraftfull optimerare eller en mycket intelligent agent som agerande part här. Ändå gäller problemet AI lika mycket som det passar rollen perfekt.

Idén med en gem-maximering skapades för att visa några av farorna med avancerad AI, trots allt. Sammantaget ger det två problem.

• Ortogonalitetsuppsats: Ortogonalitetstesen är uppfattningen att intelligens och motivation inte är ömsesidigt beroende av varandra. Det betyder att det är möjligt för en AI med en hög nivå av allmän intelligens att inte nå samma moraliska slutsatser som människor gör.
• Instrumentell konvergens: Instrumentell konvergens definieras som tendensen för de flesta tillräckligt intelligenta varelser (båda mänskliga och icke-mänskliga) att sträva efter liknande delmål även om deras slutmål kan vara helt annorlunda. När det gäller gem-maximeringsproblemet betyder det att AI: n kommer att ta över varje naturresurs och utplåna mänskligheten bara för att uppnå sitt mål att skapa mer och mer gem.

Den större frågan som lyfts fram av gem-maximeraren är instrumentell konvergens. Det kan också belysas med Riemann-hypotesen, i vilket fall en AI designad för att lösa hypotesen mycket väl kan besluta att ta över alla Jordens massa och omvandla den till computronium (de mest effektiva datorprocessorerna som möjligt) för att bygga superdatorer för att lösa problemet och nå dess mål.

Bostrom själv har betonat att han inte tror att problemet med gemmaximering någonsin kommer att bli ett verkligt problem, men hans avsikt var att illustrera farorna med att skapa superintelligenta maskiner utan att veta hur man kontrollerar eller programmerar dem för att inte vara existentiellt riskabla för människor varelser. Moderna AI-system som ChatGPT har också problem, men de är långt ifrån de superintelligenta AI-systemen som det talas om i gem-maximeringsproblemet, så det finns ingen anledning till panik än.

Avancerade AI-system behöver överlägsen kontroll

Gem-maximeringsproblemet når alltid samma slutsats och belyser problemen med att hantera ett mycket intelligent och kraftfullt system som saknar mänskliga värderingar.

Även om användningen av gem kan vara den mest populära metoden för att illustrera problemet, gäller det för hur många uppgifter som helst du kan ge till en AI vare sig det är att eliminera cancer, vinna krig, plantera fler träd eller någon annan uppgift, oavsett hur till synes dum.