ChatGPT är OpenAI: s omvälvande AI-chatbot som håller internet förvånad. Mot alla etablerade tekniska trender har det inte tagit lång tid för ChatGPT att hitta vägen till nästan alla områden i vårt digitala liv.
Väldigt få tekniska innovationer har väckt så mycket intresse som ChatGPT har uppnått på så kort tid. Det verkar aldrig bli slut på coola trick – varje dag lär vi oss om spännande nya saker som vi inte visste att den kunde göra.
Men hur kan ChatGPT göra de saker den kan göra? Hur fungerar ChatGPT?
Hur byggdes ChatGPT?
För att förstå hur ChatGPT fungerar är det värt att titta på dess ursprung och hjärnan bakom den banbrytande AI-chatboten.
För det första, hur magiskt ChatGPT än kan tyckas, byggdes det av människors geni, precis som all värdefull mjukvaruteknik där ute. OpenAI skapade ChatGPT, det revolutionerande AI-forsknings- och utvecklingsföretaget bakom andra kraftfulla AI-verktyg som DALL-E, InstructGPT och Codex. Vi har svarat tidigare
några frågor du kan ha om ChatGPT, så ta en titt.Medan ChatGPT blev viralt mot slutet av 2022, har det mesta av den underliggande tekniken som driver ChatGPT funnits mycket längre, men med mycket mindre publicitet. ChatGPT-modellen är byggd ovanpå GPT-3 (eller, mer specifikt, GPT-3.5). GPT står för "Generative Pre-trained Transformer 3."
GPT-3 är den tredje iterationen av GPT-serien av AI-modeller och föregicks av GPT-2 och GPT. Tidigare iterationer av GPT-modellerna är lika användbara, men GPT-3 och den finjusterade GPT-3.5-iterationen är mycket kraftfullare. Det mesta av vad ChatGPT kan göra beror på den underliggande GPT-3-tekniken.
Vad är GPT?
Så vi har konstaterat att ChatGPT bygger på den tredje generationen av GPT-modellen. Men vad är GPT egentligen?
Låt oss börja med att packa upp akronymerna på ett lättsmält och icke-tekniskt sätt.
- "Generativ" i GPT representerar dess förmåga att generera naturligt mänskligt språktext.
- Den "förtränade" representerar det faktum att modellen redan har tränats på någon ändlig datamängd. Ungefär som att du skulle läsa en bok eller kanske flera böcker innan du blev ombedd att svara på frågor om den.
- "Transformatorn" representerar den underliggande maskininlärningsarkitekturen som driver GPT.
Nu, sammanställt, är Generative Pre-trained Transformer (GPT) en språkmodell som har varit tränad att använda data från internet i syfte att generera text på mänskligt språk när den presenteras med en prompt. Så vi har upprepade gånger sagt att GPT tränades, men hur tränades det?
Hur tränades ChatGPT?
ChatGPT i sig tränades inte från grunden. Istället är det en finjusterad version av GPT-3.5, som i sig är en finjusterad version av GPT-3. GPT-3-modellen tränades med en enorm mängd data som samlats in från internet. Tänk på Wikipedia, Twitter och Reddit – det matades med data och mänsklig text skrapad från alla hörn av internet.
Om du undrar hur GPT-träning fungerar, tränades GPT-3 med en kombination av övervakat lärande och förstärkningsinlärning genom mänsklig feedback (RLHF). Övervakat lärande är det skede där modellen tränas på en stor datauppsättning av text skrapad från internet. Förstärkningsinlärningsstadiet är där det tränas för att producera bättre svar som överensstämmer med vad människor skulle acceptera som både mänskligt och korrekt.
Utbildning med övervakat lärande
För att bättre förstå hur övervakat och förstärkande lärande gäller för ChatGPT, föreställ dig ett scenario där en elev får lära sig att skriva en uppsats av en lärare. Övervakat lärande skulle motsvara att läraren ger studenten hundratals uppsatser att läsa. Målet här är att studenten ska lära sig hur en uppsats ska skrivas genom att vänja sig vid tonen, ordförrådet och strukturen i hundratals uppsatser.
Men det kommer att finnas gott och ont bland de hundratals uppsatserna. Eftersom studenten tränades på både bra och dåliga kopior, ibland, kan eleven skriva en dålig uppsats eftersom studenten också matades med dåliga uppsatser någon gång. Det betyder att när eleven blir ombedd att skriva en uppsats kan studenten skriva en kopia som inte är acceptabel eller tillräckligt bra för läraren. Det är här förstärkningsinlärning kommer in.
Träning med förstärkningsinlärning
När läraren konstaterat att eleven förstår de allmänna reglerna för uppsatsskrivning genom att läsa hundratals uppsatser, skulle läraren sedan ge studenten ofta uppsatsskrivande läxor. Därefter skulle läraren ge feedback på uppsatsen och berätta för eleverna vad de gjorde bra och vad de kunde förbättra. Eleven använder feedbacken för att vägleda efterföljande uppsatsskrivande läxor, vilket hjälper eleven att förbättras över tid.
Detta liknar förstärkningsinlärningsstadiet för att träna GPT-modellen. Efter att ha matats med en enorm mängd text skrapad från internet kan modellen svara på frågor. Dess noggrannhet kommer dock inte att vara tillräckligt bra. Mänskliga tränare ställer en fråga till modellen och ger feedback om vilket svar som är mer lämpligt för varje fråga.
Modellen använder feedback för att förbättra sin förmåga att svara på frågor mer exakt och mer som hur en människa skulle svara. Det är så ChatGPT kan generera mänskligt klingande svar som är både sammanhängande, engagerande och generellt korrekta.
Hur kan ChatGPT svara på frågor?
Så du besöker ChatGPT-webbplatsen och loggar in. Du uppmanar ChatGPT: "skriv en raplåt i stil med Snoop Dogg." Den svarar med texter till en raplåt som påfallande liknar vad Snoop Dogg skulle skriva. Hur är detta möjligt?
Tja, "magin" bakom ChatGPT hänger väl samman med träningen.
Efter att ha täckt varje tum av din Physics 101 lärobok, finns det en god chans att du kommer att kunna svara på alla frågor från den som ställs till dig. Varför? För du har läst den, och du har lärt dig den. Det är samma sak med ChatGPT – det lär sig. Och som den mänskliga civilisationen har visat, med tillräcklig träning, är det möjligt att lösa nästan alla problem.
Även om du förmodligen kan hantera hundratals böcker under din livstid, har ChatGPT eller GPT redan förbrukat en stor del av internet. Det är en enorm mängd information. Där inne, någonstans, finns förmodligen texter till Snoop Doggs många låtar. Så naturligtvis måste ChatGPT ha konsumerat det (kom ihåg att det är förtränat) och känt igen mönster i Snoop Doggs texter. Den skulle sedan använda en "kunskap" om detta mönster för att "förutsäga" texter till en låt som liknar vad Snoop Dogg skulle skriva.
Tonvikten här ligger på "förutsäga". ChatGPT svarar inte på frågor på samma sätt som vi gör som människor. Till exempel när man står inför en fråga som "Vad är Portugals huvudstad?" du kan säga Lissabon och säga det för ett "faktum". ChatGPT svarar dock inte på frågor med 100 % säkerhet. Istället försöker den förutsäga det rätta svaret med tanke på den data den har konsumerat i sin träningsdatauppsättning.
ChatGPT: s tillvägagångssätt för att svara på frågor
För att bättre förstå konceptet med att förutsäga svar, föreställ dig att ChatGPT är en detektiv med uppgift att lösa ett mord. Detektiven får bevis, men de vet inte vem som begick mordet och hur det gick till. Men med tillräckligt med bevis kan detektiven "förutse" med stor noggrannhet vem som är ansvarig för mordet och hur brottet begicks.
Efter att ha förbrukat data från internet kasserar ChatGPT originaldata och lagrar neurala anslutningar eller mönster som den har lärt sig från data. Dessa kopplingar eller mönster är som bevis som ChatGPT analyserar när det försöker svara på en uppmaning.
Så i teorin är ChatGPT som en mycket bra detektiv. Den vet inte säkert vad fakta i ett svar bör vara, men den försöker, med imponerande noggrannhet, för att förutsäga en logisk sekvens av text på mänskligt språk som mest lämpligt skulle svara på fråga. Så får du svar på dina frågor.
Och det är också därför som några av dessa svar ser väldigt övertygande ut men är väldigt felaktiga.
ChatGPT: Svarar som en människa, tänker som en maskin
De underliggande tekniska detaljerna i ChatGPT är komplexa. Men ur en rudimentär synvinkel fungerar den genom att lära sig och reproducera vad den har lärt sig när den uppmanas, precis som vi gör som människor.
När ChatGPT utvecklas genom forskning kan sättet det fungerar förändras. Dess grundläggande arbetsprinciper kommer dock att förbli desamma ett tag, åtminstone tills en ny störande teknik kommer.