Google PaLM 2 vs. OpenAI GPT-4: Vad är skillnaden?

Google presenterade nästa generation av sin Pathways Language Model (PaLM 2) den 10 maj 2023 på Google I/O 2023. Dess nya stora språkmodell (LLM) har en hel del förbättringar jämfört med sin föregångare (PaLM) och kan äntligen vara redo att ta sig an sin största rival, OpenAI: s GPT-4.

Men hur mycket förbättring har Google gjort? Är PaLM 2 den skillnad som Google hoppas att den kommer att vara, och ännu viktigare, med så många liknande funktioner, hur skiljer sig PaLM 2 från OpenAI: s GPT-4?

PaLM 2 vs. GPT-4: Prestandaöversikt

PaLM 2 är fullspäckad med nya och förbättrade funktioner över sin föregångare. En av de unika fördelarna som PaLM 2 har jämfört med GPT-4 är det faktum att den finns i mindre storlekar som är specifika för vissa applikationer som inte har lika mycket processorkraft ombord.

Alla dessa olika storlekar har sina egna mindre modeller som kallas Gecko, Otter, Bison och Unicorn, där Gecko är den minsta, följt av Otter, Bison och slutligen Unicorn, den största modellen.

Google hävdar också en förbättring av resonemangskapaciteten jämfört med GPT-4 i WinoGrande och DROP, där de förstnämnda drar en liten marginal i ARC-C. Det finns dock betydande förbättringar över hela linjen när det gäller PaLM och SOTA.

PaLM 2 är också bättre på matematik, enligt Googles 91-sida PaLM 2 forskningsuppsats [PDF]. Hur Google och OpenAI har strukturerat sina testresultat gör det dock svårt att jämföra de två modellerna direkt. Google utelämnade också några jämförelser, troligtvis för att PaLM 2 inte presterade alls lika bra som GPT-4.

I MMLU fick GPT-4 86,4, medan PaLM 2 fick 81,2. Detsamma gäller HellaSwag, där GPT-4 gjorde mål 95,3, men PaLM 2 kunde bara samla 86,8, och ARC-E, där GPT-4 och PaLM 2 fick 96,3 och 89,7, respektive.

Den största modellen i PaLM 2-familjen är PaLM 2-L. Även om vi inte vet dess exakta storlek, vet vi att den är betydligt mindre än den största PaLM-modellen men använder mer träningsdator. Enligt Google, PaLM har 540 miljarder parametrar, så den "betydligt mindre" bör placera PaLM 2 någonstans mellan 10 till 300 miljarder parametrar. Tänk på att dessa siffror bara är antaganden baserade på vad Google har sagt i PaLM 2-dokumentet.

Om detta antal är någonstans nära 100 miljarder eller lägre, är PaLM 2 troligen mindre när det gäller parametrar än GPT-3.5. Att betrakta en modell som potentiellt är under 100 miljarder kan gå tå till tå med GPT-4 och till och med slå den vid vissa uppgifter är imponerande. GPT-3.5 blåste till en början allt ur vattnet, inklusive PaLM, men PaLM 2 har återhämtat sig ganska bra.

Skillnader i GPT-4 och PaLM 2 träningsdata

Även om Google inte har avslöjat storleken på PaLM 2:s utbildningsdatauppsättning, rapporterar företaget i sin forskningsrapport att den nya LLM: s utbildningsdatauppsättning är betydligt större. OpenAI tog också samma tillvägagångssätt när GPT-4 presenterades och gjorde inga påståenden om storleken på träningsdatauppsättningen.

Google ville dock fokusera på en djupare förståelse av matematik, logik, resonemang och vetenskap, vilket innebär att en stor del av PaLM 2:s träningsdata är fokuserad på de ovan nämnda ämnena. Google säger i sin uppsats att PaLM 2:s förutbildningskorpus är sammansatt av flera källor, inklusive webbdokument, böcker, kod, matematik och konversationsdata, vilket ger förbättringar över hela linjen, åtminstone jämfört med Handflatan.

PaLM 2:s konversationsförmåga bör också vara på en annan nivå med tanke på att modellen har tränats på över 100 språk för att ge det en bättre kontextuell förståelse och bättre översättning Förmågor.

Såvitt GPT-4:s träningsdata har bekräftats, har OpenAI berättat för oss att den har tränat modellen med hjälp av allmänt tillgänglig data och de data som den licensierat. GPT-4:s forskningssida säger, "Datan är en webb-skala korpus av data inklusive korrekta och felaktiga lösningar på matematiska problem, svaga och starka resonemang, självmotsägande och konsekventa uttalanden, och representerar en stor variation av ideologier och idéer."

När GPT-4 ställs en fråga kan den producera en mängd olika svar, som inte alla kanske är relevanta för din fråga. För att anpassa det till användarens avsikt finjusterade OpenAI modellens beteende med hjälp av förstärkningsinlärning med mänsklig feedback.

Även om vi kanske inte känner till de exakta träningsdata som någon av dessa modeller tränades på, vet vi att träningens avsikt var väldigt annorlunda. Vi får vänta och se hur denna skillnad i träningsavsikt skiljer sig mellan de två modellerna i en verklig implementering.

Chatbotar och tjänster för PaLM 2 och GPT-4

Den första portalen för att komma åt båda LLM: erna använder sina respektive chatbots, PaLM 2:s Bard och GPT-4:s ChatGPT. Som sagt, GPT-4 ligger bakom en betalvägg med ChatGPT Plus, och gratisanvändare får bara tillgång till GPT-3.5. Bard, å andra sidan, är gratis för alla och tillgänglig i 180 länder.

Därmed inte sagt att du inte kan komma åt GPT-4 gratis heller. Microsofts Bing AI Chat använder GPT-4 och är helt gratis, öppen för alla och tillgänglig precis bredvid Bing Search, Googles största rival i utrymmet.

Google I/O 2023 var fylld med tillkännagivanden om hur PaLM 2 och generativ AI-integration kommer att förbättra Google Workspace erfarenhet av AI-funktioner som kommer till Google Docs, Sheets, Slides, Gmail och nästan alla tjänster som sökjätten erbjuder. Dessutom har Google bekräftat att PaLM 2 redan har integrerats i över 25 Google-produkter, inklusive Android och YouTube.

Som jämförelse har Microsoft redan tagit med AI-funktioner till Microsoft Office-paketet med program och många av dess tjänster. För tillfället kan du uppleva båda LLM: erna i sina egna versioner av liknande erbjudanden från två rivaliserande företag som går head to head i AI-striden.

Men sedan GPT-4 kom ut tidigt och har varit noga med att undvika många av de misstag som Google gjorde med den ursprungliga Bard, har det varit de facto LLM för tredjepartsutvecklare, nystartade företag och nästan alla andra som vill införliva en kapabel AI-modell i sin tjänst så att långt. Vi har en lista över GPT-4-appar om du vill kolla in dem.

Därmed inte sagt att utvecklare inte kommer att byta till eller åtminstone prova PaLM 2, men Google måste fortfarande spela ikapp OpenAI på den fronten. Och det faktum att PaLM 2 är öppen källkod, istället för att vara låst bakom en betald API, betyder att den har potential att bli mer allmänt antagen än GPT-4.

Kan PaLM 2 ta sig an GPT-4?

PaLM 2 är fortfarande väldigt ny, så svaret på om den kan ta emot GPT-4 eller inte återstår att svara på. Men med allt som Google lovar och det aggressiva sätt som de har bestämt sig för att använda för att sprida det, ser det dock ut som att PaLM 2 kan ge GPT-4 en kör för pengarna.

GPT-4 är dock fortfarande en ganska kapabel modell och slår, som tidigare nämnts, PaLM 2 i ganska många jämförelser. Som sagt, PaLM 2:s flera mindre modeller ger den en obestridlig fördel. Gecko i sig är så lätt att den kan fungera på mobila enheter, även när den är offline. Detta innebär att PaLM 2 kan stödja en helt annan klass av produkter och enheter som kan ha svårt att använda GPT-4.

AI-loppet värms upp

Med lanseringen av PaLM2 har kapplöpningen om AI-dominans blivit varmare, eftersom detta kanske bara är den första värdiga motståndaren som går mot GPT-4. Med en nyare multimodal AI-modell kallad "Gemini" som också är under träning, visar Google inga tecken på att sakta ner här.