Även om OpenAI leder vägen för generativ AI-utveckling, har många anklagat Google för att släpa efter. Men för att inte överträffa lanserade Google en ny stor språkmodell, PaLM 2, på sin Google I/O-konferens 2023.
Googles nya LLM kommer att komma i fyra olika storlekar för en rad applikationer. Googles nya LLM driver tydligen redan flera Google-tjänster, med mycket mer att komma.
Vad är PaLM 2?
På Google I/O 2023, som hölls den 10 maj, avslöjade Googles vd Sunda Pichai Googles senaste leksak: PALM 2.
Förkortning för Pathways Language Model 2, Googles uppgraderade LLM är den andra iterationen av PaLM, med den första versionen som lanserades redan i april 2022. Kommer du inte ihåg PaLM? Tja, på den tiden var det stora nyheter och fick massor av intresse för sin förmåga att konversera lite, berätta grundläggande skämt och så vidare. Snabbspola framåt sex månader, och OpenAI: s GPT-3.5 blåste upp allt ur vattnet, inklusive PaLM.
Sedan dess, OpenAI lanserade GPT-4, en massiv uppgradering av GPT-3.5. Men medan den nyare modellen integreras i många verktyg, framför allt Microsofts Bing AI Chat, tar Google sikte på OpenAI och GPT-4 med PaLM 2 och hoppas att dess uppgraderade LLM kan täppa till vad som verkade vara en betydande lucka – lanseringen av Google Bard var knappast ett rytande Framgång.
Pichai meddelade att PaLM 2 kommer i fyra olika modellstorlekar: Gecko, Otter, Bison och Unicorn.
Gecko är så lätt att den kan fungera på mobila enheter och är tillräckligt snabb för fantastiska interaktiva applikationer på enheten, även när den är offline. Denna mångsidighet innebär att PaLM 2 kan finjusteras för att stödja hela klasser av produkter på fler sätt, för att hjälpa fler människor.
Med Gecko som kan bearbeta cirka 20 tokens per sekund – tokens är de värden som tilldelas riktiga ord för användning av generativa AI-modeller – ser det troligt ut att bli en spelväxlare för mobila utplacerbara AI-verktyg.
PaLM 2 träningsdata
Google var inte precis på plats med PaLM 2:s träningsdata, förståeligt med tanke på att den precis släpptes. Men Googles PaLM 2-rapport [PDF] sa att den ville att PaLM 2 skulle ha en djupare förståelse för matematik, logik och naturvetenskap, och att en stor del av dess utbildningskorpus fokuserade på dessa ämnen.
Ändå är det värt att notera att PaLM inte var något slarvigt. När Google avslöjade PaLM, det bekräftade att det tränades på 540 miljarder parametrar, vilket vid den tiden var en kolossal siffra.
OpenAI: s GPT-4 påstås använda över en biljon parametrar, med vissa spekulationer som satte den siffran så hög som 1,7 biljoner. Det är ett säkert kort att eftersom Google vill att PaLM 2 ska konkurrera direkt med OpenAI: s LLM: er, kommer den åtminstone att ha en jämförbar siffra, om inte mer.
En annan betydande ökning av PaLM 2 är dess språkträningsdata. Google har utbildat PaLM 2 i över 100 språk för att ge den större djup och kontextuell förståelse och öka dess översättningskapacitet.
Men det är inte bara talade språk. LLM har länkat till Googles krav på PaLM 2 för att leverera bättre vetenskapliga och matematiska resonemang. också utbildats i mer än 20 programmeringsspråk, vilket gör det till en fenomenal tillgång för programmerare.
PaLM 2 driver redan Googles tjänster – men kräver fortfarande finjustering
Det kommer inte att dröja länge innan vi kan lägga vantarna på PaLM 2 och se vad den kan göra. Med lite tur kommer lanseringen av alla PaLM 2-applikationer och tjänster att bli bättre än Bard.
Men du kanske (tekniskt sett!) redan har använt PaLM 2. Google bekräftade att PaLM 2 redan är utplacerad och används i 25 av dess produkter, inklusive Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets och mer.
Men PaLM 2-rapporten avslöjar också att det fortfarande finns arbete att göra, särskilt mot giftiga reaktioner på en rad olika språk.
Till exempel, när specifikt ges toxiska uppmaningar, genererar PaLM 2 toxiska svar mer än 30 procent av tiden. Dessutom, på specifika språk – engelska, tyska och portugisiska – gav PaLM 2 mer giftiga svar än 17 procent av tiden, med uppmaningar inklusive rasidentiteter och religioner som driver den siffran högre.
Oavsett hur mycket forskare försöker rensa LLM-träningsdata är det oundvikligt att vissa kommer att glida igenom. Nästa fas är att fortsätta träna PaLM 2 för att minska dessa toxiska reaktioner.
Det är en boomperiod för stora språkmodeller
OpenAI var inte först med att lansera en stor språkmodell, men dess GPT-3-, GPT-3.5- och GPT-4-modeller tände utan tvekan det blå pekpappret på generativ AI.
Googles PaLM 2 har några problem att reda ut, men att den redan används i flera Google-tjänster visar det förtroende företaget har för sin senaste LLM.