Stora språkmodeller (LLM) är den underliggande tekniken som har drivit den snabba ökningen av generativa AI-chatbotar. Verktyg som ChatGPT, Google Bard och Bing Chat är alla beroende av LLM: er för att generera mänskliga svar på dina uppmaningar och frågor.

Men vad är LLM och hur fungerar de? Här satte vi oss för att avmystifiera LLM.

Vad är en stor språkmodell?

I sina enklaste termer är en LLM en enorm databas med textdata som kan refereras för att generera mänskliga svar på dina uppmaningar. Texten kommer från en rad källor och kan uppgå till miljarder ord.

Bland vanliga källor för textdata som används är:

  • Litteratur: LLM innehåller ofta enorma mängder samtida och klassisk litteratur. Detta kan inkludera böcker, poesi och pjäser.
  • Onlineinnehåll: En LLM kommer oftast att innehålla ett stort lager av onlineinnehåll, inklusive bloggar, webbinnehåll, forumfrågor och svar och annan onlinetext.
  • Nyheter och aktualiteter: Vissa, men inte alla, LLM: er kan komma åt aktuella nyhetsämnen. Vissa LLM, som GPT-3.5, är begränsade i denna mening.
    • instagram viewer
  • Sociala media: Sociala medier representerar en enorm resurs av naturligt språk. LLM: er använder text från stora plattformar som Facebook, Twitter och Instagram.

Naturligtvis är att ha en enorm databas med text en sak, men LLM: er måste tränas för att förstå det för att producera mänskliga svar. Hur det går till detta är vad vi tar upp härnäst.

Hur fungerar LLMs?

Hur använder LLM: er dessa förråd för att skapa sina svar? Det första steget är att analysera data med hjälp av en process som kallas djupinlärning.

Deep learning används för att identifiera mönster och nyanser i mänskligt språk. Detta inkluderar att få en förståelse för grammatik och syntax. Men viktigast av allt, det inkluderar också sammanhang. Att förstå sammanhang är en avgörande del av LLMs.

Låt oss titta på ett exempel på hur LLM: er kan använda sammanhang.

Uppmaningen i följande bild nämner att se en fladdermus på natten. Av detta förstod ChatGPT att vi pratade om ett djur och inte, till exempel, ett basebollträ. Naturligtvis gillar andra chatbots Bing Chat eller Google Bard kan svara helt annorlunda på detta.

Det är dock inte ofelbart, och som det här exemplet visar kommer du ibland behöva tillhandahålla ytterligare information för att få önskat svar.

I det här fallet kastade vi medvetet lite av en kurvboll för att visa hur lätt sammanhanget går förlorat. Men människor kan också missförstå frågornas sammanhang, och det behöver bara en extra uppmaning för att korrigera svaret.

För att generera dessa svar använder LLM: er en teknik som kallas naturligt språkgenerering (NLG). Detta innebär att undersöka indata och använda mönstren som lärts från dess datalager för att generera ett kontextuellt korrekt och relevant svar.

Men LLM går djupare än så här. De kan också skräddarsy svar för att passa den känslomässiga tonen i inmatningen. I kombination med kontextuell förståelse är de två aspekterna de viktigaste drivkrafterna som gör att LLM: er kan skapa mänskliga svar.

För att sammanfatta, LLMs använder en massiv textdatabas med en kombination av djupinlärning och NLG-tekniker för att skapa mänskliga svar på dina uppmaningar. Men det finns begränsningar för vad detta kan åstadkomma.

Vilka är begränsningarna för LLM?

LLM representerar en imponerande teknisk bedrift. Men tekniken är långt ifrån perfekt, och det finns fortfarande många begränsningar för vad de kan uppnå. Några av de mer anmärkningsvärda av dessa listas nedan:

  1. Kontextuell förståelse: Vi nämnde detta som något LLM: er införlivar i sina svar. Men de får det inte alltid rätt och kan ofta inte förstå sammanhanget, vilket leder till olämpliga eller helt enkelt felaktiga svar.
  2. Partiskhet: Eventuella fördomar som finns i träningsdata kan ofta finnas i svaren. Detta inkluderar fördomar mot kön, ras, geografi och kultur.
  3. Sunt förnuft: Sunt förnuft är svårt att kvantifiera, men människor lär sig detta från tidig ålder helt enkelt genom att titta på världen omkring dem. LLM har inte denna inneboende erfarenhet att falla tillbaka på. De förstår bara vad som har tillförts dem genom deras träningsdata, och detta ger dem inte en sann förståelse av världen de existerar i.
  4. En LLM är bara så bra som dess träningsdata: Noggrannhet kan aldrig garanteras. Det gamla datorordspråket "Garbage In, Garbage Out" sammanfattar denna begränsning perfekt. LLM: er är bara så bra som kvaliteten och kvantiteten på deras träningsdata tillåter dem att vara.

Det finns också ett argument för att etiska problem kan betraktas som en begränsning av LLM, men detta ämne faller utanför ramen för denna artikel.

3 exempel på populära LLM

Den fortsatta utvecklingen av AI stöds nu till stor del av LLM: er. Så även om de inte precis är en ny teknik, har de verkligen nått en punkt av kritisk fart, och det finns nu många modeller.

Här är några av de mest använda LLM: erna.

1. GPT

Generative Pre-trained Transformer (GPT) är kanske den mest kända LLM. GPT-3.5 driver ChatGPT-plattformen som används för exemplen i den här artikeln, medan den senaste versionen, GPT-4, är tillgänglig genom ett ChatGPT Plus-abonnemang. Microsoft använder också den senaste versionen i sin Bing Chat-plattform.

2. LaMDA

Detta är den första LLM som används av Google Bard, Googles AI-chatbot. Den version som Bard ursprungligen rullades ut med beskrevs som en "lite" version av LLM. Den mer kraftfulla PaLM-iterationen av LLM ersatte detta.

3. BERT

BERT står för Bi-directional Encoder Representation från Transformers. Modellens dubbelriktade egenskaper skiljer sig åt BERT från andra LLM som GPT.

Många fler LLM: er har utvecklats, och utlöpare är vanliga från de stora LLM: erna. När de utvecklas kommer dessa att fortsätta växa i komplexitet, noggrannhet och relevans. Men hur ser framtiden ut för LLM?

LLMs framtid

Dessa kommer utan tvekan att forma hur vi interagerar med teknik i framtiden. Det snabba upptaget av modeller som ChatGPT och Bing Chat är ett bevis på detta faktum. På kort sikt, AI kommer sannolikt inte att ersätta dig på jobbet. Men det finns fortfarande osäkerhet om hur stor roll i våra liv dessa kommer att spela i framtiden.

Etiska argument kanske ännu har att säga till om hur vi integrerar dessa verktyg i samhället. Men om man lägger detta åt sidan, inkluderar några av de förväntade LLM-utvecklingarna:

  1. Förbättrad effektivitet:Med LLM: er med hundratals miljoner parametrar är de otroligt resurshungriga. Med förbättringar av hårdvara och algoritmer kommer de sannolikt att bli mer energieffektiva. Detta kommer också att förkorta svarstiderna.
  2. Förbättrad kontextuell medvetenhet:LLMs är självträning; ju mer användning och feedback de får, desto bättre blir de. Viktigt är att detta är utan någon ytterligare större ingenjörskonst. Allt eftersom tekniken fortskrider kommer detta att se förbättringar i språkkapacitet och kontextuell medvetenhet.
  3. Utbildad för specifika uppgifter: De bästa verktygen som är LLM: s offentliga ansikte utsätts för fel. Men när de utvecklas och användarna utbildar dem för specifika behov, kan LLM spela en stor roll inom områden som medicin, juridik, ekonomi och utbildning.
  4. Större integration: LLM kan bli personliga digitala assistenter. Tänk på Siri på steroider, så förstår du. LLM: er kan bli virtuella assistenter som hjälper dig med allt från att föreslå måltider till att hantera din korrespondens.

Det här är bara några av de områden där LLM sannolikt kommer att bli en större del av vårt sätt att leva.

LLMs som transformerar och utbildar

LLMs öppnar upp en spännande värld av möjligheter. Den snabba ökningen av chatbots som ChatGPT, Bing Chat och Google Bard är bevis på resurserna som hälls ut på fältet.

En sådan spridning av resurser kan bara se att dessa verktyg blir mer kraftfulla, mångsidiga och exakta. De potentiella tillämpningarna för sådana verktyg är enorma, och för närvarande skrapar vi bara på ytan av en otrolig ny resurs.