Varför är ChatGPT-4 så långsam jämfört med ChatGPT-3.5?

Med den senaste versionen av ChatGPT, GPT-4, som släpptes i mars 2023, undrar många nu varför den är så långsam jämfört med sin föregångare, GPT-3.5. Så vad är kärnanledningen här?

Varför är ChatGPT-4 så trögt, och bör du hålla dig till GPT-3.5 istället?

Vad är ChatGPT-4?

ChatGPT-4 är den senaste modellen av OpenAI: s chatbot, allmänt känd som ChatGPT. ChatGPT drivs av artificiell intelligens, vilket gör att den kan svara på dina frågor och uppmaningar mycket bättre än tidigare chatbots. ChatGPT använder en stor språkmodell som drivs av en GPT (Generative Pre-trained Transformer) för att tillhandahålla information och innehåll till användare samtidigt som de kan konversera.

ChatGPT har ett brett utbud av möjligheter, vilket gör det användbart för miljoner. ChatGPT kan till exempel skriva berättelser, formulera skämt, översätta text, utbilda användare och mer. Medan ChatGPT också kan användas för mer olagliga handlingar, som t.ex skapande av skadlig programvara, dess mångsidighet är något revolutionerande.

ChatGPT: s GPT-4-modell släpptes den 14 mars 2023. Den här versionen av ChatGPT är utformad för att bättre förstå känslomässigt språk genom text samtidigt som den bättre förstår olika språkdialekter och bildbehandling. GPT-4 kan också hålla längre konversationer och effektivt svara på längre användarmeddelanden.

Dessutom överstiger GPT-4:s parametrar de för GPT-3.5 i stor utsträckning. ChatGPT: s parametrar avgör hur AI: n bearbetar och reagerar på information. Kort sagt, parametrar avgör vilken skicklighet chatboten har för att interagera med användare. Medan GPT-3.5 har 175 miljarder parametrar, har GPT-4 otroliga 100 biljoner till 170 biljoner (ryktas – OpenAI har inte bekräftat denna siffra).

Det var OpenAI: s GPT-3.5 som användes för att driva ChatGPT, som nu är den mest populära AI-chatboten i världen. Så, GPT-3.5 har gjort ett obestridligt märke i AI-sfären. Men saker och ting går alltid framåt i teknikbranschen, så det är ingen överraskning att GPT-3.5 nu har en efterföljare i GPT-4.

GPT-4 är dock inte på något sätt perfekt. Faktum är att GPT-4:s långa svarstider väcker uppståndelse. Så låt oss titta på det här problemet och varför det kan hända.

ChatGPT-4 är långsam

Många märkte vid lanseringen av GPT-4 att OpenAI: s nya chatbot var otroligt långsam. Detta gjorde massor av användare frustrerade, eftersom GPT-4 var tänkt att vara ett steg upp från GPT-3.5, inte bakåt. Som ett resultat har GPT-4-användare tagit sig till onlineplattformar, såsom Reddit och OpenAI: s community board, för att diskutera frågan.

På OpenAI: s Community Forum, har ett antal användare kommit fram med sina GPT-4-fördröjningsfrustrationer. En användare uppgav att GPT-4 var "extremt långsam" på sin sida och att även små förfrågningar till chatboten resulterade i ovanligt långa förseningar på över 30 sekunder.

Andra användare var snabba med att dela sina erfarenheter av GPT-4, med en kommentar under inlägget att "samma samtal med samma data kan ta upp till 4 gånger långsammare än 3,5 turbo."

I en annan OpenAI Community Forum-inlägg, kommenterade en användare att deras uppmaningar ibland möts av ett "fel i kroppsströmmen" meddelande, vilket resulterar i inget svar. I samma tråd sa en annan person att de inte kunde få GPT-4 att "lyckat svara med en komplett skript." En annan användare kommenterade att de hela tiden stötte på nätverksfel när de försökte använda GPT-4.

Med förseningar och misslyckade eller halvdana svar verkar det som att GPT-4 är full av problem som snabbt avskräcker användare.

Så varför, exakt, händer detta? Är det något fel med GPT-4?

Varför är GPT-4 långsam jämfört med GPT-3.5?

I OpenAI Community Forum-inlägget som refereras till ovan, svarade en användare och antydde att förseningen berodde på ett "aktuellt problem med hela infrastrukturen överbelastning", och tillägger att det finns en utmaning att "ta itu med skalbarhet på så kort tidsram med denna popularitet och antalet användare av både chatt och API."

I en Reddit inlägg uppladdat i r/singularity subreddit, en användare angav några möjliga orsaker till GPT-4s långsamhet, med början med en större kontextstorlek. Inom GPT-ekosystemet avser kontextstorlek hur mycket information en given chatbotversion kan bearbeta och sedan producera information. Medan GPT-3.5:s kontextstorlek var 4K, är GPT-4:s dubbelt så stor. Så att ha en 8K-kontextstorlek kan ha en inverkan på GPT-4:s totala hastigheter.

Reddit-författaren föreslog också att den förbättrade styrbarheten och kontrollen av GPT-4 kan spela en roll i chatbotens behandlingstider. Här konstaterade författaren att GPT-4:s större styrbarhet och kontroll av hallucinationer och olämpliga språket kan vara de skyldiga, eftersom dessa funktioner lägger till extra steg till GPT-4:s bearbetningsmetod information.

Vidare föreslogs att GPT-4:s förmåga att bearbeta bilder kunde sakta ner saker och ting. Denna användbara funktion är älskad av många men kan komma med en hake. Med tanke på att det har ryktats att GPT-4 tar 10-20 sekunder att bearbeta en tillhandahållen bild, finns det en chans att den här komponenten sträcker ut svarstiderna (även om detta inte förklarar förseningarna för användare som endast tillhandahåller textmeddelanden).

Andra användare har föreslagit att det nya med ChatGPT-4 spelar en stor roll i dessa förseningar. Med andra ord, vissa tror att OpenAI: s senaste chatbot behöver uppleva lite växtvärk innan alla brister kan åtgärdas.

Men den största anledningen till att GPT-4 är långsam är antalet parametrar som GPT-4 kan använda jämfört med GPT-3.5. De fenomenal ökning av parametrar betyder helt enkelt att det tar längre tid för den nyare GPT-modellen att bearbeta information och svara exakt. Du får bättre svar med ökad komplexitet, men att ta sig dit tar lite längre tid.

Ska du välja GPT-3.5 framför GPT-4?

Så, med dessa problem i åtanke, bör du använda GPT-3.5 eller GPT-4?

I skrivande stund verkar det som att GPT-3.5 är det snabbare alternativet framför GPT-4. Så många användare har upplevt förseningar att det är troligt att tidsproblemet är närvarande över hela linjen, inte bara med ett fåtal individer. Så om ChatGPT-3.5 för närvarande uppfyller alla dina förväntningar, och du inte vill vänta på ett svar i utbyte mot extra funktioner, kan det vara klokt att hålla fast vid den här versionen tills vidare.

Du bör dock notera att GPT-4 inte bara är GPT-3.5 utan långsammare. Den här versionen av OpenAIs chatbot har många fördelar jämfört med sin föregångare. Om du letar efter en mer avancerad AI-chatbot och inte har något emot att vänta längre på svar kan det vara värt att gå över från GPT-3.5 till GPT-4.

Med tiden kan GPT-4:s förseningar minska eller helt lösas, så tålamod kan vara en dygd här. Oavsett om du försöker byta till GPT-4 nu eller vänta lite längre för att se hur saker och ting ser ut med den här versionen, kan du fortfarande få ut mycket av OpenAI: s fiffiga lilla chatbot.

GPT-4 är mer avancerad men kommer med en fördröjning

Medan GPT-4 har många avancerade funktioner över GPT-3.5, har dess betydande förseningar och svarsfel gjort den oanvändbar för vissa. Dessa problem kan komma att lösas inom en snar framtid, men för närvarande har GPT-4 säkert några hinder att övervinna innan det accepteras i en större skala.