Ska du använda en lokal LLM? 9 För- och nackdelar

Sedan ChatGPTs ankomst i november 2022 har termen stor språkmodell (LLM) snabbt övergått från en nischad term för AI-nördar till ett modeord på allas läppar. Den största tjusningen med en lokal LLM är förmågan att replikera förmågan hos en chatbot som ChatGPT på din dator utan bagaget från en molnbaserad version.

Det finns argument för och emot att sätta upp en lokal LLM på din dator. Vi minskar hypen och ger dig fakta. Ska du använda en lokal LLM?

Fördelarna med att använda lokala LLM: er

Varför är folk så hypade över att sätta upp sina egna stora språkmodeller på sina datorer? Utöver hypen och skryträttigheterna, vilka är några praktiska fördelar?

1. Mindre censur

När ChatGPT och Bing AI först kom online var de saker som båda chatbotarna var villiga att säga och göra lika fascinerande som de var alarmerande. Bing AI agerade varmt och härligt, som om det hade känslor. ChatGPT var villig att använda förbannelseord om du frågade snällt. På den tiden skulle båda chatbotarna till och med hjälpa dig att göra en bomb om du använde rätt uppmaningar. Det här kan låta som alla nyanser av fel, men att kunna göra vad som helst var symboliskt för de obegränsade kapaciteterna hos språkmodellerna som drev dem.

Idag båda chatbots har blivit så hårt censurerade att de inte ens hjälper dig att skriva en fiktiv kriminalroman med våldsscener. Vissa AI-chatbotar pratar inte ens om religion eller politik. Även om LLM: er som du kan sätta upp lokalt inte är helt censurfria, kommer många av dem gärna att göra de tankeväckande saker som de offentliga chatbotarna inte kommer att göra. Så om du inte vill att en robot ska föreläsa dig om moral när du diskuterar ämnen av personligt intresse, kan det vara rätt väg att driva en lokal LLM.

2. Bättre datasekretess

En av de främsta anledningarna till att människor väljer en lokal LLM är att se till att allt som händer på deras dator stannar kvar på deras dator. När du använder en lokal LLM är det som att ha en konversation privat i ditt vardagsrum – ingen utanför kan lyssna in. Oavsett om du experimenterar med dina kreditkortsuppgifter eller har känsliga personliga konversationer med LLM, lagras alla resulterande data endast på din dator. Alternativet är att använda offentligt vända LLMs som GPT-4, vilket ger de ansvariga företagen tillgång till din chattinformation.

3. Offlineanvändning

Eftersom internet är allmänt överkomligt och tillgängligt kan offlineåtkomst tyckas vara en trivial anledning att använda en lokal LLM. Offlineåtkomst kan bli särskilt kritisk på avlägsna eller isolerade platser där internettjänsten är opålitlig eller otillgänglig. I sådana scenarier blir en lokal LLM som fungerar oberoende av en internetanslutning ett viktigt verktyg. Det låter dig fortsätta göra vad du vill utan avbrott.

4. Kostnadsbesparingar

Det genomsnittliga priset för att få tillgång till en kapabel LLM som GPT-4 eller Claude 2 är $20 per månad. Även om det kanske inte verkar vara ett alarmerande pris, får du fortfarande flera irriterande begränsningar för det beloppet. Till exempel, med GPT-4, som nås via ChatGPT, har du fastnat med ett 50-meddelande per tretimmarstak. Du kan bara komma förbi dessa gränser byter till ChatGPT Enterprise-planen, vilket potentiellt kan kosta tusentals dollar. Med en lokal LLM, när du väl har konfigurerat programvaran, finns det inga $20 månadsabonnemang eller återkommande kostnader att betala. Det är som att köpa en bil istället för att förlita sig på samåkningstjänster. Till en början är det dyrt, men med tiden sparar du pengar.

5. Bättre anpassning

Offentligt tillgängliga AI-chatbotar har begränsad anpassning på grund av säkerhets- och censurproblem. Med en lokalt värd AI-assistent kan du helt anpassa modellen för dina specifika behov. Du kan utbilda assistenten på proprietär data som är skräddarsydd för dina användningsfall, vilket förbättrar relevansen och noggrannheten. Till exempel kan en advokat optimera sin lokala AI för att generera mer exakta juridiska insikter. Den viktigaste fördelen är kontroll över anpassning för dina unika krav.

Nackdelarna med att använda lokala LLM

Innan du gör bytet finns det några nackdelar med att använda en lokal LLM du bör överväga.

1. Resursintensiv

För att köra en presterande lokal LLM behöver du avancerad hårdvara. Tänk kraftfulla processorer, mycket RAM och förmodligen en dedikerad GPU. Förvänta dig inte att en budgetbärbar dator på 400 $ ska ge en bra upplevelse. Svaren kommer att vara smärtsamt långsamma, särskilt med större AI-modeller. Det är som att köra banbrytande videospel – du behöver kraftiga specifikationer för optimal prestanda. Du kan till och med behöva specialiserade kyllösningar. Summan av kardemumman är att lokala LLM: er kräver en investering i hårdvara på toppnivå för att få den hastighet och lyhördhet du gillar på webbaserade LLM: er (eller till och med förbättra det). Datorkraven på din sida kommer att vara betydande jämfört med att använda webbaserade tjänster.

2. Långsammare svar och sämre prestanda

En vanlig begränsning för lokala LLM: er är långsammare svarstider. Den exakta hastigheten beror på den specifika AI-modellen och hårdvaran som används, men de flesta inställningar släpar efter onlinetjänster. Efter att ha upplevt omedelbara svar från ChatGPT, Bard och andra kan lokala LLM: er känna sig skrämmande tröga. Ord sipprar långsamt ut mot att snabbt återkomma. Detta är inte allmänt sant, eftersom vissa lokala distributioner ger bra prestanda. Men genomsnittliga användare står inför en brant avhopp från den snabba webbupplevelsen. Så förbered dig på en "kulturchock" från snabba onlinesystem till långsammare lokala motsvarigheter.

Kort sagt, såvida du inte skaffar en absolut top-of-the-line setup (vi pratar AMD Ryzen 5800X3D med en Nvidia RTX 4090 och tillräckligt med RAM-minne för att sänka ett fartyg), kommer den övergripande prestandan för din lokala LLM inte att jämföras med de onlinegenerativa AI-chatbotar du är brukade.

3. Komplex installation

Att distribuera en lokal LLM är mer involverad än att bara registrera dig för en webbaserad AI-tjänst. Med en internetanslutning kan ditt ChatGPT-, Bard- eller Bing AI-konto vara redo att börja fråga på några minuter. Att sätta upp en fullständig lokal LLM-stack kräver nedladdning av ramverk, konfigurering av infrastruktur och integration av olika komponenter. För större modeller kan denna komplexa process ta timmar, även med verktyg som syftar till att förenkla installationen. Vissa avancerade AI-system kräver fortfarande djup teknisk expertis för att komma igång lokalt. Så, till skillnad från plug-and-play webbaserade AI-modeller, innebär hantering av din egen AI en betydande teknisk och tidsinvestering.

4. Begränsad kunskap

Många lokala LLM har fastnat i det förflutna. De har begränsad kunskap om aktuella händelser. Kommer du ihåg när ChatGPT inte kunde komma åt internet? När den bara kunde ge svar på frågor om händelser som inträffade före september 2021? Ja? Nåväl, i likhet med tidiga ChatGPT-modeller tränas lokalt värdbaserade språkmodeller ofta endast på data före ett visst slutdatum. Som ett resultat saknar de medvetenhet om den senaste utvecklingen efter den tidpunkten.