Skapa en personlig AI-chatbot genom att köra en stor språkmodell lokalt på din Linux-maskin.

Stora språkmodeller har potential att revolutionera ditt sätt att leva och arbeta och kan föra samtal och svara på frågor med varierande grad av noggrannhet.

För att använda en, behöver du vanligtvis ett konto hos en LLM-leverantör och logga in via en webbplats eller en dedikerad app. Men visste du att du kan köra din egen stora språkmodell helt offline på Linux?

Varför köra en stor språkmodell på Linux?

Stora språkmodeller (LLM) finns överallt nuförtiden och kan bearbeta naturligt språk och ge lämpliga svar som kan lura dig att tro att en människa har svarat. Microsoft rullar ut en ny AI-driven version av Bing, medan alfabetets Bard är nu en integrerad del av Google-sökningar.

Bort från sökmotorer kan du använda så kallade "AI-chatbots" för att svara på frågor, komponera poesi eller till och med göra dina läxor åt dig.

Men genom att få åtkomst till LLMs online är du beroende av en tredjepartsleverantörs goodwill – som kan dras tillbaka när som helst.

instagram viewer

Du är också föremål för användningsbegränsningar. Be OpenAI skriva en erotisk novell på 6 000 ord som utspelar sig i Nazityskland, till exempel, så får du ett svar i stil med "Jag ber om ursäkt, men jag kommer inte att kunna generera den historien åt dig."

Allt du matar in till online LLMs används för att träna dem ytterligare, och data som du kanske vill förbli konfidentiell kan spottas ut i framtiden som en del av ett svar på någon annans fråga.

Du är också föremål för bristande service eftersom systemet svämmar över av användare och tjatar att prenumerera, så att du kan komma åt plattformen när efterfrågan är stor.

Dalai är en gratis implementering med öppen källkod av Metas LLaMa LLM och Stanfords Alpaca. Det kommer att köras bekvämt på blygsam hårdvara och ger ett praktiskt webbgränssnitt och en rad snabbmallar – så att du kan fråga vad som helst du vill, utan rädsla för att en administratör kommer att stänga ditt konto, LLM kommer att vägra svara eller din anslutning kommer att släppa.

När du installerar en LLM lokalt på Linux är den din, och du kan använda den hur du vill.

Hur man installerar Dalai på Linux

Det enklaste sättet att installera Dalai på Linux är att använda Docker och Docker Compose. Om du inte redan har dessa, se vår guide om hur du gör det installera Docker och Docker Compose.

Med det ur vägen är du redo att börja installera Dalai. Klona Dalai GitHub-förvaret och använd cd-kommandot för att flytta in i det:

git klon https://github.com/cocktailpeanut/dalai.git && cd dalai

För att få igång Dalai med ett webbgränssnitt, bygg först Docker Compose-filen:

docker-compose build

Docker Compose kommer att ladda ner och installera Python 3.11, Node Version Manager (NVM) och Node.js.

Vid steg sju av nio kommer bygget att frysa när Docker Compose laddar ner Dalai. Oroa dig inte: kontrollera din bandbreddsanvändning för att försäkra dig om att något är på gång, och simulera utvecklingen av virtuella organismer i din terminal medan du väntar.

Så småningom kommer du att återgå till kommandotolken.

Dalai och LLaMa/Alpaca-modellerna kräver mycket minne för att köra. Även om det inte finns någon officiell specifikation, är en bra grov guide 4GB för 7B-modellen, 8GB för 13B-modellen, 16GB för 30B-modellen och 32GB för 65B-modellen.

Alpaca-modellerna är relativt små, med 13B-modellen som når blygsamma 7,6 GB, men LLaMA-vikterna kan vara enorma: motsvarande 13B nedladdning kommer in på 60,21GB, och 65B-modellen kommer att ta upp en episk halv terabyte på din hårddisk disk.

Bestäm vilken modell som är mest lämplig för dina resurser och använd följande kommando för att installera den:

docker-compose kör dalai npx dalai alpaca install 13B

Eller:

docker-compose kör dalai npx dalai llama install 13B

Det finns en chans att modellerna som laddas ner via Dalai kan vara skadade. Om så är fallet, ta tag i dem Kramar ansikte istället.

När du har återvänt till kommandotolken, ta upp Docker Compose i fristående läge:

docker-compose up -d

Kontrollera om behållaren fungerar som den ska med:

docker-compose ps

Om allt fungerar som det ska öppnar du en webbläsare och går in lokal värd: 3000 i adressfältet.

Ha kul med din egen stora språkmodell på Linux

När webbgränssnittet öppnas ser du en textruta där du kan skriva dina meddelanden.

Det är svårt att skriva effektiva uppmaningar, och Dalai-utvecklarna har hjälpsamt tillhandahållit en rad mallar som hjälper dig att få ett användbart svar från Dalai.

Dessa är AI-dialog, Chatbot, Standard, Instruktion, Skriva om, Översätt, och Tweet-sentiment.

Som du kan förvänta dig AI-dialog och Chatbot mallar är strukturerade på ett sätt som gör att du kan hålla en sorts konversation med LLM. Den största skillnaden mellan de två är att chatboten ska vara "mycket intelligent", medan AI-dialogen är "hjälpsam, snäll, lydig, ärlig och känner sina egna gränser".

Naturligtvis är detta din "AI", och om det behagar dig kan du ändra prompten så att chatboten är dum, och AI-dialogens egenskaper är "sadistiska" och "ohjälpsamma". Det är upp till dig.

Vi testade Översätt genom att kopiera det inledande stycket i en BBC-nyhet och be Dalai att översätta den till spanska. Översättningen var bra, och när vi körde den genom Google Översätt för att göra om den till engelska igen, fann vi att den var ganska läsbar och återspeglade fakta och känslor i originalstycket.

Likaså Skriva om mallen snurrade texten övertygande till öppningen av en ny artikel.

De Standard och Instruktion uppmaningar är strukturerade för att hjälpa dig att ställa frågor eller direkt instruera Dalai.

Dalais noggrannhet som svar kommer att variera mycket beroende på vilken modell du använder. En 30B-modell kommer att vara mycket mer användbar än en 7B-modell. Men även då påminns du om att LLM helt enkelt är sofistikerade system för att gissa nästa ord i en mening.

Varken 7B eller 13B Alpaca-modellerna kunde ge en korrekt sammanfattning på 200 ord av novellen, "Cat in the Rain" av Ernest Hemingway, och båda skapade grundligt övertygande handlingslinjer och detaljer om vad historien innehöll.

Och medan den "hjälpsamma, snälla, lydiga, ärliga" AI-dialogen som "känner sina egna gränser" och "mycket intelligenta" Chatbot kommer att böja sig för kontroversiella uppmaningar kan du ge Dalai en rak instruktion eller standardförfrågan, och den kommer att skriva vad du vill - hur du vill Det.

En stor språkmodell på din Linux-maskin är din

Genom att köra en stor språkmodell på din egen Linux-box är du inte föremål för tillsyn eller indragning av tjänsten. Du kan använda det hur du vill utan rädsla för konsekvenser om du bryter mot en policy för företagets innehåll.

Om dina datorresurser är få kan du till och med köra en LLM lokalt på en ödmjuk Raspberry Pi.