Vad är GPT4All och hur fungerar det?

OpenAI: s GPT-modeller har revolutionerat naturlig språkbehandling (NLP), men såvida du inte betalar för premium tillgång till OpenAI: s tjänster, kommer du inte att kunna finjustera och integrera deras GPT-modeller i din applikationer. Dessutom kommer OpenAI att ha tillgång till alla dina konversationer, vilket kan vara ett säkerhetsproblem om du använder ChatGPT för affärer och andra mer känsliga områden i ditt liv. Om du inte är sugen på detta, kanske du vill prova GPT4All.

Så vad är GPT4All egentligen? Hur fungerar det och varför använda det över ChatGPT?

Vad är GPT4All?

GPT4All är ett ekosystem med öppen källkod som används för att integrera LLM: er i applikationer utan att betala för en plattform eller hårdvaruabonnemang. Det skapades av Nomic AI, ett informationskartografiföretag som syftar till att förbättra tillgången till AI-resurser.

GPT4All är designad för att köras på moderna till relativt moderna datorer utan att behöva en internetanslutning eller ens en GPU! Detta är möjligt eftersom de flesta av modellerna som tillhandahålls av GPT4All har kvantifierats för att vara så små som några gigabyte, och kräver endast 4–16 GB RAM för att köras.

Detta gör att mindre företag, organisationer och oberoende forskare kan använda och integrera en LLM för specifika tillämpningar. Och med GPT4All som är lätt att installera via ett installationsprogram med ett klick kan människor nu använda GPT4All och många av dess LLM: er för att skapa innehåll, skriva kod, förstå dokument och information sammankomst.

Varför använda GPT4ALL över ChatGPT?

Det finns flera anledningar till varför du kanske vill använda GPT4All över ChatGPT.

• Portabilitet: Modeller som tillhandahålls av GPT4All kräver bara fyra till åtta gigabyte minneslagring, kräver ingen GPU för att köras och kan enkelt sparas på ett USB-minne med GPT4All-installationsprogrammet med ett klick. Detta gör GPT4All och dess modeller verkligen bärbara och användbara på nästan vilken modern dator som helst.
• Sekretess och säkerhet: Som förklarats tidigare, om du inte har tillgång till ChatGPT Plus, är alla dina ChatGPT-konverteringar tillgängliga av OpenAI. GPT4All är fokuserad på datatransparens och integritet; din data kommer bara att sparas på din lokala hårdvara såvida du inte avsiktligt delar den med GPT4All för att hjälpa deras modeller att växa.
• Offlineläge: GPT är en egenutvecklad modell som kräver API-åtkomst och en konstant internetanslutning för att fråga eller komma åt modellen. Om du förlorar en internetanslutning eller har ett serverproblem kommer du inte ha tillgång till ChatGPT. Detta är inte fallet med GPT4All. Eftersom all data redan är lagrad på ett fyra till åtta gigabyte paket, och slutledning görs lokalt, behöver du ingen internetanslutning för att komma åt några modeller i GPT4All. Du kan fortsätta chatta och finjustera din modell även utan internetanslutning.
• Gratis och öppen källkod: Flera LLM: er som tillhandahålls av GPT4All är licensierade under GPL-2. Detta gör att vem som helst kan finjustera och integrera sina egna modeller för kommersiellt bruk utan att behöva betala för licensiering.

Hur GPT4All fungerar

Som diskuterats tidigare är GPT4All ett ekosystem som används för att träna och distribuera LLMs lokalt på din dator, vilket är en otrolig bedrift! Vanligtvis skulle laddning av en standard 25-30 GB LLM ta 32 GB RAM och en GPU av företagskvalitet.

För att jämföra kräver de LLM: er du kan använda med GPT4All bara 3 GB-8 GB lagringsutrymme och kan köras på 4 GB–16 GB RAM. Detta gör det möjligt att köra en hel LLM på en edge-enhet utan att behöva en GPU eller extern molnhjälp.

Hårdvarukraven för att köra LLM på GPT4All har reducerats avsevärt tack vare neurala nätverkskvantisering. Genom att minska precisionsvikten och aktiveringar i ett neuralt nätverk kan många av modellerna som tillhandahålls av GPT4All köras på de flesta relativt moderna datorer.

Träningsdata som används i några av de tillgängliga modellerna samlades in genom "högen", som bara är skrapad data från offentligt publicerat innehåll på internet. Data skickas sedan till Nomic AI: s Atlas AI-databas, som kan ses baserat på korrelationer på en lätt att se 2D vektorkarta (även känd som en AI-vektordatabas).

Genom att Nomic AI tränade Groovy-modellen och använde allmänt tillgänglig data kunde Nomic AI släppa modellen på en öppen GPL-licens som tillåter vem som helst att använda den, även för kommersiella applikationer.

Hur man installerar GPT4All

Att installera GPT4All är enkelt, och nu när GPT4All version 2 har släppts är det ännu enklare! Det bästa sättet att installera GPT4All 2 är att ladda ner installationsprogrammet med ett klick:

Ladda ner:GPT4All för Windows, macOS eller Linux (gratis)

Följande instruktioner är för Windows, men du kan installera GPT4All på alla större operativsystem.

När du har laddat ner dubbelklickar du på installationsprogrammet och väljer Installera. Windows Defender kan se installationen som skadlig eftersom processen för Microsoft att ge giltiga signaturer för applikationer från tredje part kan ta lång tid. Detta bör dock åtgärdas snart. När du skrev, så länge du laddade ner GPT4All-applikationen från den officiella webbplatsen, borde du vara säker. Klicka på Installera ändå för att installera GPT4All.

När du öppnar programmet måste du välja en modell att använda. GPT4ALL förser dig med flera modeller, som alla kommer att ha sina styrkor och svagheter. För att veta vilken modell du ska ladda ner, här är en tabell som visar deras styrkor och svagheter.

Tänk på att de tillhandahållna modellerna har olika nivåer av begränsningar. Alla modeller kan inte användas kommersiellt gratis; vissa kommer att behöva mer hårdvaruresurser, medan andra kommer att behöva en API-nyckel. De minst restriktiva modellerna som finns tillgängliga i GPT4All är Groovy, GPT4All Falcon och Orca.

Kan du träna GPT4All-modeller?

Ja, men inte de kvantiserade versionerna. För att effektivt finjustera GPT4All-modeller måste du ladda ner råmodellerna och använda GPU: er av företagsklass som t.ex. AMD: s instinktacceleratorer eller NVIDIAs Ampere eller Hopper GPU: er. Dessutom måste du träna modellen genom ett AI-träningsramverk som LangChain, vilket kommer att kräva viss teknisk kunskap.

Att finjustera en GPT4All-modell kommer att kräva en del monetära resurser såväl som en del tekniskt kunnande, men om du bara vill mata en GPT4All-modell anpassad data kan du fortsätt träna modellen genom utökad generering av hämtning (som hjälper en språkmodell att komma åt och förstå information utanför sin basutbildning för att slutföra uppgifter). Du kan göra det genom att be GPT4All att modellera dina anpassade data innan du ställer en fråga. Anpassade data bör sparas lokalt, och när du uppmanas att göra det bör modellen kunna ge dig den information du en gång gav.

Ska du använda GTP4All?

Tanken med GPT4All är att tillhandahålla en gratis att använda och öppen källkodsplattform där människor kan köra stora språkmodeller på sina datorer. För närvarande är GPT4All och dess kvantiserade modeller utmärkta för att experimentera, lära sig och prova olika LLM i en säker miljö. För professionella arbetsbelastningar rekommenderar vi ändå att använda ChatGPT eftersom modellen är betydligt mer kapabel.

Sammantaget finns det ingen anledning till att du ska begränsa dig till en. Eftersom deras användningsfall inte överlappar, bör du prova att använda båda.