Vad är OpenAIs Shap-E, och vad kan den göra?

Företag inom forskning och implementering av artificiell intelligens (AI), som OpenAI, släpper kontinuerligt funktioner till mänsklighetens bästa. Utöver ChatGPT, DALL-E, Point-E och andra framgångsrika verktyg har OpenAI släppt Shap-E, en ny innovativ modell.

Så vad är OpenAIs Shap-E, och vad kan den göra för dig?

Vad är OpenAIs Shap-E?

I maj 2023 släppte Alex Nichol och Heewon Jun, OpenAI-forskare och bidragsgivare, en papper som tillkännager Shap-E, företagets senaste innovation. Shap-E är ett nytt verktyg utbildat på en enorm datauppsättning av parade 3D-bilder och text som kan generera 3D-modeller från text eller bilder. Det liknar DALL-E, som kan skapa 2D-bilder från text, men Shap-E producerar 3D-tillgångar.

Shap-E tränas på en villkorad diffusionsmodell och 3D-tillgångskartläggning. Kartläggning av 3D-tillgångar innebär att Shap-E lär sig att associera text eller bilder med motsvarande 3D-modeller från en stor datamängd av befintliga 3D-objekt. En villkorlig diffusionsmodell är en generativ modell som utgår från en bullrig version av målutgången och gradvis förfinar den genom att ta bort brus och lägga till detaljer.

Genom att kombinera dessa två komponenter kan Shap-E generera realistiska och mångsidiga 3D-modeller som matchar den givna text- eller bildinmatningen och kan ses från olika vinklar och ljusförhållanden.

Hur du kan använda OpenAI: s Shap-E

Shap-E har inte offentliggjorts som andra OpenAI-verktyg, men dess modellvikt, slutledningskod och prover finns tillgängliga för nedladdning på Shap-E GitHub sida.

Du kan ladda ner Shap-E-koden gratis och installera det med kommandot Python pip på din dator. Du behöver också en NVIDIA GPU och en högpresterande CPU, eftersom Shap-E är mycket resurskrävande.

Efter installationen öppnar du 3D-bilderna du genererar på Microsoft Paint 3D. Likaså kan du konvertera bilderna till STL-filer om du vill skriva ut dem med 3D-skrivare.

Du kan också rapportera problem och hitta lösningar på problem som redan tagits upp av andra på Shap-E GitHub-sidan.

Vad du kan göra med OpenAI: s Shap-E

Shap-E gör att du kan beskriva komplexa idéer med hjälp av en visuell representation av idéer. De potentiella tillämpningarna för den här tekniken är obegränsade, särskilt eftersom visuella effekter vanligtvis har mycket mer nåbara effekter än texter.

Som arkitekt kan du använda Shap-E för att skapa 3D-modeller av byggnader och strukturer utifrån skriftliga beskrivningar. Du kan ange strukturernas dimensioner, material, färger och stilar med enkla meningar. Du kan till exempel fråga den med: "Gör en skyskrapa med 60 våningar och glasräcken" och exportera resultatet till annan programvara för ytterligare redigering om du gillar resultatet du får.

Spelare och animationsartister kan förbättra virtuella miljöer och visuella upplevelser genom att skapa detaljerade 3D-objekt och karaktärer. Inom teknik kan du beskriva komponenter, specifikationer och funktioner hos maskiner och utrustning och få resultaten i 3D-modeller innan du skapar fysiska prototyper.

Dessutom, även inom områden som utbildning, kan Shap-E hjälpa lärare att kommunicera komplexa och abstrakta idéer till sina elever i ämnen som biologi, geometri och fysik.

Även om det fortfarande är ett pågående arbete är Shap-E ett steg före OpenAI: s PUNKT-E, som producerar 3D-punktmoln baserat på textmeddelanden. Punktmolnen är begränsade i sin uttrycksfullhet och upplösning, och ger ofta suddiga eller ofullständiga former.

Generera 3D-modeller med OpenAI: s Shap-E

Shap-E är en imponerande demonstration av kraften hos AI för att skapa 3D-innehåll från naturligt språk eller bilder. Med den kan du skapa 3D-objekt för datorspel, interaktiva VR-upplevelser, prototyper och andra ändamål. Även om det inte finns några garantier för utskriftskvaliteten, ger AI-modellen dig ett snabbt och effektivt sätt att skapa en 3D-modell av vad som helst.

Dessutom är denna AI-modell ett viktigt bidrag i det djupa inlärningsutrymmet och kommer sannolikt att leda till framtida avancerade innovationer och skapelser.