GauGAN2 är ett verktyg för att skapa AI-genererade fotorealistiska landskap. Utvecklad av NVIDIA och tillgänglig som en webbdemo, låter GauGAN2 dig justera bilden så mycket du vill, med hjälp av en blandning av skiss och textinmatning för att styra AI-systemet.
Med lite tid kan du förfina bilden genom att lägga till eller ta bort detaljer tills den blir helt rätt. Bilderna som den kan producera ser ofta realistiska ut, men ett feldrag och bilderna kan börja se ut som fantasykonstverk, snarare än verkliga landskap.
Här är vad du behöver veta om NVIDIAs GauGAN2.
Vad är NVIDIAs GauGAN2?
GauGAN2 är en AI-konstgenerator med ett unikt redigeringsfönster. Utvecklad av forskningsgruppen NVIDIA, samma företag som tillverkar grafikprocessorer, är den tillgänglig för alla att använda via en webbdemo.
Det liknar på ett sätt med Dall-E 2, en AI-text-till-bild-generator, där du kan skriva fraser som "solen går ner över öknen" och AI-systemet kommer att skapa en bild baserat på den beskrivningen. Det är dock inte allt du kan göra med GauGAN2; det finns flera sätt att fortsätta redigera bilden.
Ett alternativ är att använda segmenteringskartan för att se en kontur av objekt i bilden. Med hjälp av denna information kan du ändra formen på saker som en bergskedja genom att rita om dess gränser eller radera element helt och hållet.
Du kan också använda pennverktyget för att rita en cirkel, till exempel, som kan återges som en sol. Detsamma gäller för att rita några toppar i bakgrunden, som kan bli en bergskedja, speciellt om du kombinerar det med textinmatning som beskriver scenen.
Efter att ha provat NVIDIAs GauGAN2 kanske du vill lära dig hur man använder NVIDIAs Canvas-app, som bygger på samma teknik. Det är en gratis app riktad mot artister och kreativa, men den fungerar bara med en av NVIDIAs RTX GPU: er.
Hur fungerar GauGAN2?
Bakom kulisserna byggdes GauGAN2 med hjälp av generative adversarial networks (GAN). Faktum är att dess namn är en pjäs om den franske postimpressionistiska konstnären Paul Gauguin och GANs.
Anledningen till att den kan generera bilder som på ett övertygande sätt ser ut som riktiga landskap är att den under sin träningsperiod matades med 10 miljoner högkvalitativa landskapsbilder. Datorkraften som krävdes för att träna modellen kom från NVIDIA Selene superdator, en av världens mest kraftfulla superdatorer.
GAN: er hittar användningsområden i många applikationer, inklusive många AI text-to-art generatorer. Den viktigaste skillnaden med GauGAN2 är möjligheten att ändra den AI-genererade bilden i en dedikerad redigerare, med hjälp av verktyg som penna, fyllning och pensel för att göra ändringar.
Gränssnittet är minimalt, men inte precis användarvänligt, och dess retro-utseende kan påminna dig om de tidiga dagarna av Microsoft paint, i motsats till banbrytande programvara. Om kontrollerna inte verkar uppenbara till en början kan du köra en snabb handledning eller titta på en videogenomgång; klicka bara på knapparna i det övre högra hörnet på sidan.
Vilken konst kan GauGAN2 producera?
Målet med GauGAN2 är att skapa fotorealistiska bilder av landskap som berg, sjöar och stränder.
Det finns ett bibliotek med etiketter du kan välja mellan när du skissar som hjälper dig att tagga skissingången ytterligare, så att AI-generatorn kan återge en bild som är lämplig. Dessa inkluderar saker som dimma, kulle, sten, snö och vatten, för att nämna några.
Det är dock inte svårt för saker att gå fel, och du är lika sannolikt att producera absurda och surrealistiska bilder. Ta bara pennverktyget och rita några udda former, så kommer GauGAN att spotta ut något som ser mer ut som ett experimentellt konstverk än något som kan kännas igen.
Att mata in nonsensfraser i textrutan kan också ge konstiga utdata. Ibland behöver du inte ens gå så långt; bara att be om ett bergslandskap gav något som ser ut som en konstig kombination av snö och päls.
I båda fallen kan vissa artister hitta ett verktyg som detta användbart. Det kan användas för att påskynda processen med storyboarding eller som ett snabbt sätt att skapa konceptkonst för ett spel eller en video.
Även om den här demon är långt ifrån att vara en polerad produkt redo att användas, visar den en viss intressant potential.
GauGAN2: En hybrid AI Art Generator
GauGAN2 ansluter sig till samlingen av AI-bildgeneratorer som förvandlar text till bilder. Till skillnad från andra applikationer kan du dock redigera bilden i etapper, använda skisser och text som input, finjustera AI-bilden hur du vill.
Om den används rätt kan GauGAN2 producera ganska övertygande fotorealistiska bilder av naturen, vilket kan vara användbart för artister som behöver fylla ett storyboard eller snabbt producera konceptkonst. Det är dock alltför lätt för att saker och ting ska bli bisarra, och några sträckta penndrag kan leda till intressanta resultat.