Lume Pad 2: AI-driven 3D-surfplatta är fantastisk och konstig

Beskrivningen av Lume Pad 2 låter som att någon slängde ihop en massa modeord: det är en AI-driven 3D-surfplatta!

Men vad betyder det ens? När det gäller AI har den både AI på enheten för att analysera foton och videor och sedan konvertera dem till 3D, såväl som generativ moln-AI för att skapa 3D-scener från textmeddelanden. Och 3D-delen? Det är också sant: det är en 3D-skärm utan glasögon. Faktisk, äkta 3D, med en unik bild som strålar till varje öga.

Det här är Lume Pad 2 från ett företag som heter Leia (ja, som Star Wars-prinsessan). Det är det mest unika och fascinerande jag sett på länge, men jag är inte övertygad om att det har en marknad bortom en handfull specialiserade industrier.

Glasögon-mindre 3D-skärm

I hjärtat av enheten finns en unik egenutvecklad skärmteknologi ("Light Field") som möjliggör en enda tittare för att se applikationer som stöds i en sann 3D-vy utan extra glasögon eller en headset. Exakt hur det fungerar avslöjas inte, men det är förmodligen någon variant av linsformade linser - den sorten du skulle få i flingpaket som barn. När du flyttade runt scenen, skulle det genomskinliga prismat på framsidan rikta en annan del av bakgrundsbilden till dina ögon, vilket ger sken av att scenen förändrades. Lume Pad 2 kommer att visa två bilder när som helst, men det speciella skärmskiktet i kombination med dubbla framåtvända kameror för huvud- och ögonspårning säkerställer att varje öga bara ser en. När din hjärna kombinerar dem kan du se en 3D-scen.

Det kan vara ganska magiskt att se personligen ("Whhhaaaaaaat", utbrast min son, "pappa det kommer ut från skärmen. Vad? Hur? Vad?!")

Utöver det är Lume Pad 2 en Android-surfplatta, fullpackad med anpassad programvara som låter dig ta 3D-bilder och videor, eller använda AI för att omvandla befintliga videor till 3D.

Hårdvaran

Lume Pad 2 har en 12,4-tums IPS-skärm som körs med 120Hz uppdatering och 2560 x 1600 pixlar, med en pixeltäthet på 244 PPI och ett förhållande på 16:10. Men i 3D-läge är det säkert att anta att upplösningen halveras.

Om vi ​​glömmer alla tjusiga 3D-grejer för ett ögonblick och jag bara skulle utvärdera detta som en Android-surfplatta, skulle jag bli mest imponerad. Det är ett snyggt solid metallchassi, känns bra att ta på och det finns en behaglig haptisk feedback när du skriver. Det valfria fodralet snäpper fast magnetiskt och möjliggör några läsvinklar.

Android 12-gränssnittet är smidigt, och förutom den förinstallerade programvaran är det en vanlig Google Android-surfplatta med inte alltför mycket specialarbete.

Kort sagt: det är en trevlig surfplatta – helt klart en av de bästa Android-surfplattorna jag har spelat med hittills. Du kan dock glömma att använda den utomhus; med en maximal ljusstyrka på 450 nits i 2D-läge och 300 nits i 3D, är detta endast för inomhusbruk.

Du hittar också dubbla 16 MP bakre kameror, med vilka du kan ta 3D-foton och filmer direkt på enheten. Till skillnad från de flesta 3D-kameror är de inte åtskilda som mänskliga ögon skulle vara. De flesta kameror som är avsedda att spela in en 3D-effekt för mänskliga ögon har linser med ett avstånd på ungefär 63 mm separat – samma som den genomsnittliga människan – vilket säkerställer att en korrekt 3D-effekt uppfattas till det avsedda visare. Men med Lume Pad 2 finns det lite trolldom på enheten som extrapolerar djupet i realtid.

Surfplattan drivs av Qualcomm Snapdragon 888-chipset, med 8 GB RAM och 128 GB UFS 3.1-lagring. Du kan expandera via en microSD-kortplats med kort upp till 2 TB, vilket du vill göra snabbt om du planerar att använda den kameran eller spela upp dina egna media offline.

Mjukvaran

Utöver den magiska glasögonfria 3D-skärmen kommer det verkliga värdet av Lume Pad 2 från den inbyggda anpassade programvaran.

LeiaPlayer är en allt-i-ett mediavisare, för din egen 3D-kamerarulle, och en fin samling exempelbilder. Dessutom, tryck över till fliken Leia Link och du kommer att kunna komma åt innehåll du har laddat upp från en vanlig smartphone med Leia Link-appen, som deras mjukvara sedan magiskt kan förvandlas till 3D. Det fungerar mest, men bara på scener var djupet uppenbart. Jag försökte med ett familjefoto där jag satt i några gokart, och djupet var helt fel. Leia Player kan spela upp VR180 och side-by-side (SBS) formaterade videor, även om du ofta behöver specificera. Jag försökte titta på en SBS-formaterad video och för att vara ärlig var djupet väldigt svagt och det fanns inget ljud. Jag antar att det var codec-problem. LeiaPlayer är verkligen inte på samma nivå som VLC när det kommer till slumpmässiga codecs så det var lite av ett misslyckande. Även om det hade ljud skulle jag inte ha brytt mig. Jag tror att ett VR-headset som är halva priset skulle göra ett mycket bättre jobb.

LeiaPix är en social nätverksapp för att dela och visa andras 3D-bilder. Gå igenom en specifik hashtagg eller ett ämne och du kommer att upptäcka att innehållet är sparsamt, men det är ett enkelt sätt att bara se slumpmässiga 3D-bilder. Kvaliteten varierar, så det är möjligt att dessa tas med den äldre versionen av Lume Pad.

LeiaChat låter dig chatta i 3D med andra Lume Pad 2-användare, i 3D, för när vanliga Zoom-samtal bara inte klipper det längre. Naturligtvis behöver båda ändarna en Lume Pad.

LeiaDream är en generativ 3D-konstapp. Jag antar att det är en anpassad version av StableDiffusion men den kan vara helt proprietär. Hur som helst, det låter dig skriva in en textprompt och få en anpassad 3D-bild. Det är inte i närheten av Midjourney-nivån av realism, och som en molntjänst kommer ditt konto med tillräckligt för att cirka 250 bilder ska genereras – efter det måste du köpa fler krediter.

LeiaViewer är en 3D-modellvisare med en handfull inkluderade modeller och integration med Sketchfab om du vill ha fler eller se dina egna skapelser (även om endast en standard Sketchfab e-postinloggning stöds, inte om du registrerade dig via en social leverantör). Detta är förmodligen det enskilt mest övertygande användningsfallet för Lume Pad 2, med 3D-modeller som uppenbarligen är en bra match för den glasögonlösa displaytekniken. Du kan luta, rotera, zooma, etc., samt kontrollera djupet på 3D-effekten.

LeiaTube är en YouTube- och Vimeo-tittare. Öppna den och du kommer att se ett urval av innehåll, även om även det inbyggda SBS 3D-formaterade innehållet måste köras genom AI-konverteringsalgoritmen. Du kan också dela en video från den vanliga YouTube-appen direkt hit och den konverterar den automatiskt för visning i 3D. Jag provade det med en av mina egna recensioner, och för att vara ärlig så var den inte så bra. Effekten var inte alls lika uttalad och inte heller så exakt som jag hoppades; det fanns säkert några fel här och där, med luddiga kanter runt föremål där det kunde säga vad djupet skulle vara.

Det är många inbyggda appar, och det finns också en Leia App Store. Det är dock lite sparsamt, med kanske fyra matcher totalt. Realistiskt sett, om det inte är en förstapartstitel från Leia Inc, är det osannolikt att du får många utvecklare ombord på en så liten marknad. Du kan inte bara ta befintliga spel och göra dem 3D. De två gratisspelsdemonerna som var förinstallerade på vår enhet var fascinerande demos men kunde i slutändan inte hålla min uppmärksamhet i mer än fem minuter vardera.

Även om det finns många inbyggda appar, bör du inte förvänta dig något annat som stöder 3D-funktionaliteten. Du kan till exempel inte öppna upp VLC och spela upp en SBS-kodad film, inte heller kommer Call of Duty plötsligt att få en tredje dimension. För att kunna använda den unika 3D-tekniken måste en app stödja Leia SDK. Den kommer gärna att köra andra Android-appar, men de visas bara i vanlig 2D.

Hur är djupeffekten?

Jag var skeptisk till att skärmteknik utan glasögon skulle komma in i den här recensionen, men den kan vara ganska fantastisk under de rätta förhållandena. Även om det är omöjligt att visa på video, är det jag kan prata om den subjektiva kvaliteten på 3D-effekten och skärmen i allmänhet.

För det första varierar graden av djupeffekt avsevärt beroende på app och vilken typ av innehåll du tittar på.

Den bästa effekten kommer att få från 3D-renderade objekt. Till exempel, om du öppnar LeiaViewer 3D-appen och kollar in den medföljande cyberpunkstaden (inklusive animerade bilar när du zoomar runt), kommer du att upptäcka att den högsta spiran ser ut att dyka ut nästan 6 tum från ytan av läsplatta. Det otroligt.

Detta gäller även för speldemos, och det är i Dungeon-spelet som head-tracking-funktionerna också syns tydligt. Inte bara får fängelsehålans väggar liv i strålande 3D, utan om du lutar surfplattan eller rör dig runt kommer du att se tidigare dolda vinklar. Det är en unik upplevelse som jag bara någonsin har haft i VR.

När det kommer till bilder eller video är effekten dock inte alls lika uttalad – till den grad att jag inte skulle bry mig om att titta på 3D-filmer om detta; det är bara inte övertygande jämfört med att göra samma sak i virtuell VR-bio. Detta kan bara vara en "realismfaktor". Rensat 3D-innehåll kommer alltid att se mer imponerande ut än en riktig scen, eftersom det senare är något vi är så vana vid i verkligheten.

Spårning och visuell kvalitet

Generellt sett, så länge jag inte var i för mycket trubbig vinkel, verkade ansikts- och ögonspårningen fungera bra. Jag upplevde inte många fel där det skulle gå tillbaka till 2D-läge, förutom när min son bestämde sig för att sticka in sitt ansikte och se vad allt väsen handlade om. Det kan inte spåra mer än en person samtidigt, och det tar ibland en eller två sekunder att inse att det finns en ny tittare. Sedan knäpps allt på magiskt sätt in i 3D-vy.

Visningen är dock långt ifrån perfekt; två poäng förringar den totala upplevelsen.

För det första finns det en liten skärmdörrstyp av prickat nät över skärmen. Förmodligen är det en del av det linsformade lagret som separerar bilden för varje öga. Detta är mest uppenbart när det snäpps in i 3D-läge. Medan surfplattans hårdvara annars är väldigt trevlig och lyhörd som en generisk Android-surfplatta, kan skärmkvaliteten frustrera.

För det andra finns det också ett ganska uppenbart spökproblem. Detta innebär att varje öga kan se bilden som är avsedd för det andra ögat, om än mycket svagt. I exemplet ovan finns efterbilden på baksidan av vingarna även när den ses i 3D, inte bara ett resultat av filmning.

Detta är inte så mycket en kritik av just den här surfplattan som ett fel i den underliggande tekniken, och det är inte heller unikt för skärmar utan glasögon. Om du någonsin har sett passiva 3D-filmer (de som involverar ett tunt par glasögon), tenderar även dessa att ha en hel del spökbilder. Det beror på att det är nästan omöjligt att perfekt kulminera ljuset i en viss riktning. Du kan få det tillräckligt bra för att få 3D-effekten, men om du pausar och kritiskt granskar bilden kommer du att se spökbilder. Detta är mer uppenbart för ljusare föremål på en mörk bakgrund. Endast aktiva 3D-skärmar (de som kräver tyngre LCD-glasögon med ett batteri i dem) kan helt eliminera spökbilder, eftersom de är alternerande bilder och helt blockerar sikten för ett öga vardera tid.

Är detta den ultimata 3D-skärmen? Nej.

Lume Pad 2 är verkligen ganska magisk att se. Det är ett tekniskt under, och jag önskar att jag hade ett bättre sätt att visa detta för dig, men precis som VR är det något du behöver uppleva själv.

Men jag vet vad du tänker: det här är en modefluga. Jag var en stor förespråkare för 3D-TV och projektorer fram till för ett decennium sedan. Jag tillbringade till och med mycket av min universitetstid med att spela Unreal Tournament 2K med de ursprungliga Nvidia 3D-glasögonen och en enorm Silicon Graphic CRT-skärm. Men utgivningarna av 3D-filmer har i stort sett torkat ut (fyra hittills i år, verkar det som), och folk har insåg att det var jobbigt att behöva ha speciella glasögon för att se en film för ofta sämre resultat än utan.

Naturligtvis är det fina med Lume Pad 2 att den fungerar utan glasögon – och den fungerar bara (om än för en enda tittare).

Det faktum att den har ett inbyggt AI-system för att konvertera icke-3D-innehåll, och ett sätt att producera egna 3D-foton och filmer på själva enheten, tror jag ger den ben. Även om världen slutade göra 3D-innehåll i morgon och internet kollapsade, kan du fortfarande producera och visa dina egna skapelser från den här enheten. Leia har verkligen försökt att producera övertygande innehåll med ett anpassat socialt nätverk bara för Lume Pad användare, och de förstår att du inte bara kan ha otrolig teknik – du behöver apparna och innehållet för att gå med det. Det är väldigt uppmuntrande.

Men att förstå ett problem och att kunna lösa det är två olika saker.

Den största begränsningen med Lume Pad 2 är att det inte finns något sätt att använda den som generisk 3D-skärm för någon ingångskälla. Om den hade en HDMI-port eller dongel och kunde spela upp vilken SBS-formaterad ingång som helst i 3D-läge, skulle det göra det till ett omedelbart köp för en mycket större marknad. Till exempel Goovis G3 Max persona bioheadset, som vi recenserade förra veckan, kan göra just det. Den tar vilken USB-C- eller HDMI-ingång som helst – oavsett om det är en 3D Blu-ray-spelare eller en generisk mediaspelare som kör VLC med lite SBS formaterade filer, eller YouTube, eller till och med ett PC-spel med någon programvara som matar ut 3D-spel i ett sida-vid-sida-format – och det bara Arbetar.

Med Lume Pad 2 måste allt du vill använda i 3D programmeras specifikt med Leia SDK. Det fungerar inte ens med Android-appar som är designade för Google VR.

Om det inte finns någon app för det, så är det det. Och ärligt talat är det inte så lätt att få ditt eget innehåll på den här enheten heller. Android File Transfer-appen på Mac är skissartad i bästa fall, så jag var tvungen att installera en slumpmässig Android-app med ett fruktansvärt gränssnitt bara för att surfa över nätverket. Det var en eländig upplevelse att kopiera en fil.

Jag tror att den verkliga nischen för denna produkt kommer att vara med 3D-modellering; eller snarare, titta på 3D-modellerna du har producerat någon annanstans och laddat upp till Sketchfab. Det kan dock vara en väldigt nischad publik. Det är otroligt övertygande att se din 3D-objektdesign komma till liv, och med renderade 3D-objekt är djupet du kan få otroligt bra. Och för den handfull människor som fortfarande älskar stereofotografering: du kommer att älska det här.

För alla andra är jag inte så säker. Jag kan se hur Leia försöker göra det övertygande med 3D-ifieraren AI för alla YouTube-videor och kameran på baksidan för att göra dina egna 3D-bilder. Men för de funktionerna fungerar det inte så bra. Precis som jag inte tror att någon kommer att spela in familjeögonblick med hjälp av Apple Vision Pros 3D-kamera på framsidan, kan jag inte se dig släpa runt på en surfplatta för 1000 $ för att ta foton eller filma. Så min största oro är helt enkelt att det inte finns en marknad för den här enheten; åtminstone inte en tillräckligt stor för att övertyga utvecklare att det är värt att lägga till Leia SDK-stöd till sina appar.

Även om det knappast är en definitiv datapunkt, har subredditen för Lume Pad – som kanske är den första platsen jag skulle hoppa över för att hitta nya appar, tips och innehållsförslag – totalt 105 medlemmar.

Hårdvaran är otrolig, och programvaran försöker så hårt att hitta ett verkligt syfte, och jag tror bara inte att den träffar riktigt. Ändå kanske det blir det med tiden. Men om du har den tidigare Lume Pad och redan njuter av vad du kan göra med den, är Lume Pad 2 på något sätt en otrolig uppgradering. Skaffa det - du kommer att älska det.