Blir en app för teckenspråk översatt någonsin bli en verklighet?

Annons

Föreställ dig en värld där barriärer mellan döva och hörsel är borta. En värld där konversationer flyter flytande mellan dem som hör ljud och de som inte gör det. Kan den världen bli verklig inom en snar framtid?

Tillbaka i juni utvecklade en grupp marknadsföringsstudenter vid Berghs School of Communication en konceptvideo för en fiktiv produkt som heter Google Gesture. Produkten inkluderade ett bärbart handledsband och en mobilapp som använde elektromyografi för att läsa musklerörelserna för en döv som gjorde teckenspråk. Systemet överförde sedan dessa signaler till appen, som översatte dessa signaler till en digitaliserad röst och skulle tala för personen.

Att titta på den falska marknadsföringsvideoen var ganska spännande. Så spännande, faktiskt, att stora tekniska webbplatser som Mashable, Slashgear och andra ursprungligen tillkännagav produkten som verklig, och sedan senare var tvungna att berätta påståendet och be om ursäkt för deras misstag. Det var ett konstigt fel, med tanke på att det verkligen

är en Google-produkt som heter Google Gesture Search [No Longer Available], som låter dig rita gester på din mobilskärm för att söka i kontakter, bokmärken och mer.

Hur som helst, Berghs studenters koncept presenterade en anmärkningsvärd idé, vilket ledde till frågan - kan det vara möjligt att skapa en sådan app på riktigt?

Är det möjligt att översätta teckenspråk?

Att avskilja marknadsföringskonceptet på teknisk nivå avslöjar att tekniken som använder elektromyografi (EMG) för att "känna" teckenspråk inte alls är så långt hämtad. Så långt tillbaka som 2009, forskare från University of Washington kunde använda flera EMG-sensorer för att avkoda muskelrörelser och omvandla dem till faktiska arm- och handgester.

Forskarna byggde faktiskt ett komplett "gestigenkänningsbibliotek", som identifierade vilka muskelsignaler som representerade vilken gest. Forskningen bevisar att den här typen av teknik är tillgänglig och redo att implementeras i den typ av tillämpning som Berghs studenter föreställde sig.

Så har någon faktiskt åstadkommit detta ännu? Om inte, varför gör inte någon det och ger döva och hörselskadade förmågan att kommunicera med någon i världen genom teckenspråk?

Framtiden för realtidsöversättningsteknologi

Sanningen är att någon faktiskt arbetar med sådan realtidsöversättningsteknologi för teckenspråk.

Det finns ett företag som heter SpeechTrans [Broken URL Removed] som har pressat gränserna för översättningsteknologier Glöm Google Translate: 3 sätt att få en korrekt, snabb översättningOavsett om du planerar att ansöka om ett jobb eller en lägenhet utomlands, eller vill översätta din webbsida, måste du få saker rätt även med ett främmande språk. Läs mer under de senaste åren. SpeechTrans samarbetar med teknikpartners för att producera några av de mest anmärkningsvärda språköversättningstjänsterna i realtid på marknaden idag. Det här är tjänster som översätter textchatt till textchatt, röst till text och till och med i realtid röst-till-röst språköversättning via mobiltelefon och stationära applikationer.

För att utforska om en teckenspråksteknologi kan bli verklighet inom en snar framtid satt MakeUseOf ner med SpeechTrans VD John Frei och COO Yan Auerbach för att diskutera denna banbrytande nya översättningsteknologi Förstå vilket språk som helst med dessa 5 språköversättningswebbplatserTeknik har gjort världen till en mindre plats. Människor från alla delar av denna planet använder många av samma verktyg, besöker några av samma webbplatser och blandar i olika chattrum online. De... Läs mer och hur långt ut i framtiden det kan vara.

Utveckla en app för översättning av teckenspråk

Muo: Är det möjligt att göra den typ av teckenspråk till talöversättning som Berghs studenter skildrade i den här Google Gesture-videovideoen?

John: Jag skulle säga att tekniken är tillgänglig för att utveckla det. Vi arbetar för närvarande med Microsoft och Intel för att utforska några av de tekniker de kommer ut med, när det gäller hårdvara och mjukvara. Vi föreställer oss möjligheten att använda den tekniken för att känna igen teckenspråk och sedan konvertera det till tal- och ljudutgång.

Muo: Du arbetar aktivt med att utveckla den tekniken just nu?

yan: Så det var en kund som använde vår programvara och tyckte att det skulle vara underbart om vi kunde ändra det så att personer som är hörselskadade kan använda den för att ringa telefonsamtal från vår app, för att kommunicera utan behov av teckenspråk när de är personligen, eller utan behov av en TTY-typ för telefon samtal. Vi utvecklade den produkten och med finansiering från Microsoft och Intel lanserade vi SpeechTrans för hörselskadade i Windows 8.1, vilket tar bort behovet av teckenspråk.

Muo: Hur fungerar appen "personligen"?

yan: Det finns ett lyssningsläge och det finns ett inmatningsläge. Så när någon pratar med dig sätter du på lyssningsläge och det skriver ut allt som de säger på skärmen i text. Sedan, när du svarar tillbaka, skriver du ut den och sedan talar det högt vad du skriver. Med telefonen ringer du bara någon persons telefonnummer, och när de svarar på telefonen blir det som ett snabbmeddelande. Vad de än talar så får du som chatt. Därefter, vad du skriver, talas högt via telefonen. Det är den första fasen.

Near Future Sign Language Translation

Muo: Vilka tekniker kan människor förvänta sig att se inom en snar framtid? Vad är nästa fas?

John: Vi föreställer oss - för någon som bara har förmågan att använda teckenspråk - att kunna göra det framför en enhet som en telefon, PC eller bärbar dator. Intel har ett nytt kamerasystem, och Microsoft klarar sig likaså med Kinect, vilket gör gestigenkänning.

Muo: Hur är detta bättre än armbandskonceptet som Berghs studenter har lagt fram?

yan: I princip kommer vårt att arbeta på ett sätt där det inte kräver att du sätter något på din arm. Det kommer att känna igen 64 poäng på din hand. Vi använder betaversionen av Intels RealSense-kamera. Så inte bara kommer vi att kunna känna igen alla teckenspråk och flera olika teckenspråkiga dialekter, utan vi kommer också också kunna känna igen känslor, ansiktsuttryck och andra små nyanser och sedan konvertera det till talade ord som väl.

Det kräver inte att du bär handskar eller något. Vi fokuserar på den marknaden specifikt för att vi bara vill hjälpa människor i allmänhet. Vi vill inte bara hjälpa människor som vill tala på många olika språk, men vi vill också hjälpa människor som inte kan tala på något språk. Tekniken finns, och det finns ingen anledning att deras livskvalitet borde vara annorlunda än vår.

John: Det är ett genomförbart koncept. Det är bara en annan input och output. Några av de konversationer vi har haft med Microsoft om några av de framtida teknikerna är där någon kan faktiskt implantera ett mikrochip i halsen, och det läser direkt deras hjärnvåg mönster. Så om du hjälper människor som inte kan kommunicera skulle vi faktiskt se något sådant som en fas tre distribution.

Förra året var det en grupp studenter som kom ut med en fungerande prototyp av en handske som var ansluten till en dator. De gester som du gjorde med handsken skulle då identifieras och omvandlas till teckenspråk. Så de har redan kapacitet med den nuvarande tekniken.

Vår vision är att vi inte riktigt vill skapa tillbehör som armband som du måste sätta på. Det borde bara vara naturligt och fritt flöde för dem [människor som gör teckenspråk] att göra det framför sin videokamera. 90% av vad folk säger i kommunikation är faktiskt på deras kroppsspråk. För att kunna få tillgång till ansiktsigenkänning, gester och känslor kan vi använda den informationen som väl för att se till att översättningen och vad de försöker förmedla uttrycks på rätt sätt form.

Muo: Är Intel inom fem års intervall för att ha den teckenspråkigenkänningstekniken?

John: Intel har definitivt många resurser tillgängliga. Deras teknik och deras programvara kommer med i en takt där vi kan få detta att hända ganska snabbt.

Muo: Har du en tidsram för när du hoppas få denna teknik ut på marknaden?

John: För teckenspråket är det cirka 12 till 18 månader.

Muo: Har någon annan där ute något annat som det här för teckenspråköversättning?

John: Jag såg en YouTube-video av IBM som gjorde en prototyp där någon gjorde teckenspråk, men det var ett bevis på begreppet och det hade bara tre eller fyra ord som det kände igen. Vi har över femhundra tusen ord som vi planerar att rulla ut med, så det kommer att ta det till en helt annan nivå.

Slutsats

Även om visionen som studenterna vid Berghs drömde om kanske inte blir framtidens översättningsapp för teckenspråk, betyder det inte att ett sådant koncept inte kommer att hända. Vad det arbete som utförts på SpeechTran, Intel och Microsoft bevisar är att översättningen av teckenspråk nästan säkert kommer att bli en riktig teknik inom bara några år. Det kommer troligtvis inte att omfatta besvärliga armband, utan istället ingenting annat än en speciell videokamera och en mobilapp.

Genom magin med gester och ansiktsigenkänning lovar denna framtidsapp för app för teckenspråk att helt revolutionera interpersonell kommunikation för hundratusentals hörselskadad 5 bästa resurser för Mac- och Apple-enhetsanvändare med funktionsnedsättningar Läs mer eller hörselskadade individer över hela världen.