YouTube kommer att använda nervnätverk för att förstå filmer

Söker på YouTube Hur man söker på YouTube som en PRO med Googles avancerade operatörer Läs mer kan vara en frustrerande upplevelse; om du vet vad en video handlar om, eller om du kommer ihåg innehållet men inte namnet, kan du leta efter mycket länge. Det beror på att YouTube inte gör det ser filmerna på samma sätt som en person gör. Den ser bara metadata - titel, beskrivning och taggar. Och det antas att uppladdaren brytt sig om att ta med informationen.

Allt detta kan förändras inom en snar framtid. Google lämnade nyligen ett patent som indikerar att YouTube faktiskt kan börja förstå filmerna som den spelar.

Relevansbaserat bildval

Googles patentansökan är för "relevansbaserad bildval", ett fint sätt att säga "hitta saker som någon sökte efter baserat på vad som finns i en video." I systemet utarbetat i patentet, en algoritmen är utbildad för att extrahera specifika funktioner i varje video och tilldela nyckelord till dem - den kan sedan returnera en video som svar på en användarinitierad sökning som inkluderar de nyckelord.

Applikationen ger ett intressant exempel:

"[I] om användaren skriver in sökfrågan" bilrace ", videosökmotorn... kan hitta och returnera en bilracingscene från en film, även om scenen kanske bara är en kort del av filmen som inte beskrivs i textmässiga metadata. ”

Uppenbarligen kommer detta att drastiskt förändra hur effektiv en YouTube-sökning är. Videor som tidigare har varit oavslutbara på grund av dåliga metadata hittas. Videor som innehåller användbara klipp i mitten, omgiven av mindre intressanta saker i början och slutet, kommer att vara mycket mer värdefulla. TED-samtalsvideor 8 TED-samtal Videor under 5 minuter som du vill titta påHar du fem minuter att döda? Vilket bättre sätt att spendera den tiden än att titta på en fascinerande eller informativ TED Talks-video. Det finns mycket bra innehåll att se på TED men ibland ... Läs mer kommer att finnas baserat på enstaka rader som talas i dem. Du kan hitta kattvideor även om "katt" inte finns i titeln.

Att kombinera denna teknik med Googles redan imponerande förmåga att hitta saker som är relaterade till dina söktermer innebär sannolikt att hitta videor blir en helt annan upplevelse. Du ser relaterade videor som inte innehåller ditt sökord, men innehåller en term som är relaterad (kanske till och med visuellt relaterad). Det visuella ekvivalentet med nyckelordsplacering kan börja påverka var en video visas i rankningen. Vem vet hur avancerat det här kan vara?

Hur fungerar det?

Google håller förståeligtvis sina kort nära bröstet på den här. Följande stycke i deras patentansökan belyser emellertid hur de får YouTube att "se" videor:

”I en aspekt genererar ett datorsystem det sökbara videoindex med en maskinlärt modell 4 Algoritmer för maskininlärning som formar ditt livDu kanske inte inser det men maskininlärning finns redan runt omkring dig och det kan utöva en överraskande grad av inflytande över ditt liv. Tro mig inte? Du kanske blir förvånad. Läs mer av förhållandena mellan funktioner i videoramar och nyckelord som är beskrivande för videoinnehåll. Videovärdssystemet får en märkt träningsdatasats som innehåller en uppsättning medieobjekt (t.ex. bilder eller ljudklipp) tillsammans med ett eller flera nyckelord som beskriver mediainnehållet poster. Videovärdssystemet extraherar funktioner som karakteriserar innehållet i medieobjekten. En maskininstruerad modell utbildas för att lära sig korrelationer mellan specifika funktioner och nyckelorden som är beskrivande för innehållet. Videoindex genereras sedan som kartlägger ramar av videor i en videodatabas till nyckelord baserade på funktioner i videorna och den maskinlärda modellen. "

Det är många riktigt täta grejer, men här är vad det kommer till. En maskininlärningsalgoritm skapas, och för att hjälpa den att lära sig kommer Google att visa den en massa videor och ge nyckelord för att berätta vad som finns i videon. Algoritmen börjar lära sig att associera specifika funktioner i videorna med specifika nyckelord och ges feedback från Googles tekniker. Ju fler videor och nyckelord det visas, desto bättre blir det under processen.

Så småningom kommer algoritmen att introduceras i YouTube-sökmotorn, där den kommer att fortsätta lära sig och bli bättre på att välja ut relevanta nyckelord från ljud- och videoinnehåll. Även om patentansökan inte nämner specifikt neurala nätverk Den senaste datatekniken du måste se för att troKolla in några av de senaste datorteknologierna som är avsedda att omvandla världen inom elektronik och datorer under de närmaste åren. Läs mer , det är mycket troligt att den här typen av maskininlärning kommer att användas, eftersom det är mycket bra för iscensatt lärande som det här.

Genom att simulera den mänskliga hjärnan (eller åtminstone en teoretisk modell för hur den lär sig) kan stora neurala nätverk bli mycket effektiva på lärande på egen hand, utan övervakning, och YouTube skulle ge en helt gigantisk lekplats där den kunde lära sig och ta emot respons. Andra typer av maskininlärning kan användas, men utifrån vad vi vet för tillfället ser neurala nätverk definitivt ut det mest troliga.

Google-forskare (och “far till djup inlärning”) Geoffrey Hinton antydde om något därtill i sin Reddit AMA tidigare i år.

“Jag tror att de mest spännande områdena under de kommande fem åren verkligen är att förstå videor och text. Jag blir besviken om vi om fem år inte har något som kan titta på en YouTube-video och berätta en historia om vad som hände. ”

Kommer det att få vänner och döda oss alla?

Detta är alltid frågan som uppstår när ett nytt tillkännagivande om maskininlärning slår till nyheterna. Och svaret är som alltid ja Här är varför forskare tycker att du borde vara orolig för artificiell intelligensTycker du att konstgjord intelligens är farligt? Kan AI utgöra en allvarlig risk för människors ras. Det här är några skäl till varför du kanske vill vara bekymrad. Läs mer . YouTube kommer att samarbeta med Watson och Wolfram Alpha för att lura oss till underhållenhet med hjälp av YouTube-videor, varefter de sannolikt kommer att förvandla oss till datormat. (Har du inte sett Koloss?)

Jag kämpar naturligtvis. Men de potentiella implikationerna av att träna datorer för att känna igen saker som de "ser" och "hör" i videor är mycket imponerande. DARPA har redan börjat leta Du kommer inte att tro det: DARPA framtida forskning i avancerade datorerDARPA är en av de mest fascinerande och hemlighetsfulla delarna av den amerikanska regeringen. Följande är några av DARPAs mest avancerade projekt som lovar att förändra teknologivärlden. Läs mer till följd av denna tekniks säkerhetsimplikationer, men det är inte svårt att föreställa sig att den används i lag, hemsäkerhet, utbildning... ganska mycket var som helst.

Huruvida Googles relevansbaserade bildval kommer att vara lika effektivt som vi föreställer oss återstår att se, men det kan vara en potentiell banbrytande förändring i videosökningen. Och därifrån, vem vet? Om Google kan använd sanningen som en rankingsfaktor Kan Google använda en algoritm för att bestämma sanningen?Google undersöker om dess algoritm kan inkludera sanningen som en rankingsfaktor. Vad betyder det för webben? Läs mer , det finns ingen anledning att tro att den här tekniken inte kommer att bli otroligt kraftfull. Det kan ändra hur mycket av Internet som verkligen förstår sig själv. Om den tanken inte binder dig i knutar, vet jag inte vad som kommer.

Vad tycker du om Googles patentansökan? Vilka andra användningar kan du föreställa dig att den här tekniken har? Dela dina tankar nedan!

Bildkrediter: Willyam Bradberry via Shutterstock.com, Ciumac Sergiu via kod42, Marko Bradic via Shutterstock.com.