Vad är TensorFlow Lite och hur är det ett djupt lärande ramverk?

Du kanske har stött på TensorFlow Lite när du har gått igenom Edge AI-utvecklingskort eller AI-accelerationsprojekt.

TensorFlow Lite är ett ramverk av mjukvarupaket som möjliggör ML-utbildning lokalt på hårdvaran. Denna bearbetning och databehandling på enheten gör det möjligt för utvecklare att köra sina modeller på riktad hårdvara. Maskinvaran inkluderar utvecklingskort, hårdvarumoduler, inbäddade och IoT-enheter.

Översikt av TensorFlow Lite Framework

TensorFlow är en populär term inom djupinlärning, eftersom många ML-utvecklare använder denna ram för olika användningsfall. Det ger enkel implementering maskininlärningsmodeller och slutsatser för AI-applikationer.

Men TensorFlow Lite är en djupinlärningsram för lokal inferens, speciellt för låg beräkningshårdvara. Det möjliggör maskininlärning på enheten genom att hjälpa utvecklare att köra sina modeller på kompatibel hårdvara och IoT-enheter.

En utvecklare måste välja en lämplig modell beroende på användningsfallet. Ramverket ger också möjlighet att omskola den befintliga modellen i en anpassad datamängd. Eftersom TensorFlow: s protokollbuffermodell har en stor storlek och kräver avancerad beräkningskraft, möjliggör den således omvandlingen av TensorFlow-modellen till TensorFlow Lite-modellen.

Anpassningen av optimering och kvantisering av parametrar möjliggör minskning av modellstorlek och latens.

Bortsett från latens- och storleksfördelarna med TensorFlow Lite, ger ramverket säkerheten för data när träning sker lokalt på enheten. Dessutom finns det inget behov av internetanslutning. Således är distributionen av applikationer inte begränsad till specifika områden med anslutning.

Dessa faktorer minskar slutligen strömförbrukningen på enheten genom att eliminera anslutningsfaktorn och öka effektiviteten hos djupinlärningsinferensen.

Modeller av TensorFlow Lite-ramverket finns i ett plattformsformat som kallas FlatBuffers. Det är ett serialiseringsbibliotek som lagrar hierarkiska data i en platt binär buffert så att direkt åtkomst är möjlig utan uppackning. Du kan också följa förlängningen “.tflite” för TensorFlow Lite-modellerna. Denna representationsteknik möjliggör optimeringar i beräkningar och minskar minneskraven. Därför gör det mycket bättre än TensorFlow-modeller

TinyML på TensorFlow Lite Micro

Eftersom TensorFlow Lite är kompatibel med olika plattformar för Edge AI-applikationer var behovet av ytterligare konvergering av biblioteket nödvändigt. Därför kom organisationen med ett delmängdsbibliotek av TensorFlow Lite, känt som TensorFlow Lite Micro. TensorFlow Lite Micro kör specifikt maskininlärningsmodeller på mikrokontroller lokalt med minimikrav på minne på några kilobyte.

Kärnan i proceduren integreras med 16KB på en Arm Cortex M3 och kan fungera på olika modeller. Ramverket kräver inte ytterligare OS-stöd eller andra språkbibliotek på hög nivå som beroenden för att köra slutsatsen på enheten.

Utvecklingen av TensorFlow Lite Micro-rötter till C ++ 11, som behöver 32-bitars arkitektur för kompatibilitet. Pratar mer om arkitekturerna fungerar biblioteket bra på ett robust utbud av processorer baserat på Arm Cortex-M-seriens arkitektur till andra designarkitekturer som ESP32.

Arbetsflöde för TensorFlow Lite Micro-fodral

Träningsprocessen i det neurala nätverket kräver hög beräkningshårdvara. Således tränas det på allmänheten TensorFlow-modell. Träning krävs dock endast om en anpassad datamängd passar en djup inlärningsmodell, medan förutbildade modeller på ramverket också kan användas för applikationerna.

Förutsatt att ett anpassat användningsfall med den applikationsspecifika datasetet tränar användaren modellen i det allmänna TensorFlow-ramverket med hög bearbetningskapacitet och arkitektur. När träningen är över verifierar modellutvärderingen med testtekniker modellens noggrannhet och tillförlitlighet. Vidare följs processen av att konvertera TensorFlow-modellen till hårdvarukompatibel TensorFlow Lite-modell i .tflite-format.

.Tflite-formatet är en platt buffertfil som är gemensam för TensorFlow Lite-ramverket och kompatibel hårdvara. Modellen kan vidare användas för inferensutbildning om realtidsdata som mottagits på modellen. Slutsatsutbildningen optimerade modellerna för robusta användningsfall. Därför är alternativet för inferensutbildning avgörande för kanten AI-applikationer.

De flesta av mikrokontrollers firmware stöder inte det inbyggda filsystemet för direkt inbäddning av det platta buffertformatet för TensorFlow Lite-modellen. Därför är konvertering av .tflite-filen nödvändig till ett array-strukturformat, vilket är kompatibelt med mikrokontrollerna.

Att inkludera programmet i C-arrayen följt av normal kompilering är en enkel teknik för sådan konvertering. Det resulterande formatet fungerar som en källfil och består av ett teckenarray som är kompatibelt med mikrokontrollerna.

Enheter som stöder TensorFlow Lite Micro

TensorFlow Lite är lämplig för kraftfulla enheter, men den kommer med nackdelen med den större arbetsbelastningen på processorn. Även om TensorFlow Lite Micro har små filer som är benägna att underpassa, optimerar filstorleken det passar minnet kan avsevärt förbättra utdata för hårdvara med låg effekt och låg bearbetning, t.ex. mikrokontroller.

Här är listan över utvecklingskort från den officiella TensorFlow-dokumentationen som stöder TensorFlow Lite Micro:

• Arduino Nano 33 BLE Sense
• SparkFun Edge
• STM32F746 Discovery kit
• Adafruit EdgeBadge
• Adafruit TensorFlow Lite för mikrokontrollersats
• Adafruit Circuit Playground Bluefruit
• Espressif ESP32-DevKitC
• Espressif ESP-EYE
• Wio-terminal: ATSAMD51
• Himax WE-I Plus EVB Endpoint AI Development Board

TensorFlow Lite Micro finns också som ett Arduino-bibliotek för utökat stöd för mikrokontroller. Det kan också bygga projekt för hårdvaruutvecklingsmiljöer som liknar Mbed.

TensorFlow Lite erbjuder mycket

TensorFlow Lite ram för djupinlärning öppnar upp möjligheterna för ett antal avancerade AI-applikationer. Eftersom ramverket är öppen källkod för AI-entusiaster gör community-stödet det ännu mer populärt för fall av maskininlärning. Den övergripande plattformen för TensorFlow Lite förbättrar miljön för tillväxt av kantapplikationer för inbäddade och IoT-enheter

Dessutom finns det olika exempel för nybörjare som hjälper dem med praktiska användningsfall på ramverket. Några av dessa exempel inkluderar personupptäckt beroende på den data som samlas in av bildsensorn på utvecklingskortet och det vanliga Hello-världsprogrammet för alla utvecklingskort. Exemplen inkluderar också applikationer som gestdetektering och taligenkänning för specifika utvecklingskort.

För mer information om TensorFlow Lite och TensorFlow Lite Microkan du besöka organisationens officiella dokumentationssida. Det finns många konceptuella såväl som tutorialsektioner för en bättre förståelse av ramverket.

Kom igång med bildigenkänning med TensorFlow och Raspberry Pi

Vill du ta hand om bildigenkänning? Tack vare Tensorflow och en Raspberry Pi kan du komma igång direkt.

Läs Nästa

Om författaren