Vad är Apples neurala motor och hur fungerar det?

Din iPhone, iPad, Mac och Apple TV använder en specialiserad neural bearbetningsenhet som kallas Apple Neural Engine (ANE) som är mycket snabbare och mer energieffektiv än CPU eller GPU.

ANE möjliggör avancerade funktioner på enheten som naturligt språkbehandling och bildanalys utan att tappa in i molnet eller använda överdriven kraft.

Låt oss utforska hur ANE fungerar och dess utveckling, inklusive slutsatserna och intelligensen den driver över Apples plattformar och hur utvecklare kan använda den i appar från tredje part.

Vad är Apple Neural Engine (ANE)?

Apple Neural Engine är ett marknadsföringsnamn för ett kluster av mycket specialiserade beräkningskärnor som är optimerade för energieffektivt utförande av djupa neurala nätverk på Apple-enheter. Det accelererar maskininlärning (ML) och artificiell intelligens (AI) algoritmer, och erbjuder enorma hastighets-, minnes- och kraftfördelar jämfört med huvudprocessorn eller GPU: n.

ANE är en stor del av varför de senaste iPhones, iPads, Macs och Apple TVs är lyhörda och inte blir heta under tunga ML- och AI-beräkningar. Tyvärr har inte alla Apple-enheter en ANE – Apple Watch, Intel-baserade Mac-datorer och enheter äldre än 2016 saknar en sådan.

Den första ANE som debuterade inom Apples A11-chip i 2017 års iPhone X var kraftfull nog att stödja Face ID och Animoji. Som jämförelse är den senaste ANE i A15 Bionic-chippet 26 gånger snabbare än den första versionen. Nuförtiden möjliggör ANE funktioner som offline Siri, och utvecklare kan använda den för att köra tidigare tränade ML-modeller, vilket frigör CPU och GPU för att fokusera på uppgifter som är bättre lämpade för dem.

Hur fungerar Apples neurala motor?

ANE tillhandahåller kontroll och aritmetisk logik optimerad för att utföra omfattande beräkningsoperationer som multiplikation och ackumulering, som vanligtvis används i ML- och AI-algoritmer som bildklassificering, medieanalys, maskinöversättning och Mer.

Enligt Apples patent med titeln "Multi-Mode Planar Engine for Neural Processor," ANE består av flera neurala motorkärnor och en eller flera multi-mode planar kretsar.

Designen är optimerad för parallell beräkning, där många operationer, som matrismultiplikationer som körs i biljoner iterationer, måste utföras samtidigt.

För att påskynda slutledningar i AI-algoritmer använder ANE prediktiva modeller. Dessutom har ANE sin egen cache och stöder bara ett fåtal datatyper, vilket hjälper till att maximera prestanda.

AI-funktioner Drivs av ANE

Här är några funktioner på enheten som du kanske är bekant med som ANE möjliggör.

• Naturlig språkbehandling: Snabbare, mer tillförlitlig röstigenkänning för diktering och siri; Förbättrad naturlig språkinlärning i Translate-appen och i hela systemet; Omedelbar textöversättning i Foton, Kamera och andra iPhone-appar.
• Datorsyn: Hitta objekt i bilder som landmärken, husdjur, växter, böcker och blommor med hjälp av appen Foton eller Spotlight-sökning; Få ytterligare information om igenkända objekt med hjälp av Visual Look Up på platser som Safari, Mail och Messages.
• Augmented reality: Människoocklusion och rörelsespårning i AR-appar.
• Videoanalys: Detektering av ansikten och föremål på video i appar som Final Cut Pro.
• Kameraeffekter: Automatisk beskärning med Center Stage; Bakgrundssuddig under FaceTime-videosamtal.
• Spel: Fotorealistiska effekter i 3D-videospel.
• Live text: Tillhandahåller optisk teckenigenkänning (OCR) i kamera och foton, så att du enkelt kan kopiera handstil eller text som ett Wi-Fi-lösenord eller adress från bilder.
• Beräkningsfotografering: Deep Fusion analyserar pixlar för bättre brusreducering, större dynamiskt omfång och förbättrad automatisk exponering och vitbalans, och utnyttjar Smart HDR när det är lämpligt; Kort skärpedjup fotografering, inklusive att ta nattlägesporträtt; Justera nivån på bakgrundsoskärpa med Depth Control.
• Godbitar: ANE används också för fotografiska stilar i kameraappen, minnenskurering och stilistiska effekter i foton, personliga rekommendationer som bakgrundsförslag, VoiceOver bildtextning, hitta bilddubbletter i Foton osv.

Vissa av funktionerna som nämns ovan, som bildigenkänning, fungerar också utan en ANE närvarande men kommer att gå mycket långsammare och belasta enhetens batteri.

En kort historia om Apples neurala motor: Från iPhone X till M2 Mac

Under 2017 distribuerade Apple sin allra första ANE i form av två specialiserade kärnor inom iPhone X: s A11-chip. Med dagens standarder var det relativt långsamt, med bara 600 miljarder operationer per sekund.

Andra generationens ANE dök upp inuti A12-chippet 2018 och hade fyra gånger så många kärnor. Denna ANE hade fem biljoner operationer per sekund och var nästan nio gånger snabbare och använde en tiondel av kraften från sin föregångare.

2019 års A13-chip hade samma åttakärniga ANE men körde en femtedel snabbare samtidigt som den använde 15 % mindre ström, en produkt av TSMC: s förbättrade 7nm-halvledarnod. TSMC (Taiwan Semiconductor Manufacturing Company) tillverkar Apple-designade chips.

Utvecklingen av Apple Neural Engine

Följande år fördubblade Apple A14 nästan ANE-prestandan till 11 biljoner operationer per sekund, vilket uppnåddes genom att öka antalet ANE-kärnor från 8 till 16. 2021 drog A15 Bionic nytta av TSMC: s andra generationens 5nm-process, som ytterligare ökade ANE-prestanda till 15,8 biljoner operationer per sekund utan att lägga till fler kärnor.

De första Mac-bundna M1-, M1 Pro- och M1 Max-chippen hade samma ANE som A14, vilket för första gången avancerad, hårdvaruaccelererad ML och AI till macOS-plattformen.

År 2022 kombinerade M1 Ultra två M1 Max-chips i ett enda paket med hjälp av Apples anpassade sammankoppling kallad UltraFusion. Med två gånger ANE-kärnorna (32) fördubblade M1 Ultra ANE-prestanda till 22 biljoner operationer per sekund.

Apple A16 2022 tillverkades med hjälp av TSMC: s förbättrade N4-nod, vilket ger cirka 8 % snabbare ANE-prestanda (17 biljoner operationer per sekund) jämfört med A15:s ANE.

De första ANE-aktiverade iPadsna var femte generationens iPad mini (2019), tredje generationens iPad Air (2019) och åttonde generationens iPad (2020). Alla iPads som släppts sedan dess har en ANE.

Hur kan utvecklare använda ANE i appar?

Många tredjepartsappar använder ANE för funktioner som annars inte skulle vara genomförbara. Till exempel tillhandahåller bildredigeraren Pixelmator Pro verktyg som ML Super Resolution och ML Enhance. Och i djay Pro skiljer ANE beats, instrumental och sångspår från en inspelning.

Tredjepartsutvecklare får dock inte lågnivååtkomst till ANE. Istället måste alla ANE-samtal gå igenom Apples mjukvaruramverk för maskininlärning, Core ML. Med Core ML kan utvecklare bygga, träna och köra sina ML-modeller direkt på enheten. En sådan modell används sedan för att göra förutsägelser baserade på ny indata.

"När en modell väl finns på en användares enhet kan du använda Core ML för att träna om eller finjustera den på enheten, med den användarens data", enligt Core ML-översikten på Apples webbplats.

För att accelerera ML- och AI-algoritmer använder Core ML inte bara ANE utan även CPU och GPU. Detta gör att Core ML kan köra en modell även om ingen ANE är tillgänglig. Men med en ANE närvarande kommer Core ML att köras mycket snabbare, och batteriet kommer inte att laddas ur lika snabbt.

Många Apple-funktioner skulle inte fungera utan ANE

Många funktioner på enheten skulle inte vara möjliga utan den snabba bearbetningen av AI- och ML-algoritmer och det minimerade minnesfotavtryck och energiförbrukning som ANE ger till bordet. Apples magi är att ha en dedikerad samprocessor för att köra neurala nätverk privat på enheten istället för att ladda ner dessa uppgifter till servrar i molnet.

Med ANE kan både Apple och utvecklare implementera djupa neurala nätverk och skörda fördelarna med accelererad maskininlärning för olika prediktiva modeller som maskinöversättning, objektdetektering, bildklassificering, etc.