Qu’est-ce que le moteur neuronal d’Apple et comment fonctionne-t-il ?

Votre iPhone, iPad, Mac et Apple TV utilisent une unité de traitement neuronal spécialisée, appelée Apple Neural Engine (ANE), qui est bien plus rapide et plus économe en énergie que le CPU ou le GPU.

L’ANE rend possible des fonctionnalités avancées sur l’appareil, telles que le traitement du langage naturel et l’analyse d’images, sans puiser dans le nuage ni utiliser une puissance excessive.

Explorons le fonctionnement et l’évolution de l’ANE, notamment l’inférence et l’intelligence qu’il permet sur les plateformes Apple et la manière dont les développeurs peuvent l’utiliser dans des applications tierces.

Qu’est-ce que l’Apple Neural Engine (ANE) ?

Apple Neural Engine est le nom commercial d’un cluster de cœurs de calcul hautement spécialisés, optimisés pour l’exécution économe en énergie de réseaux neuronaux profonds sur les appareils Apple. Il accélère les algorithmes d’apprentissage automatique (ML) et d’intelligence artificielle (AI), offrant des avantages considérables en termes de vitesse, de mémoire et de puissance par rapport au CPU ou au GPU principal.

L’ANE explique en grande partie pourquoi les derniers iPhones, iPads, Macs et Apple TVs sont réactifs et ne chauffent pas pendant les calculs lourds de ML et d’AI. Malheureusement, tous les appareils Apple ne sont pas dotés d’un ANE – l’Apple Watch, les Macs à processeur Intel et les appareils antérieurs à 2016 en sont dépourvus.

Le premier ANE qui a fait ses débuts au sein de la puce A11 d’Apple dans l’iPhone X de 2017 était suffisamment puissant pour prendre en charge Face ID et Animoji. En comparaison, le dernier ANE dans la puce A15 Bionic est 26 fois plus rapide que la première version. Aujourd’hui, l’ANE permet des fonctionnalités comme Siri hors ligne, et les développeurs peuvent l’utiliser pour exécuter des modèles ML préalablement formés, libérant ainsi le CPU et le GPU pour qu’ils se concentrent sur des tâches qui leur conviennent mieux.

Comment fonctionne le moteur neuronal d’Apple ?

L’ANE fournit une logique de contrôle et d’arithmétique optimisée pour effectuer des opérations de calcul étendues comme la multiplication et l’accumulation, couramment utilisées dans les algorithmes de ML et d’AI tels que la classification d’images, l’analyse des médias, la traduction automatique, etc.

Selon le brevet d’Apple intitulé  » Multi-Mode Planar Engine for Neural Processor « , l’ANE se compose de plusieurs cœurs de moteur neuronal et d’un ou plusieurs circuits planaires multimodes.

La conception est optimisée pour le calcul parallèle, où de nombreuses opérations, telles que des multiplications de matrices exécutées en milliers de milliards d’itérations, doivent être effectuées simultanément.

Pour accélérer l’inférence dans les algorithmes d’IA, ANE utilise des modèles prédictifs. En outre, l’ANE dispose de son propre cache et ne prend en charge que quelques types de données, ce qui permet de maximiser les performances.

Fonctionnalités de l’IA réalisées par ANE

Voici quelques fonctionnalités de l’appareil que vous connaissez peut-être et que l’ANE rend possibles.

• Traitement du langage naturel: Reconnaissance vocale plus rapide et plus fiable pour Dictée et Siri ; Amélioration de l’apprentissage du langage naturel dans l’application Traduire et dans l’ensemble du système ; Traduction instantanée de texte dans Photos, Appareil photo et autres applications iPhone.
• Vision par ordinateur: Trouver des objets dans des images comme des points de repère, des animaux domestiques, des plantes, des livres et des fleurs à l’aide de l’application Photos ou de la recherche Spotlight. Obtenir des informations supplémentaires sur des objets reconnus à l’aide de la fonction Visual Look Up dans des endroits comme Safari, Mail et Messages.
• Réalité augmentée: Occlusion des personnes et suivi des mouvements dans les applications de réalité augmentée.
• Analyse vidéo: Détection de visages et d’objets sur une vidéo dans des applications comme Final Cut Pro.
• Effets de caméra: Recadrage automatique avec Center Stage ; flou d’arrière-plan pendant les appels vidéo FaceTime.
• Jeux: Effets photoréalistes dans les jeux vidéo 3D.
• Texte en direct: Fournit la reconnaissance optique de caractères (OCR) dans Appareil photo et Photos, ce qui vous permet de copier facilement de l’écriture manuscrite ou du texte comme un mot de passe Wi-Fi ou une adresse à partir d’images.
• Photographie computationnelle: Deep Fusion analyse les pixels pour une meilleure réduction du bruit, une plus grande plage dynamique et une amélioration de l’exposition automatique et de la balance des blancs, en tirant parti du Smart HDR le cas échéant ; Photographie à faible profondeur de champ, y compris la prise de portraits en mode Nuit ; Réglage du niveau de flou de l’arrière-plan avec Depth Control.
• Anecdotes : L’ANE est également utilisé pour les styles photographiques dans l’application Appareil photo, la sélection de souvenirs et les effets de style dans Photos, les recommandations personnalisées comme les suggestions de fonds d’écran, les légendes d’images VoiceOver, la recherche de doublons d’images dans Photos, etc.

Certaines des fonctions mentionnées ci-dessus, comme la reconnaissance d’images, fonctionnent également sans la présence d’un ANE, mais elles sont beaucoup plus lentes et sollicitent la batterie de votre appareil.

Une brève histoire du moteur neuronal d’Apple : De l’iPhone X aux Macs M2

En 2017, Apple a déployé son tout premier MNA sous la forme de deux cœurs spécialisés au sein de la puce A11 de l’iPhone X. Selon les normes d’aujourd’hui, il était relativement lent, avec seulement 600 milliards d’opérations par seconde.

La deuxième génération de l’ANE est apparue dans la puce A12 en 2018, avec quatre fois plus de cœurs. D’une capacité de cinq mille milliards d’opérations par seconde, cet ANE était presque neuf fois plus rapide et utilisait un dixième de la puissance de son prédécesseur.

La puce A13 de 2019 présentait le même ENA à huit cœurs, mais fonctionnait un cinquième plus vite tout en consommant 15 % d’énergie en moins, un produit du nœud de semi-conducteurs 7 nm amélioré de TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) fabrique les puces conçues par Apple.

L’évolution du moteur neuronal d’Apple

L’année suivante, l’Apple A14 a presque doublé les performances de l’ANE pour atteindre 11 000 milliards d’opérations par seconde, ce qui a été réalisé en augmentant le nombre de cœurs ANE de 8 à 16. En 2021, l’A15 Bionic a bénéficié du processus 5nm de deuxième génération de TSMC, qui a encore augmenté les performances de l’ANE à 15,8 trillions d’opérations par seconde sans ajouter de cœurs supplémentaires.

Les premières puces M1, M1 Pro et M1 Max liées à Mac avaient le même ANE que l’A14, apportant pour la première fois à la plateforme macOS des fonctions avancées de ML et d’IA accélérées par le matériel.

En 2022, le M1 Ultra a combiné deux puces M1 Max dans un seul boîtier en utilisant l’interconnexion personnalisée d’Apple appelée UltraFusion. Avec deux fois plus de cœurs ANE (32), le M1 Ultra a doublé les performances ANE pour atteindre 22 trillions d’opérations par seconde.

L’Apple A16 de 2022 a été fabriqué à l’aide du nœud N4 amélioré de TSMC, apportant des performances ANE environ 8 % plus rapides (17 trillions d’opérations par seconde) par rapport à l’ANE de l’A15.

Les premiers iPads dotés de l’ANE ont été l’iPad mini de cinquième génération (2019), l’iPad Air de troisième génération (2019) et l’iPad de huitième génération (2020). Tous les iPads sortis depuis ont un ANE.

Comment les développeurs peuvent-ils utiliser l’ANE dans les applications ?

De nombreuses applications tierces utilisent l’ANE pour des fonctions qui ne seraient pas réalisables autrement. Par exemple, l’éditeur d’images Pixelmator Pro propose des outils tels que ML Super Resolution et ML Enhance. Et dans djay Pro, l’ANE sépare les rythmes, les instruments et les pistes vocales d’un enregistrement.

Cependant, les développeurs tiers n’ont pas d’accès de bas niveau à ANE. Au lieu de cela, tous les appels ANE doivent passer par le cadre logiciel d’Apple pour l’apprentissage automatique, Core ML. Avec Core ML, les développeurs peuvent créer, former et exécuter leurs modèles d’apprentissage automatique directement sur l’appareil. Un tel modèle est ensuite utilisé pour faire des prédictions sur la base de nouvelles données d’entrée.

« Une fois qu’un modèle est sur l’appareil d’un utilisateur, vous pouvez utiliser Core ML pour le réentraîner ou l’affiner sur l’appareil, avec les données de cet utilisateur », selon la présentation de Core ML sur le site web d’Apple.

Pour accélérer les algorithmes de ML et d’AI, Core ML exploite non seulement l’ANE, mais aussi le CPU et le GPU. Cela permet à Core ML d’exécuter un modèle même si aucun ANE n’est disponible. Mais en présence d’un ANE, Core ML fonctionnera beaucoup plus rapidement et la batterie ne se déchargera pas aussi vite.

De nombreuses fonctionnalités Apple ne fonctionneraient pas sans ANE

De nombreuses fonctionnalités sur les appareils ne seraient pas possibles sans le traitement rapide des algorithmes d’IA et de ML et la réduction de l’empreinte mémoire et de la consommation d’énergie qu’apporte ANE. La magie d’Apple consiste à disposer d’un coprocesseur dédié à l’exécution des réseaux neuronaux en privé sur l’appareil au lieu de décharger ces tâches sur des serveurs dans le nuage.

Grâce à ANE, Apple et les développeurs peuvent mettre en œuvre des réseaux neuronaux profonds et profiter des avantages de l’apprentissage automatique accéléré pour divers modèles prédictifs tels que la traduction automatique, la détection d’objets, la classification d’images, etc.