Une interprétation approfondie du goulot d'étranglement 6TOPS de RK3588 et la vérité sur la puissance de calcul du NPU

Imaginez que vous travaillez sur un projet d'IA de pointe avec le RK3588: le flux vidéo de la caméra doit effectuer la reconnaissance faciale en temps réel et la détection de véhicules, tout en supportant l'affichage de l'interface utilisateur, le téléchargement de données,et le traitement de logique d'entrepriseVous remarquerez que les chutes de cadre se produisent quand il y a beaucoup d'objets dans le cadre, que les grands modèles ne fonctionnent pas bien et que la température augmente fortement.

À ce stade, les gens disent généralement: "Votre modèle est trop grand" Les 6TOPS de RK3588 ne suffisent pas.

Mais est-ce vraiment un manque de puissance de calcul? vous êtes-vous déjà demandé: pourquoi un 6TOPS NPU éprouve-t-il encore des chutes de trame et un retard lors de l'exécution d'un modèle 4TOPS?La réponse réside dans les trois dimensions de la puissance de calcul du NPU:Performance maximale (TOPS),Pour les appareils de surveillance des risques, le système d'avertissement est utilisé., etEfficacité (largeur de bande).

Vous verrez que diverses puces mettent l'accent sur leurs spécifications NPU, avec un paramètre de base affiché de manière proéminente: Puissance de calcul NPU: X TOPS.RK1820-20TOPS Pour les appareils électroniquesIl y a aussi des modèles comme le Hi3403V100-10TOPS, le Hi3519DV500-2.5TOPS, le Jetson Orin Nano-20/40TOPS, le Jetson Orin NX-70/100TOPS, et ainsi de suite...

Je suis là.: représente 1012.

Opérations par seconde: désigne le nombre total d'opérations d'IA que le NPU peut effectuer en une seconde.

Le nombre total d'unités MAC est le noyau de l'informatique des réseaux de neurones.le calcul principal consiste à multiplier les données d'entrée par des poids, puis à additionner les résultats.

La philosophie de conception d'une NPU réside dans le fait d'avoir un très grand nombre d'unités MAC parallèles.qui peuvent fonctionner simultanément pour réaliser des calculs parallèles à grande échelle.

Plus il y a d'unités MAC, plus le NPU peut effectuer de calculs en un seul cycle d'horloge.

Fréquence d'horloge: Détermine le nombre de cycles de fonctionnement de la puce NPU et de ses unités MAC par seconde (mesurés en Hertz, Hz).Une fréquence plus élevée permet au tableau MAC d'effectuer plus d'opérations de multiplication-accumulation par unité de tempsLorsque les fabricants annoncent TOPS, ils utilisent la fréquence de fonctionnement maximale de l'UPN (c'est-à-dire la fréquence maximale atteignable).

Opérations par MAC: une opération MAC complète comprend en fait une multiplication et une addition.de nombreuses normes de calcul comptent une opération MAC comme 2 opérations de base (1 pour la multiplication et 1 pour l'addition).

Facteur de précision: Les unités MAC d'un NPU sont optimisées pour le traitement de données de basse précision (par exemple, INT8).

Rapport de vitesse simplifié d'INT8 vs FP32: puisque 32 bits / 8 bits = 4, une seule unité FP32 peut théoriquement effectuer 4 fois plus d'opérations en un cycle lorsqu'elle est passée au calcul INT8.,si le TOPS d'un fabricant est calculé sur la base d'INT8, il doit être multiplié par un rapport d'accélération lié à la précision.

TOPS mesure la puissance de calcul théorique maximale. Dans les applications pratiques, en raison de facteurs tels que la transmission de données, les contraintes de mémoire et la structure du modèle, la capacité de calcul maximale est réduite.la puissance de calcul effective réelle d'un NPU est souvent inférieure à cette valeur maximale.

La puissance de calcul nous indique à quelle vitesse un NPU fonctionne, tandis que la précision de calcul nous indique à quel point il fonctionne.déterminer le nombre de bits utilisés et la gamme de représentation des données lors du calcul.

Au même niveau TOPS, la vitesse de calcul réelle d'INT8 est beaucoup plus rapide que celle de FP32.

Les TOPS NPU revendiqués par les fabricants sont généralement basés sur la précision INT8.

• FP32 (point flottant à précision unique, 32 bits): offre la plus grande plage numérique et la plus grande précision. Utilisé couramment dans les processeurs GPU et PC traditionnels. Les modèles adoptent généralement FP32 pendant la phase de formation pour assurer la précision.
• FP16/BF16 (point flottant à demi-précision, 16 bits): Réduit de moitié le volume des données tout en maintenant un certain niveau de précision, permettant un calcul plus rapide et des économies de mémoire.

• INT8 (8 bits entiers): Actuellement la norme de l'industrie pour l'évaluation des performances d'inférence des NPU de bord.FP32) à des entiers de 8 bits est appelée quantification.
• INT4 (largeur de bit inférieure): comporte une compression supplémentaire, adaptée à des scénarios avec des exigences extrêmement élevées en matière de consommation d'énergie et de latence, mais impose des exigences plus élevées en matière de contrôle de la perte de précision du modèle.

Quand vous voyez un NPU qui revendique 20 TOPS (INT8), vous devez comprendre:

• La puissance de calcul maximale est de 20 billions d'opérations par seconde.
• Cette puissance de calcul est mesurée avec une précision d'integer de 8 bits (INT8).
• Les performances finales dépendent de l'application: l'expérience utilisateur réelle (telle que la vitesse de déverrouillage du visage, la latence de traduction en temps réel) dépend non seulement des TOPS du NPU, mais aussi de:
  • Qualité de la quantification du modèle: si le modèle INT8 quantifié maintient une précision suffisante.
  • Largeur de bande de mémoire: Vitesse d'entrée et de sortie des données.
  • Software stack and drivers: Le niveau d'optimisation de la chaîne d'outils et des pilotes fournis par le fabricant de la puce pour le déploiement du modèle.

La puissance de calcul d'un NPU (TOPS) est un indicateur de sa vitesse, tandis que la précision de calcul (par exemple, INT8) est la clé de son efficacité et de son applicabilité.Les fabricants visent généralement à maximiser les TOPS INT8 tout en maintenant une perte de précision acceptable, afin d'obtenir des performances d'inférence d'IA à faible puissance et à haut rendement.