Le calcul IA est plus que le SoC principal ! Un regard clair sur le rôle réel du RK1820 dans le système RK3588

Pourquoi de plus en plus d'appareils périphériques parlent de NPU et de coprocesseurs ? Le RK3588 est déjà un SoC puissant de 6 TOPS (INT8), mais dans des scènes complexes telles que l'inférence multi-tâches, le parallélisme des modèles et l'analyse vidéo-IA, le plafond de calcul d'une seule puce est toujours présent. Le RK1820 a été créé exactement pour prendre en charge cette part de charge et soulager l'« anxiété de calcul » du SoC principal. Dans les équipements d'IA en périphérie, le processeur hôte ne se bat plus seul ; lorsque les tâches d'IA dépassent la capacité de planification du CPU/NPU traditionnel, le coprocesseur intervient discrètement et assume une partie de la charge de travail intelligente.

Le RK1820 est un coprocesseur spécialement conçu pour l'inférence et l'extension de calcul de l'IA ; il s'associe de manière flexible aux SoC hôtes tels que le RK3588 et le RK3576 et communique avec eux efficacement via des interfaces PCIe ou USB.

Dans le système RK3588 + RK1820, le pipeline des tâches d'IA est décomposé en une architecture à quatre niveaux :
Application → Middleware → Exécution du coprocesseur → Contrôle et présentation.
Hôte RK3588 : gère la planification des tâches, le prétraitement des données et la sortie des résultats, régissant l'ensemble du flux de travail.
Coprocesseur RK1820 : dédié à l'inférence IA à calcul intensif, couplé à l'hôte via PCIe, formant un modèle de collaboration « contrôle léger + calcul lourd ».

La couche d'application est l'endroit où chaque tâche d'IA commence ; elle traduit les exigences de l'utilisateur — analyse d'images, détection d'objets, questions-réponses LLM côté périphérie, etc. — en commandes de tâches exécutables par le système et les transmet à la couche middleware via des API standardisées. Cette couche est entièrement gérée par l'hôte RK3588, qui gère l'interaction avec l'utilisateur, la logique métier et les données périphériques.

Réception des tâches : acquiert les commandes de l'utilisateur via des caméras, des écrans tactiles, Ethernet, UART, etc.

• Sécurité intelligente : détecter les personnes dans les trames vidéo
• Inspection industrielle : identifier les défauts de surface sur les produits
• LLM en périphérie : convertir l'entrée vocale en texte et former une tâche de questions-réponses

Standardisation des commandes : transforme les entrées non structurées en paramètres de tâches structurés

• Tâche de vision : résolution d'entrée, version du modèle, exigences de sortie
• Tâche LLM : jetons d'entrée, version du modèle, longueur de sortie maximale

La couche middleware est le hub collaboratif : elle juge chaque tâche, alloue des ressources, pré-traite les données et gère le trafic du bus. Elle décide si la tâche s'exécute sur l'hôte ou est déchargée vers le coprocesseur.
RK3588 uniquement ; RK1820 ne participe pas à la configuration PCIe ni à la gestion des interruptions — il exécute simplement les tâches d'inférence dispatchées par l'hôte.

Classification et planification des tâches

• Traitement local : les tâches à faible calcul ou critiques en termes de latence (mise à l'échelle des images, inférence IA légère) sont gérées par le CPU/NPU/RGA du RK3588.
• Déchargement vers RK1820 : les tâches à calcul intensif (détection multi-classes YOLOv8, inférence LLM, segmentation sémantique) sont envoyées au RK1820. Une fois que le RK1820 prend le relais, le CPU/NPU de l'hôte est libéré pour d'autres travaux.

Prétraitement des données

• Vision : recadrer, dé-bruiter, normaliser, réordonner les canaux.
• Texte : tokeniser, compléter, encoder.

Contrôle de la communication du bus

• Établit une liaison via PCIe ou USB3.
• Le transfert de données utilise DMA, aucune intervention du CPU.
• Émet des commandes de contrôle d'inférence : démarrer le NPU, définir la précision, déclencher une interruption de fin.

Cette couche est le cœur d'inférence, piloté exclusivement par le coprocesseur RK1820, dédié à l'inférence IA à calcul intensif.
RK1820 actif ; RK3588 n'interfère pas avec l'inférence, il attend seulement les résultats. Les délais d'attente ou les exceptions sont gérés par le RK3588 via les commandes de réinitialisation PCIe.

Réception et préparation des tâches

Reçoit les données, les poids du modèle et les commandes dispatchées par le RK3588 ; les écrit dans la DRAM locale à haute bande passante, charge le modèle et configure le NPU.

Calcul d'inférence NPU

• Détection d'objets (YOLOv8n) : conv → BN → activer → pool → post-traitement NMS.
• Inférence LLM (Qwen2.5 3B) : pré-remplir les jetons d'entrée → génération de jeton par jeton de décodage.
• Optimisation de l'inférence : fusion d'opérateurs, compression des poids.

Retour des résultats

• Renvoie les coordonnées du cadre de délimitation, les ID de classe et les scores de confiance pour la détection.
• Renvoie le tableau de jetons pour le LLM.

Cette couche est le terminus de chaque tâche d'IA : elle convertit les résultats d'inférence bruts du RK1820 en une sortie visuelle ou prête pour l'entreprise et ferme la boucle.
RK3588 actif ; RK1820 fournit uniquement les données d'inférence brutes.

Post-traitement des résultats

• Mapper les coordonnées à la taille d'image d'origine.
• Décoder les jetons en langage naturel.
• Compter les défauts dans l'inspection industrielle.

Contrôle du système et sortie de rétroaction

• Sécurité intelligente : afficher la vidéo avec des superpositions de détection, déclencher des alarmes.
• Inspection industrielle : ligne de commande pour rejeter les produits défectueux.
• LLM en périphérie : afficher le texte + annonce vocale.

Valeur de la synergie : non seulement plus rapide, mais plus intelligent

En termes simples : le RK3588 gère le spectacle et maintient tout sur la bonne voie, tandis que le RK1820 fournit des rafales de calcul brutes ; ensemble, ils rendent les appareils d'IA en périphérie « plus intelligents, plus rapides et sans tracas ».
Suivez-nous pour plus d'actualités sur le RK1820 et les mises à jour du SDK, de nouveaux tutoriels et des démos prêtes à l'emploi.