NVIDIA met à disposition PVA SDK 2.10 pour les développeurs Jetson. Cette version doit simplifier l’utilisation du Programmable Vision Accelerator, un moteur dédié au traitement des flux de caméras, radars et lidars. L’objectif est de décharger le GPU de ces calculs afin de réserver davantage de capacité aux modèles d’intelligence artificielle embarqués dans les robots et les machines autonomes.
Un compilateur et un émulateur entièrement revus
Le cœur de la mise à jour est NVVPU, un nouveau compilateur développé par NVIDIA sur la base de LLVM. Il accepte du code C et C++ et génère les instructions destinées au PVA. Le SDK ajoute aussi un émulateur natif qui permet de compiler, exécuter et vérifier du code sur une machine hôte, sans disposer immédiatement du module Jetson cible.
Ce changement peut raccourcir les cycles de développement. Jusqu’ici, les équipes devaient souvent réserver du matériel pour tester chaque modification. Avec l’émulation, elles peuvent préparer une partie plus importante du pipeline en amont, puis valider les performances et le comportement sur Jetson Orin ou Jetson Thor.
Libérer le GPU pour le raisonnement embarqué
Dans un robot, le calcul ne se limite pas à l’inférence d’un modèle. Les images doivent être corrigées et redimensionnées, les signaux radar filtrés, les nuages de points lidar préparés et les résultats synchronisés. PVA prend en charge une partie de ces traitements avec une consommation maîtrisée. Le GPU reste ainsi disponible pour la perception avancée, les modèles vision-langage-action ou la planification.
NVIDIA cite notamment un pipeline YOLOv5 dont le prétraitement et le post-traitement passent par le PVA, tandis que l’inférence reste exécutée sur le GPU. La version 0.6.0 de PVA Solutions fournit aussi des opérateurs pour l’image, la vision par ordinateur, le radar, le lidar et l’algèbre linéaire. Le code est publié sous licence Apache 2.0, avec des exemples et des explications sur les optimisations employées.
Des agents pour produire et déboguer les opérateurs
PVA SDK 2.10 introduit également des Agent Skills. Ces instructions destinées aux assistants de programmation couvrent l’installation du SDK, la génération d’opérateurs, la compilation, les tests et le diagnostic d’erreurs. Elles s’appuient sur la documentation technique de NVIDIA et peuvent être utilisées pour créer un opérateur ou corriger un projet existant.
Le débogage passe par des clients compatibles avec le Debug Adapter Protocol, dont Visual Studio Code. Les développeurs peuvent travailler dans l’émulateur ou sur le matériel, puis utiliser NVIDIA Nsight Systems pour repérer les goulets d’étranglement. Cette chaîne vise surtout les équipes qui veulent exploiter le PVA sans devoir acquérir d’emblée toute l’expertise liée à son architecture.
Un outil ciblé, pas une hausse automatique des performances
Le gain dépendra de la capacité à déplacer les bons calculs. Un opérateur mal choisi ou un transfert de données trop coûteux peut réduire l’intérêt du déport. Les équipes devront donc mesurer la latence, la consommation et l’occupation mémoire sur leur propre robot.
La mise à jour est néanmoins importante pour les systèmes qui cumulent plusieurs capteurs et des modèles lourds dans une enveloppe thermique réduite. Elle donne aux développeurs un chemin plus accessible pour répartir les charges entre PVA, GPU et CPU, au lieu de concentrer tout le traitement sur une seule ressource.
Source : NVIDIA Robotics.
