RoboDojo intégré à NVIDIA Isaac Lab-Arena : 54 tâches de manipulation robotique en simulation

NVIDIA Robotics a rendu disponible, le 6 novembre, une version du benchmark RoboDojo dans le simulateur Isaac Lab-Arena. Le dépôt propose 42 scénarios de base et 12 variantes aléatoires, soit 54 tâches différentes que l’on peut tester avec le bras bimanuel ARX X5. Chaque tâche est découpée en plusieurs épisodes; le protocole complet compte 2 100 épisodes, avec des budgets de temps ajustés à la complexité de l’exercice. Cette mise à disposition permet aux équipes de recherche de comparer leurs politiques de contrôle dans un environnement numérique identique avant de les transférer sur du matériel réel.

Un cadre de test complet

Les scénarios couvrent bien plus que la simple prehension. On y trouve des insertions précises, du pliage de pieces, l’usage d’outils et des sequences composees de plusieurs etapes. Les deux bras, la perception depuis la tete et les poignets, ainsi que la capacite du modele a planifier plusieurs actions dans le temps sont sollicites. Le depot inclut un adaptateur pour la politique π0.5; le modele reçoit les images RGB de la tete et des poignets ainsi que l’état des 14 articulations. Ainsi, chaque essai suit exactement les mêmes observations et les mêmes criteres de réussite.

Traçabilité et exigences techniques

Pour lancer une campagne complète, le depot impose Isaac Sim 5.1, Python 3.11 et un GPUGPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA. NVIDIA compatible. Les actifs nécessaires pèsent environ 38,4 GiB. Des scripts automatisés verifient les dependances, les sommes de controle, les scenes et les resultats avant le debut des episodes. Chaque tâche genere des fichiers de resultats, les chemins des scenes et les empreintes des actifs utilises. Cette traçabilité facilite la comparaison entre laboratoires et réduit les ecarts liés à une configuration locale mal documentée.

Vers une meilleure comparaison des politiques

Contrairement aux videos de démonstration qui ne montrent qu’un essai réussi, RoboDojo impose des dizaines d’episodes par tâche. Les chercheurs peuvent donc mesurer la regularite d’une politique, identifier les variations qui la font échouer et repérer les categories d’actions les plus fragiles. La simulation ne remplace pas les tests physiques: les contacts, les deformations et les erreurs de calibration diffèrent encore du monde reel. Néanmoins, elle permet d’éliminer rapidement les modèles instables et de concentrer le temps sur robot aux approches les plus prometteuses. Le vrai défi restera de corréler les scores obtenus en simulation avec les performances du même systeme sur un ARX X5 réel.

RoboDojo dans Isaac Lab-Arena constitue donc un pas important vers une evaluation standardisee des algorithmes de manipulation, en offrant un terrain commun où chaque équipe peut verifier la robustesse de ses politiques avant de les deployer sur du materiel couteux.