NVIDIA dévoile une nouvelle suite d'outils baptisée Cosmos Data Factory. L’idée est simple : à l’aide de seulement deux instructions adressées à un agent de programmation, il devient possible de générer, contrôler et annoter des jeux de Données synthétiquesDonnées générées artificiellement pour simuler ou compléter des données réelles, notamment lors de l'entraînement de modèles. destinés aux robots, aux véhicules autonomes et aux systèmes d’inspection. Le premier PromptL’instruction et le contexte fournis à un modèle pour orienter sa réponse. initialise l’orchestrateur et vérifie que l’environnement est opérationnel, le second décrit la tâche à accomplir – recherche de scènes, modification de la météo, création d’incidents rares ou génération de défauts visuels.
Cinq scénarios prêts à l’emploi
Cosmos Data Factory regroupe cinq blueprints :
- Variantes de scènes routières : des images de routes sont modifiées pour enrichir les jeux de données des voitures autonomes.
- Modification d’attributs visuels de personnes : vêtements, couleurs, accessoires sont altérés pour améliorer les systèmes de recherche et de ré‑identification.
- Transformation vidéo météo/éclairage : la même séquence conserve sa structure et son mouvement, mais la météo, la lumière ou le décor changent. NVIDIA illustre ce workflow avec un robot manipulant des cubes sous différents éclairages et couleurs de table.
- Génération d’événements rares : chutes, incendies ou autres incidents peu fréquents sont synthétisés pour entraîner les algorithmes de détection.
- Création de défauts industriels : des pièces en 3D sont visualisées dans Isaac Sim, puis les modèles Cosmos produisent des variantes présentant des défauts pour l’inspection.
Chaque blueprint s’appuie sur des skills composables : annotation automatique, génération d’anomalies, augmentation, recherche, simulation et orchestration. Le code source est disponible sur GitHub, ce qui laisse les équipes techniques libre de l’adapter à leurs propres besoins.
Évaluation et filtrage des données
Après la génération, Cosmos Evaluator vérifie que la transformation demandée apparaît bien, recherche d’éventuels artefacts de mouvement et estime la plausibilité physique. Les séquences jugées invalides peuvent être relancées automatiquement. Celles qui passent les contrôles reçoivent alors des détections, des pistes d’objets, des légendes et des annotations sémantiques prêtes à être intégrées dans les jeux d’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances..
Coût et performances mesurés
Sur un serveur équipé de huit cartes RTX PRO 6000 Blackwell, facturé à environ 40 $ / heure, NVIDIA indique que le workflow d’augmentation produit 305 séquences vidéo annotées par jour, soit 3,15 $ par clip de cinq minutes. La génération d’images de défauts aurait permis de réduire la préparation d’un jeu de deux mois à une journée. Ces chiffres ne tiennent compte que du calcul ; le stockage, la préparation des sources, les revues humaines et l’usage des agents ajoutent des coûts supplémentaires, tout comme la qualité du matériau de départ influence les résultats.
Pourquoi cela compte pour la robotique
Les robots ne disposent pas toujours de volumes de données comparables à ceux des modèles de texte. Reproduire des situations dangereuses ou exceptionnelles en réel est coûteux, voire impossible. Un pipeline entièrement synthétique, traçable et contrôlable peut combler ces lacunes, à condition de ne pas confondre diversité générée et validité dans le monde réel. L’avantage majeur de Cosmos réside dans son intégration : au lieu d’enchaîner plusieurs outils distincts, l’équipe décrit son besoin, génère les variantes, élimine les résultats fragiles et obtient un DatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. annoté, le tout via deux prompts.
Les tests sur des robots physiques restent indispensables pour confirmer que ces données synthétiques améliorent réellement les performances. Néanmoins, la possibilité de créer rapidement des scénarios rares ou des défauts industriels ouvre de nouvelles perspectives pour le développement de systèmes robotiques plus robustes.
Perspectives : la mise à disposition du code sur GitHub invite les chercheurs à explorer des extensions, comme l’ajout de contraintes physiques plus strictes ou l’intégration de nouvelles sources de données réelles pour affiner le réalisme des synthèses.





