Nvidia vient de publier Flora, un moteur d’étiquetage vidéo destiné aux robots. Selon le laboratoire GEAR de la firme, il permet de produire les annotations nécessaires à l’apprentissage des modèles d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. robotique à un coût bien inférieur à celui des solutions existantes, tout en couvrant les trois types d’étiquettes dont les chercheurs ont besoin.

Trois types d’étiquettes, un seul outil

Les modèles d’IA pour la robotique s’appuient sur des vidéos où chaque séquence doit être décrite, chaque étape évaluée et chaque tâche finalisée jugée. La description indique ce qui se passe à un instant donné, l’évaluation note la progression pas à pas et le jugement final vérifie que l’objectif a été atteint. La plupart des outils disponibles ne traitent qu’une de ces dimensions, tandis que les grands modèles de langage comme GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Astra peuvent les générer, mais à un prix prohibitif pour des milliers d’heures de séquence.

Architecture de Flora

Flora repose sur trois modèles dérivés de la série Qwen‑3.5. Un modèle de 9 milliards de paramètres découpe les vidéos en segments d’action. Un modèle de 27 milliards de paramètres fournit des descriptions en tenant compte du contexte avant et après chaque action. Enfin, le modèle « Flora‑Rewarder », également de 27 milliards, assume trois rôles selon la consigne : il note le succès global de la séquence sur une échelle de 1 à 5, il classe chaque demi‑seconde comme normale, sous‑optimale ou en échec, et il attribue des scores selon des grilles de notation définies par les utilisateurs.

Déploiement à grande échelle

Nvidia indique que Flora est déjà en service lors de l’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. de ses modèles GR00T, où il annoterait jusqu’à 200 000 heures de vidéo chaque jour, en s’appuyant sur 512 GPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA. GB300. Les modèles sont accessibles via la plateforme Hugging Face, ce qui facilite leur réutilisation par la communauté.

Un coût projeté très attractif

Dans un test interne portant sur 50 vidéos, le coût estimé par Nvidia pour annoter une heure de séquence avec Flora est de 0,72 $, contre environ 88,5 $ pour GPT‑6 Astra. Claude Opus 5, un autre concurrent, aurait coûté près de 42 $ par heure. Ces chiffres sont des projections basées sur un tarif hypothétique de location de GPU à 10 $ de l’heure, et non des mesures en conditions de production.

Performances sur les référentiels publics

Sur le banc d’essai public WGO‑Bench, Flora se montre supérieur pour la localisation temporelle des actions, mais il reste derrière Astra sur le score global et derrière Gemini 3.8 Flash pour la précision des descriptions. Sur le banc propriétaire DenseCaptionBench de Nvidia, Flora domine les métriques pour des enregistrements humains, tandis qu’il se place deuxième derrière Astra pour les vidéos robotisées. Les auteurs notent que la comparaison est légèrement biaisée, Astra évaluant ses propres descriptions.

Détection d’erreurs en cours d’épisode

RoboRewardBench met en évidence que Flora réduit le taux d’erreurs de 27,8 % par rapport à Astra. Par exemple, lorsqu’un robot ne renverse qu’une bouteille au lieu de la faire tomber, Flora attribue 3 points sur 5, conforme à la référence humaine, alors qu’Astra ne donne qu’un point. Le composant Flora‑Rewarder identifie 53,3 % des étapes défaillantes, alors que le meilleur concurrent ne dépasse pas 11,7 % et qu’Astra n’en repère aucune. En contrepartie, Flora signale à tort environ 11 % des étapes normales comme fautives.

Vers une alternative open‑source

Nvidia positionne Flora comme une alternative ouverte aux services commerciaux comme le Physical AI Data Engine de Scale AI. Les chercheurs peuvent ainsi étendre leurs jeux de données robotique et tester des approches de transfert de démonstrations humaines vers les robots sans recourir à des solutions propriétaires coûteuses. Cette stratégie s’inscrit dans l’investissement de plusieurs milliards de dollars de Nvidia dans les modèles d’IA ouverts, destiné à consolider son écosystème matériel.

Enjeux et perspectives

Flora complète la chaîne de valeur robotique de Nvidia, qui inclut le matériel, les simulations de données et les modèles d’apprentissage. Google, avec Gemini 4 Argon, poursuit une démarche similaire en ciblant la segmentation des étapes de travail dans les vidéos d’entraînement. La mise à disposition de Flora sur Hugging Face ouvre la porte à de nouvelles expérimentations, notamment pour affiner les systèmes de récompense et réduire le besoin de données annotées manuellement.

En pratique, les équipes de recherche qui adoptent Flora peuvent espérer réduire drastiquement leurs dépenses d’annotation tout en bénéficiant d’une couverture complète des types d’étiquettes requis, ce qui pourrait accélérer le déploiement de robots capables d’apprendre de façon plus autonome.