ToyBlocks d'Ai2 : un banc d’essai ouvert pour comprendre les échecs des robots manipulateurs

ToyBlocks, le nouvel environnement publié par l’Allen Institute for AIIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision., propose aux chercheurs un cadre minimaliste mais complet pour entraîner des robots à manipuler des blocs et, surtout, à identifier les raisons de leurs échecs. Présenté le 6 novembre, ce "FoundationWorld" associe un bras robotique, une table ponctuée de cubes marqués de lettres ou d’images, un simulateur hautement configurable et une plateforme d’expérimentation physique. L’objectif n’est pas de créer le robot le plus performant, mais de fournir un jeu de donnéesDatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. reproductible où chaque paramètre – propriétés physiques, scénarios, algorithmes – peut être modifié isolément.

Dans ToyBlocks, le bras est positionné au-dessus d’une surface plane et doit pousser, retourner, saisir ou empiler les cubes. Certaines faces sont cachées, obligeant le robot à manipuler l’objet pour révéler l’information pertinente avant d’agir. Le système génère automatiquement des tâches et des démonstrations sans intervention humaine, s’appuyant sur Isaac Lab pour les mouvements courts. Un planificateur orchestre ensuite les compétences, exécutant des centaines de plans en parallèle sur un GPUGPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA., atteignant jusqu’à 24 fois la vitesse réelle selon les équipes d’Ai2.

La première version met à disposition plus de 85 000 démonstrations longues, soit près de 1 600 heures d’exécution et 144 millions d’images. Le code source, les actifs de simulation, les jeux de données, deux modèles déjà entraînés (ManiFlow et une architecture couplant Molmo 2 à ManiFlow) ainsi que les outils d’évaluation sont publiés. Sur le plan des performances, les compétences de base de ManiFlow réussissent 80 % des essais en simulation et 81,1 % sur le robot physique Franka FR3 équipé d’une pince Robotiq. Pour une tâche plus complexe – empiler trois blocs – le taux de réussite passe de 55,5 % en simulation à 50 % sur le matériel réel, même si l’échantillon physique ne compte que 30 épisodes, ce qui incite à rester prudent dans l’interprétation.

Des expériences complémentaires montrent les limites actuelles de la perception du système. Lors d’un test où l’agent devait retrouver des lettres puis composer un mot de trois caractères, il a correctement résolu ou déclaré l’impossibilité de la tâche dans 63 % des cas, les erreurs provenant souvent de lettres mal orientées ou confondues. Un autre scénario révèle que la capacité d’un agent à expérimenter sur ses propres outils améliore la qualité de ses descriptions de compétences : le taux de réussite passe de 24 % avec les descriptions initiales à 63 % avec celles générées après expérimentation, contre 36 % avec des descriptions rédigées par un expert humain.

L’intérêt majeur de ToyBlocks ne réside pas dans la difficulté brute des démonstrations, mais dans la possibilité de mesurer l’impact d’une modification – jeu de données, géométrie, politique d’apprentissage – sans toucher aux autres composantes du système. Cette granularité facilite la comparaison de méthodes et la validation de conclusions sur du matériel réel. Les développeurs prévoient d’enrichir l’environnement avec davantage de données, un entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. par renforcement intégré, la manipulation à deux bras et des mains dotées de capteurs tactiles, tout en conservant la traçabilité de chaque résultat.

En offrant un point d’ancrage reproductible entre simulation et robotique, ToyBlocks pourrait devenir un repère pour la communauté qui cherche à dépasser le simple « ça marche en simulation » pour comprendre les causes profondes des échecs physiques. Les extensions à venir, notamment le double‑bras et le toucher, promettent d’élargir le spectre des expériences tout en maintenant la transparence nécessaire à une recherche fiable.