Liber-0 : un modèle de robotique qui apprend de 2,2 M d’heures d’expérience humaine

LiberAI a dévoilé Liber-0, un modèle d’apprentissage robotique entraîné sur plus de 2,2 millions d’heures de gestes humains. L’idée est simple : permettre à un robot d’accomplir une tâche en s’appuyant sur des vidéos d’humains, sans devoir collecter de nouvelles démonstrations pour chaque scénario. Le test publié par l’entreprise porte sur 60 tâches différentes, réparties en 600 essais, et montre un taux de réussite global de 36 % lorsqu’aucune démonstration robotique spécifique n’est fournie.

Des performances variables selon la complexité

Les chiffres révèlent une grande disparité. Sur les tâches de prise et dépose – typiquement un déplacement d’objet d’un point à un autre – le modèle atteint 63,5 % de réussite. Les manipulations courtes, qui impliquent plus que le simple transport (par exemple tourner ou ajuster un objet), voient le taux chuter à 34 %. Enfin, les séquences complexes en plusieurs étapes, comme préparer une boisson ou assembler un petit dispositif, ne dépassent que 10,5 % de succès. Ces résultats soulignent que la capacité du système à généraliser diminue rapidement dès que la tâche dépasse un simple geste ponctuel.

Comment le modèle fait le lien entre vidéo et action robotique

Une vidéo humaine regorge d’informations visuelles, mais ne fournit pas les angles d’articulation, les forces ou les trajectoires exactes qu’un robot doit reproduire. LiberAI combine donc plusieurs sources de données : les vidéos offrent la diversité des situations, tandis que le gant LiberSense capture les mouvements des mains et des doigts, synchronisés avec des caméras placées autour de l’utilisateur. Cette capture précise sert de pont entre l’observation visuelle et les paramètres physiques mesurés.

Le modèle reçoit aussi une description de la morphologie du corps qui exécute le geste. Cette donnée doit l’aider à adapter une intention humaine à des structures mécaniques différentes. Le robot LEO, utilisé pour les tests, possède des mains agiles, des poignets articulés, une taille mobile et des caméras positionnées près des points de vue humains, afin de réduire l’écart entre les deux mondes.

Quantité de données : qualité vs volume

LiberAI indique que 10 000 heures d’enregistrements avec le gant LiberSense ont surpassé, dans leurs essais internes, les 2 millions d’heures de vidéos web classiques. Ce constat, bien que fourni par l’entreprise et non encore vérifié par des tiers, confirme une observation largement partagée : une masse d’images ne remplace pas forcément une supervision physique précise. La richesse des données de mouvement semble plus déterminante que le simple nombre d’images.

Après une phase d’entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. robotique supplémentaire, le modèle complet affiche des scores de progression de 83,6 % sur les tâches de prise‑dépose et de 73,8 % sur les autres manipulations. Ces indicateurs mesurent le degré d’avancement partiel d’une tâche, pas le taux de réussite complet, ce qui explique l’écart avec les 36 % obtenus sans démonstration ciblée.

Vers une généralisation encore limitée

Le principal atout revendiqué de Liber‑0 est la réduction du besoin de collecter de nouvelles données pour chaque robot ou scénario. En théorie, cela pourrait diminuer les coûts de mise en service de robots de service ou de manipulateurs mobiles. En pratique, le taux de 10,5 % sur les tâches longues montre que le système n’est pas encore assez fiable pour des opérations autonomes où une erreur interromprait la séquence.

Une démonstration notable a été la préparation autonome d’un thé aux perles, mais il s’agit d’une mise en scène adaptée à un usage de démonstration plutôt que d’une validation industrielle. Les prochains travaux devront tester la stabilité du modèle sur d’autres robots, différents objets et sous des conditions d’éclairage variées, ainsi que sa capacité à détecter ses propres échecs.

Au final, Liber‑0 représente une avancée intéressante dans le domaine de l’apprentissage à partir d’expériences humaines, mais il reste à voir comment la communauté scientifique et industrielle pourra transformerTransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. ces premiers chiffres en applications robustes et commercialisables.