FACT : un nouveau cadre robotique qui apprend la force des gestes humains

FACT, présenté le 28 octobre par une équipe conjointe de l’Université du Michigan, de Stanford et de Microsoft Research, propose une approche originale pour enseigner aux robots des manipulations fines. Le système combine vidéo, suivi du mouvement et mesures tactiles afin de capter non seulement la trajectoire des doigts, mais aussi les forces exercées lors d’un geste.

Une collecte de données à grande échelle

Le projet repose sur le jeu de donnéesDatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. EgoForce, qui regroupe près de 2 000 heures d’enregistrement. Les chercheurs ont capturé environ 40 000 séquences couvrant 1 000 tâches différentes, réparties dans 120 environnements et réalisées par 1 000 participants. Trois caméras, positionnées du point de vue de l’opérateur, enregistrent les gestes tandis que des gants tactiles mesurent les forces appliquées par les mains.

Comment le système apprend‑il ?

FACT se compose de deux modules. Le premier, un planificateur grossier, prédit les futures images, les trajectoires visuelles et les actions du robot. Un second module affine ces prédictions en estimant simultanément la force à venir et la commande robotique correspondante. Cette architecture associe vision, état du robot, toucher et consignes exprimées en langage naturel, ce qui permet de transférer l’intention humaine à une morphologie robotique différente sans imposer une reproduction exacte de la main humaine.

Des performances notables avec peu de démonstrations

Pour chaque tâche, les chercheurs ont affiné le modèle à l’aide de seulement dix démonstrations réalisées par le robot et de 90 démonstrations humaines. Les essais couvrent le pipetage, l’usage d’outils, des instruments de musique, l’ouverture de bouchons, le laçage et le mélange de cartes. Sur dix tâches réelles, FACT surpasse deux méthodes de référence, avec un gain pouvant atteindre 60 points de réussite face à la méthode T‑Rex.

Les expériences d’ablation soulignent l’importance de la supervision tactile : sans les forces humaines pendant le pré‑entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances., le taux de réussite chute à 0 % pour l’ouverture d’un bouchon de tube, à 10 % pour un bouchon à clapet et à 0 % pour le laçage. En ajoutant 90 séquences humaines, le laçage passe de 10 % à 20 % et le mélange de cartes de 10 % à 30 %.

Limitations et perspectives

FACT reste un prototype de laboratoire. Le code et les données annoncés ne sont pas encore accessibles au public, et les évaluations portent uniquement sur dix tâches contrôlées. Aucun test n’a été réalisé en environnement industriel, ni sur la sécurité du robot au contact de personnes, ni sur la capacité à généraliser sans ajustement supplémentaire.

L’apport majeur de ce travail réside davantage dans la méthodologie de collecte que dans un record de performance. La vidéo seule ne révèle pas l’effort physique nécessaire pour ouvrir un bouchon ou stabiliser un objet fragile. En intégrant la mesure de force, EgoForce donne au robot une indication précise de l’intention du geste et de sa réussite mécanique. Si la démarche se confirme sur d’autres matériels, elle pourrait réduire la dépendance à la téléopération, notamment pour des tâches où quelques millimètres ou quelques newtons font toute la différence.

Le projet ouvre ainsi la voie à des robots capables d’apprendre des compétences de manipulation plus naturellement, en s’appuyant sur des démonstrations humaines enrichies de données tactiles, un pas de plus vers une interaction homme‑machine plus fluide.