Social Humanoid : le Unitree G1 apprend à anticiper les gestes humains

Le laboratoire de l'UC Berkeley, en partenariat avec Sony et Meta, vient de publier les premiers résultats d'un système baptisé Social Humanoid. Il s'agit d'une architecture logicielle permettant à l'humanoïde à 29 degrés de liberté de la société Unitree, le modèle G1, de coordonner ses mouvements avec ceux d'une personne en temps réel. Le robot ne se contente plus d'exécuter un geste isolé ; il observe, réagit et même prédit la suite d’une action lorsque son interlocuteur disparaît brièvement de son champ de vision.

Une architecture hiérarchique en deux temps

Social Humanoid repose sur une chaîne de décision à deux niveaux. Le niveau supérieur transforme les mouvements humains et robotiques en une série de jetonsTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. communs, puis génère la réponse corporelle du robot. Un contrôleur de bas niveau traduit ces jetons en commandes moteurs exécutables par le G1, assurant ainsi le maintien de l’équilibre et le suivi précis de la trajectoire.

Cette séparation répond à deux exigences majeures. D’abord, le système doit comprendre le contexte de l’interaction – distinguer une main tendue d’un simple passage de bras – avant de déclencher une réponse. Ensuite, il doit garantir que le robot ne perd pas son équilibre, surtout lorsqu’il s’agit de gestes physiques comme une poignée de main ou une accolade.

Apprendre à anticiper les mouvements

Lorsque le partenaire humain se cache brièvement, le robot ne « devine » pas une intention abstraite. Il prédit la continuité du mouvement à partir de la séquence déjà observée, ce qui évite les réactions trop lentes ou figées. Cette capacité est cruciale dans les interactions rapprochées où chaque milliseconde compte pour éviter les collisions ou les forces excessives.

Un jeu de données à l’échelle du robot

L’équipe a compilé cinq jeux de données de capture de mouvements humains, totalisant 260 heures d’interactions entre un humain et un humanoïde. Pour que ces données soient exploitées par le G1, qui est plus petit qu’un adulte, ils ont mis au point une procédure de reciblage en deux phases. Cette méthode redimensionne les partenaires et ajuste la portée des bras afin de conserver la pertinence des contacts sans dépasser la capacité physique du robot.

Le reciblage évite ainsi les problèmes classiques : une poignée de main trop haute ou une collision due à une mauvaise évaluation des distances. En adaptant la géométrie de la scène, le robot apprend à interagir de façon cohérente avec des corps de tailles différentes.

Démonstrations et limites actuelles

Les vidéos publiées montrent le G1 réaliser des poignées de main, des salutations, des accolades, des pas synchronisés et même des réponses à des gestes improvisés. Toutes ces démonstrations ont été réalisées dans un laboratoire, avec un espace dégagé et le robot relié à ses systèmes de sécurité.

Ces conditions restent très contrôlées : aucune interaction autonome n’a encore été testée dans un environnement public encombré, ni avec des vêtements variés ou des mouvements inattendus. La sécurité, notamment la limitation des forces appliquées lors d’une accolade, doit encore être validée à grande échelle.

Vers des interactions corps à corps plus naturelles

Social Humanoid constitue un protocole reproductible et un jeu de donnéesDatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. conséquent pour les chercheurs souhaitant explorer les interactions physiques entre humains et robots. Les prochains travaux devront s’attacher à diversifier les morphologies, les vêtements et les scénarios d’occlusion afin de mesurer la robustesse du système hors laboratoire.

En pratique, le projet montre que la combinaison d’une compréhension sémantique du geste et d’un contrôle moteur précis peut rendre les robots plus réactifs et plus sûrs lors d’échanges physiques. Si les défis de la sécurité et de la généralisation sont relevés, on pourrait envisager des applications dans les espaces publics, les services d’assistance ou les environnements de travail collaboratif.

Le robot n’est pas encore prêt à partager un café avec vous dans la rue, mais il se rapproche chaque jour un peu plus de cette réalité.