FLEX : quand la langue corrige les trajectoires des robots domestiques

FLEX (Flexible Feature Editing Pipeline) est le nouveau système développé par le MIT et l'Université de New York pour ajuster les comportements des robots à partir de simples corrections verbales. Présenté le 9 novembre 2026 lors de la conférence Conference on Robot Learning, il répond à une faiblesse récurrente des robots guidés par le langage : l’incapacité à comprendre le pourquoi d’une instruction.

Un mécanisme en trois temps

Chaque correction passe par trois étapes : ADD, GENERALIZE et MASK. L’étape ADD vérifie si les caractéristiques déjà détectées expliquent la consigne; sinon, un grand modèle de langue (GPTGPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑4o dans les tests) propose une nouvelle caractéristique et génère le code nécessaire pour la mesurer. GENERALIZE transforme une contrainte trop précise (par exemple « éviter la tasse ») en une règle plus large correspondant à l’intention de l’utilisateur (« éviter les objets fragiles »). Enfin, MASK supprime les caractéristiques qui ne sont plus pertinentes après la généralisation. Le processus complet dure environ cinq secondes.

Des performances supérieures en simulation

Les chercheurs ont évalué FLEX dans deux cadres : des grilles de navigation 9 × 9 et des tâches de manipulation avec le bras Franka (7 degrés de liberté). Les scénarios impliquaient des objets comme du café, une bougie allumée ou une boule de bowling, avec des séquences de corrections en cinq étapes où la pertinence des caractéristiques évoluait.

Par rapport à trois références – ALGAE (ajout uniquement), MFE (masquage uniquement) et une approche « unscaffolded » qui demande à l’IAIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. de fournir l’ensemble des caractéristiques en une seule requête – FLEX a obtenu le meilleur score normalisé. Dans le scénario combinant les trois opérations, FLEX a atteint 0,99 contre 0,69 (ALGAE), 0,83 (MFE) et 0,78 (baseline). Sur les bras manipulés, FLEX a généralement appris la bonne récompense après une ou deux corrections, alors que les méthodes concurrentes nécessitaient davantage d’ajustements et perdaient en efficacité lorsqu’elles accumulaient des caractéristiques inutiles.

Retour d’expérience humaine

Un petit groupe de douze participants a testé FLEX, ALGAE et MFE en saisissant des corrections textuelles. Les évaluations portaient sur cinq dimensions (compréhension de l’intention, facilité d’usage, collaborativité, etc.). FLEX a reçu la meilleure note sur toutes les dimensions, avec une moyenne de 6,3 sur 7 pour la compréhension de l’intention, contre 5,0 (ALGAE) et 4,5 (MFE). Les écarts étaient statistiquement significatifs après correction pour comparaisons multiples.

Limites et perspectives

L’étude n’a pas encore été réalisée en boucle fermée sur un robot physique : les participants observaient des trajectoires simulées, certaines méthodes produisant des mouvements incohérents. Les auteurs ont néanmoins combiné les corrections avec des démonstrations réelles du bras Franka pour valider la faisabilité hors simulation.

FLEX se limite actuellement à la manipulation quasi‑statique d’objets rigides dont les propriétés peuvent être décrites en langage naturel. Les tâches dynamiques ou les objets déformables nécessiteront d’autres capteurs ou modalités. De plus, le système ne capture pas l’intensité d’une préférence ; demander « reste encore plus loin du portable » indique une préférence forte, mais FLEX ne l’intègre pas dans la fonction de récompense.

Le projet reste en phase « work in progress », le code et les jeux de données devant être publiés prochainement. La question centrale pour les robots d’assistance reste la capacité des modèles de langue à généraliser des préférences très personnelles sans perdre en cohérence lorsqu’ils opèrent en temps réel.

Qu’attendre pour les utilisateurs domestiques ?

Si les prochaines itérations intègrent la prise en compte du degré de préférence et la manipulation d’objets plus complexes, un robot domestique capable de s’ajuster à une ou deux phrases pourrait passer de l’objet de curiosité à un véritable allié du quotidien. La promesse de FLEX réside donc dans la réduction du temps d’apprentissage : moins d’instructions détaillées, moins de frictions, et surtout, une meilleure adéquation avec les attentes spécifiques de chaque foyer.