Une mini‑excavatrice électrique Takeuchi TB20e, pesant 1 930 kg, a servi de banc d’essai à quatre systèmes d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. capables de TransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. des images en commandes de joystick. L’objectif était simple : saisir un morceau de carton et le déposer dans une benne. Le test, mené par Dreamscale Labs et Actor Labs, montre que certaines politiques vision‑langage‑action sont déjà prêtes à quitter le laboratoire pour piloter du matériel lourd.

Le dispositif expérimental

Actor Labs a installé un Raspberry Pi 5 sur la TB20e et l’a relié aux bus CAN de la machine. Le Pi lit les signaux provenant des joysticks (rotation de la base, flèche, bras, godet, pince) et les remplace par les actions générées par les modèles d’IA. Deux caméras fixes sur le toit et une webcam de scène alimentaient les réseaux de neurones avec des images de résolution 1920 × 1080, réduites à 224 × 224 pixels puis converties au format LeRobot v3.

Les équipes ont enregistré 50 démonstrations, variant la position du carton, le nombre d’objets (deux morceaux) et les conditions d’éclairage. Ces séquences ont servi à entraîner quatre modèles :

  • π0.5 de Physical Intelligence
  • GR00T N1.7 de NVIDIA
  • Flux 3 Action de Black Forest Labs
  • Praxis‑1 de Runway

Les politiques ont été exécutées dans le cloud de Dreamscale, tandis que la machine recevait les ordres via satellite. Pour π0.5, la fréquence d’InférencePhase durant laquelle un modèle entraîné utilise ses paramètres pour produire une prédiction ou une réponse à partir de nouvelles données. était de 15 Hz, avec une LatenceDélai entre l'envoi d'une requête à un système et l'obtention d'une réponse ou du début de celle-ci. médiane observation‑action inférieure à 133 ms, soit moins de deux cycles de contrôle.

Performances des modèles

Les résultats publiés indiquent que π0.5 est le seul à réussir régulièrement la tâche : le carton est saisi et déposé dans la benne dans un peu plus de la moitié des essais. Une version de π0.5 entraînée sur seulement 30 démonstrations a tout de même dépassé le tiers de réussite, même lorsque les évaluations se déroulaient de nuit sous des projecteurs, condition absente des démonstrations initiales.

GR00T N1.7 a échoué dès la première prise, après une rotation horizontale imprécise, et n’a pas corrigé sa trajectoire. Flux 3 Action et Praxis‑1 ont correctement orienté la machine, mais ont commandé une descente du godet trop faible pour franchir le seuil d’activation hydraulique. L’analyse vidéo montre que ces modèles anticipaient bien un mouvement vers le bas, mais que la prédiction n’a pas été traduite en une force suffisante.

Les échecs les plus fréquents concernaient la prise du carton et son relâchement au-dessus de la benne. L’équipe souligne que l’expérimentation s’est déroulée en une demi‑journée, avec peu de données et sans protocole de comparaison exhaustif.

Enseignements clés

Le test ne prétend pas établir un classement général des algorithmes, mais il prouve que une politique vision‑langage‑action peut commander une machine lourde à distance, en s’appuyant uniquement sur des images et des consignes de joystick. Il met également en lumière un problème physique souvent négligé : une prédiction plausible ne suffit pas si l’action générée reste en dessous du seuil mécanique de l’équipement.

L’inférence distante a fonctionné grâce à une latence médiane inférieure à deux cycles de contrôle. Cependant, la robustesse de cette architecture face à des coupures réseau ou à des environnements de chantier plus exigeants reste à valider avant tout déploiement opérationnel.

Perspectives

Ces premiers résultats ouvrent la voie à des applications concrètes, comme la télé‑opération de machines de terrassement sur des sites difficiles d’accès ou la réduction du besoin d’opérateurs humains pour des tâches répétitives. Le principal défi restera de garantir que les modèles puissent s’adapter à des variations imprévues de terrain, de charge ou de visibilité, tout en respectant les contraintes de sécurité propres aux engins hydrauliques.

En résumé, l’expérience montre que les algorithmes de contrôle visuel‑langage ont atteint un niveau de maturité suffisant pour envisager des essais plus étendus, mais que la phase industrielle nécessitera des jeux de données plus riches, des protocoles de validation rigoureux et une prise en compte fine des limites mécaniques des machines.

La prochaine étape pourrait consister à tester ces politiques sur des engins de plus grande capacité, afin d’évaluer si la latence et la précision restent acceptables lorsqu’on passe d’une mini‑excavatrice à des machines de plusieurs dizaines de tonnes.

Une lecture à partager ?
Partager
Partager cet article
WhatsApp ↗LinkedIn ↗Facebook ↗X ↗E-mail ↗

POUR CONTINUER

Garder le fil.

Toutes les actus ↗