Runway a mis à disposition du public son nouveau modèle d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision., Praxis‑1, sous licence Apache 2.0. Le code et les poids du réseau sont téléchargeables sur Hugging Face et GitHub, ce qui autorise même un usage commercial. Le principe est simple : le modèle apprend à partir de vidéos ordinaires comment les objets se déplacent, puis il transpose ces connaissances pour générer les mouvements d’un robot en temps réel.

Comment le modèle fonctionne

Praxis‑1 reçoit trois types d’entrée : une image capturée par la caméra du robot, une instruction textuelle (par exemple « prends le verre ») et les coordonnées de la configuration du bras. En se basant sur ces données, il prédit l’évolution de la scène et calcule la séquence de commandes à envoyer au contrôleur. Chaque nouvelle image rafraîchit la prévision, ce qui permet d’ajuster le geste en cours de réalisation. Le réseau s’appuie d’abord sur un TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. vidéo général, puis sur un affinement avec des séquences d’actions humaines et des jeux de données robotiques comme DROID.

Performances sur les bancs d’essai

Sur le benchmark RoboLab‑120 de Nvidia, Praxis‑1 a atteint un taux de succès de 46,2 % : il a réussi à trier, saisir ou empiler des objets dans 120 scénarios simulés. Ce résultat le place en tête de la catégorie « World Action Models », devant FLUX 3 Action (42,9 %). En conditions réelles, le modèle a été testé sur un bras robotique Franka : sur dix tâches (placer une banane sur une assiette, fermer un tiroir, etc.) et dix essais par tâche, Praxis‑1 a abouti à 88 réussites contre 80 pour FLUX 3 Action. Le modèle a également été transféré sur un robot mobile équipé d’un bras, avec 95 h d’enregistrement supplémentaires, atteignant 80 % de succès contre 52,4 % pour le modèle RT‑1 de Google.

Limites et exigences techniques

Praxis‑1 n’est pas encore capable de planifier des séquences d’actions longues sans assistance ; chaque étape doit être explicitée dans l’instruction texte. Le système confond parfois des objets aux apparences similaires et montre des difficultés avec des consignes vagues. Sur le plan matériel, la version standard nécessite un GPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA. de 80 Go de VRAM, tandis qu’une version compressée pourrait fonctionner sur une RTX 5090 de 32 Go, même si la consommation exacte reste à mesurer. Le modèle de base doit être affiné avec des données propres au robot cible avant d’être exploité.

Perspectives d’usage

Runway envisage Praxis‑1 comme un moteur rapide d’exécution de mouvements, à coupler éventuellement avec des IA généralistes capables de décomposer des tâches complexes en sous‑objectifs. La mise à disposition libre du code ouvre la porte à des intégrations personnalisées : start‑ups robotisées, laboratoires de recherche ou hobbyistes pourront adapter le modèle à leurs plateformes sans devoir collecter des dizaines de milliers d’heures de données spécifiques. Le vrai défi reste de prouver que la pré‑formation vidéo réduit globalement le besoin en données robot‑spécifiques, une question que les prochains travaux devront clarifier.

En attendant, les développeurs intéressés peuvent s’inscrire sur Hugging Face, accepter les conditions d’accès, puis télécharger le modèle et les scripts d’InférencePhase durant laquelle un modèle entraîné utilise ses paramètres pour produire une prédiction ou une réponse à partir de nouvelles données.. Une fois le modèle adapté, il suffit de fournir les flux vidéo du robot et les consignes textuelles pour obtenir un contrôle en boucle fermée, ouvrant ainsi de nouvelles possibilités d’automatisation dans les ateliers, les entrepôts ou les laboratoires de prototypage.

Une lecture à partager ?
Partager
Partager cet article
WhatsApp ↗LinkedIn ↗Facebook ↗X ↗E-mail ↗

POUR CONTINUER

Garder le fil.

Toutes les actus ↗