Anthropic a présenté récemment Claude Fable 5.2, une version du modèle de langage qui ne se contente plus de décrire des images mais qui les crée en simulant chaque coup de pinceau sur une toile virtuelle. Le principe est simple à expliquer : le modèle génère du code Python qui contrôle un moteur de peinture numérique, chaque instruction décrivant la couleur, l’épaisseur et la trajectoire d’un trait. Environ 700 000 coups de pinceau ont ainsi donné naissance à un rendu de parking qui ressemble à une photo, tandis qu’un oiseau au lever du soleil a été construit à partir de 111 séquences de coordonnées.

Comment fonctionne le modèle

Contrairement aux générateurs d’image classiques comme Midjourney, qui s’appuient sur la diffusion pour TransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. du bruit en image, Fable 5.2 reproduit le processus physique de la peinture. Le modèle doit tenir compte de la texture des poils, de la façon dont la peinture se dépose et même des imperfections d’une main humaine. Chaque coup de pinceau est enregistré comme une ligne de code, sans possibilité d’annuler une action déjà posée. Cette contrainte pousse le modèle à « planifier » et à corriger ses propres erreurs en superposant de nouveaux traits, à la manière d’un artiste qui retravaille une partie du tableau.

Le développeur Jake Eaton, qui travaille chez Anthropic, a montré sur X que le système produit des programmes de 1 000 à 2 000 lignes pour chaque image. Aucun modèle d’image externe n’est utilisé, et aucune image source pré‑rendu n’est fournie. Le résultat est donc entièrement issu du raisonnement du modèle, qui choisit les outils, exécute le code et observe le canevas avant d’ajuster le prochain trait.

Défis et limites

Le rendu virtuel reste impressionnant, mais la transition vers le monde réel montre les limites du système. Lors d’un test avec un bras robotisé, le modèle a été confronté à la tâche de reproduire « The Starry Night » de Van Gogh. Sur le benchmark interne RoboDojo Sim, Claude Fable 5.2 a atteint 64,9 % contre 29,8 % pour le modèle concurrent GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Astra d’OpenAI, mais en conditions réelles le robot d’OpenAI a peint plus rapidement et a même réussi à faire tenir une pièce de domino grâce à un geste de gravité, ce que Fable 5.2 n’a pas encore accompli. La précision du contrôle moteur et la vitesse d’exécution restent donc des axes d’amélioration.

Un autre point sensible est la charge de travail générée par le code. Produire plusieurs centaines de milliers de strokes implique des temps de calcul et de rendu non négligeables, ce qui limite pour l’instant l’utilisation du modèle dans des applications où la rapidité est cruciale.

Applications concrètes

Anthropic ne se contente pas d’une démonstration artistique. Le même principe de planification pas à pas est exploité pour des tâches techniques à long terme. Des expériences internes ont montré que Fable 5.2 pouvait résoudre des problèmes en physique des trous noirs, concevoir des circuits électroniques en collaboration avec le fabricant Diode, voire programmer son propre système d’exploitation en moins de deux semaines grâce à plus d’un millier de sous‑agents.

Pour les développeurs, l’accès à un modèle capable de générer du code qui manipule directement des environnements simulés ouvre la porte à des assistants de prototypage plus autonomes. On peut imaginer des scénarios où l’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. conçoit le plan d’une pièce, le traduit en instructions de robot, puis ajuste le résultat en fonction du retour visuel, le tout sans intervention humaine directe.

Claude Fable 5.2 montre ainsi une nouvelle direction où la frontière entre langage et action physique se brouille, offrant un aperçu de ce que pourraient devenir les agents IA capables de manipuler le monde réel avec la même finesse qu’un peintre.

Une lecture à partager ?
Partager
Partager cet article
WhatsApp ↗LinkedIn ↗Facebook ↗X ↗E-mail ↗

POUR CONTINUER

Garder le fil.

Toutes les actus ↗