Elorian, la jeune startup californienne qui a levé 55  millions de dollars en seed à une valorisation de 300  millions, a dévoilé ce vendredi son premier modèle, Glimpse, en version de recherche préliminaire. Le produit se présente sous forme d’API et d’une interface de chat, le tout destiné aux développeurs et aux chercheurs qui souhaitent tester les capacités de vision du modèle.

Un nouveau mode de raisonnement visuel

Les modèles multimodaux classiques traitent une image une seule fois : ils la transforment en une suite de TokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère., puis génèrent du texte à partir de ces tokens, comme s’ils décrivaient la photo « de mémoire ». Glimpse adopte une approche différente. Au cours du raisonnement, il peut revenir à la source visuelle, recadrer une zone, extraire des cadres d’une vidéo ou même exécuter du code pour mesurer ou comparer ce qu’il voit. Elorian appelle ce mécanisme un « visual scratch space », comparable à l’action de pincer l’écran d’un smartphone pour zoomer et vérifier un détail.

Pourquoi la « vision » reste un problème

Le PDG d’Elorian, Andrew Dai, ancien chercheur chez Google DeepMind, illustre la limite des modèles actuels avec une anecdote simple : lors d’une soirée jeux de société, il a photographié le plateau et demandé à un modèle de pointe qui menait la partie. Le modèle n’a pas su répondre, soulignant que les symboles et l’iconographie propres à chaque jeu restent difficilement interprétables pour les Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision.. Selon Dai, « les humains peuvent regarder un diagramme IKEA sans texte et monter le meuble », alors que les modèles peinent à décoder ces représentations visuelles.

Une architecture « zoom‑on‑the‑fly » déjà utilisée ?

OpenAI a introduit la capacité de recadrer pendant le raisonnement dans ses modèles de la série o en 2025. La différence, selon Elorian, réside dans le fait que Glimpse a été conçu dès le départ autour de ce principe, ce qui permettrait de le proposer à un coût inférieur. La startup indique qu’une petite équipe a entraîné le modèle sur quelques centaines de GPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA., le rendant nettement plus petit que les systèmes de référence actuellement testés.

Coût et performances

Le tarif annoncé par Elorian est de 0,60 $ par million de tokens en entrée et de 3 $ par million de tokens en sortie. Cette fourchette place Glimpse entre les modèles intermédiaires comme Sonnet ou Sol (plus chers) et les modèles légers tels que Haiku ou Luna (moins chers). Sur les benchmarks internes, Glimpse dépasserait même le modèle GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Astra sur le raisonnement de graphiques scientifiques et la légende de courtes vidéos, tout en affichant des résultats compétitifs sur d’autres tâches de raisonnement visuel.

Cibles et perspectives

Elorian mise d’abord sur les entreprises qui traitent de grandes quantités de vidéo : robots, laboratoires scientifiques, médias et studios créatifs. À plus long terme, la société souhaite passer de la simple perception à l’action, en construisant un modèle capable de choisir une action à partir d’une scène perçue, voire de piloter directement des robots. Dai promet que l’an prochain l’entreprise visera « le meilleur Modèle de raisonnementModèle d'intelligence artificielle optimisé pour résoudre des problèmes nécessitant plusieurs étapes de raisonnement. visuel au monde », avec l’ambition de dominer tous les tests existants.

Financement et équipe

La levée de fonds a été co‑dirigée par Striker Venture Partners, Menlo Ventures et Altimeter Capital, avec la participation de Nvidia et du scientifique en chef de Google, Jeff Dean. La startup, sortie de phase stealth il y a six mois, se positionne donc comme l’une des premières à proposer une IA capable de « voir » et de raisonner de façon itérative sur le même support visuel.

En résumé

Glimpse propose une approche originale du raisonnement visuel en permettant des aller‑retours sur la source d’image ou de vidéo pendant l’analyse. Le modèle est présenté à un prix moyen et, d’après les premières évaluations d’Elorian, il rivalise voire surpasse les modèles les plus avancés sur certains tests spécialisés. Si les performances restent à confirmer par des évaluations indépendantes, le concept de « visual scratch space » pourrait ouvrir la voie à des applications plus précises en robotique, en analyse scientifique ou en création de contenu vidéo.

Article basé sur les informations communiquées à TechCrunch.