Richard Sutton rappelle que la simple hausse de puissance de calcul ne suffit pas à l’intelligence artificielle

Le chercheur en IAIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision., lauréat du prix Turing, Richard Sutton revient sur son essai de 2019, « The Bitter Lesson », pour souligner que la croissance du nombre de calculs ne résoudra pas à elle seule les limites actuelles des modèles de langage. Dans un post récent, il rappelle que la science de l’IA a besoin de nouvelles méthodes capables d’apprendre en continu, et que le débat autour du scaling des grands modèles de langage (LLMLLMUn grand modèle de langage apprend des régularités dans des textes pour produire ou transformer du langage. Il ne constitue pas une base de faits garantie.) est loin d’être clos.

Le cœur de la « bitter lesson »

Dans son texte phare, Sutton montre que les approches générales qui tirent parti de la puissance de calcul finissent par surpasser les solutions conçues sur mesure par les humains. L’idée centrale est que les idées qui s’amplifient avec davantage de calcul sont plus prometteuses que celles qui reposent sur des hypothèses humaines limitées. Cette leçon, pourtant simple, est souvent mal interprétée : certains chercheurs pensent qu’il suffit d’ajouter des GPUGPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA. pour franchir le prochain cap de l’intelligence artificielle.

Les limites du scaling actuel

Sutton rappelle que le monde réel est d’une complexité infinie, bien au‑delà de ce que peut capturer un corpus textuel issu d’Internet. Il qualifie l’usage massif de données synthétiquesDonnées synthétiquesDonnées générées artificiellement pour simuler ou compléter des données réelles, notamment lors de l'entraînement de modèles. de « big mistake », soulignant que les simulations restent toujours « microscopiques ». De plus, les modèles actuels ne continuent pas à apprendre après la phase de pré‑entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. ; ils ne possèdent donc pas de mécanisme de mise à jour dynamique qui intègre de nouvelles expériences sans effacer les connaissances déjà acquises.

Vers des agents à modèle du monde

Plutôt que de miser exclusivement sur le scaling, Sutton plaide pour des agents capables de construire et d’affiner un modèle du monde à partir de leurs propres interactions. Un tel agent pourrait, en théorie, absorber de nouvelles informations en temps réel, tout en conservant ce qu’il a déjà appris. Cette vision s’inscrit dans un courant de recherche qui explore l’apprentissage continu, le méta‑apprentissage et les architectures hybrides combinant pré‑entraînement et renforcement.

Réactions de la communauté

Le post de Sutton a rapidement déclenché un débat sur X. Jerry Tworek, ancien d’OpenAI, note que le « bitter lesson » reste valable, mais que l’algorithme devient de plus en plus décisif à mesure que les modèles grossissent. Il pointe du doigt le succès temporaire des transformeurs, qui aurait « reward‑hacked » l’esprit d’une génération de scientifiques. De son côté, le chercheur Jayden Teoh insiste sur le danger d’une lecture trop stricte du principe de Sutton : il estime que de nombreuses idées, même si elles ne se scalent pas indéfiniment, ont pourtant ouvert la voie à des avancées majeures. Selon lui, la communauté doit éviter de rejeter d’emblée les travaux qui ne correspondent pas immédiatement à la logique du scaling.

Les voix des industriels

Dans le même temps, les dirigeants d’entreprises spécialisées dans les LLM restent optimistes. Sam Altman, PDG d’OpenAI, affirme que le potentiel de scaling est loin d’être épuisé, citant un modèle qui aurait résolu une conjecture mathématique longtemps insoluble. Dario Amodei, à la tête d’Anthropic, partage une vision similaire, décrivant la progression comme un arc‑en‑ciel sans fin. Ces positions, bien sûr, sont teintées de leurs intérêts commerciaux, mais elles montrent que le débat n’est pas seulement académique.

Où va la recherche ?

Le contraste entre les appels à de nouvelles approches d’apprentissage et la foi continue dans le scaling alimente une vague de startups qui misent sur les « gaps » identifiés par Sutton. Parmi elles, Core Automation, fondée par Tworek, explore des algorithmes qui combinent pré‑entraînement et apprentissage par renforcementReinforcement LearningMéthode d'apprentissage dans laquelle un agent améliore ses décisions en fonction des récompenses reçues lors de ses interactions., cherchant à dépasser les limites actuelles des LLM.

En somme, la leçon amère de Sutton n’est pas une condamnation du scaling, mais un rappel que la vraie intelligence artificielle devra s’appuyer sur des mécanismes d’apprentissage plus souples, capables de s’ajuster à la complexité du monde réel. Le débat qui en découle montre que le secteur est à un carrefour où la simple puissance de calcul ne suffit plus à elle seule.

L’avenir de l’IA dépendra donc de la capacité des chercheurs à concevoir des systèmes qui apprennent continuellement, tout en tirant parti des avancées de calcul déjà disponibles.