Google a annoncé ce mardi la mise à disposition de TorchTPU, une implémentation open source de PyTorch adaptée aux Tensor Processing Units (TPU) de l’entreprise. L’initiative s’inscrit dans une course où les géants du cloud cherchent à réduire la dépendance du secteur à l’écosystème Nvidia, historiquement dominant le marché des puces d’accélération pour l’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision..

Un framework déjà largement adopté

PyTorch, créé en 2016 par Meta (alors Facebook), est devenu l’outil de référence pour la majorité des développeurs d’applications IA. Selon certaines estimations, près de 85 % des modèles IA sont entraînés ou déployés avec ce framework. À l’origine, ses fonctions ont été conçues pour exploiter les GPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA. Nvidia, qui étaient déjà la norme en recherche IA. En 2022, Meta a transféré la gouvernance du projet à la Linux Foundation, garantissant ainsi une gestion communautaire et une évolution indépendante des intérêts d’une seule entreprise.

TorchTPU : la version Google du framework

TorchTPU permet aux développeurs de faire tourner leurs modèles PyTorch sur les TPU de Google, que ce soit sur le matériel dédié ou via Google Cloud. La migration se résume, en principe, à une modification de configuration ; aucun ré‑écriture de code n’est requise. Cette simplicité vise à faciliter le basculement des projets existants vers l’infrastructure cloud de Google, tout en offrant les performances spécifiques des TPUs, notamment en matière de calcul matriciel à grande échelle.

Une démarche similaire chez Amazon

Un jour avant Google, Amazon avait dévoilé TorchNeuron, son équivalent pour les puces Trainium, développées en interne pour le service AWS. TorchNeuron propose le même principe : portage d’applications PyTorch vers le matériel propriétaire d’Amazon sans toucher au code source. En parallèle, Amazon a soumis des contributions au dépôt principal de PyTorch afin de décorréler certaines fonctions du support exclusif des GPU Nvidia, ouvrant la porte à une plus grande compatibilité matérielle.

Collaboration avec les acteurs de l’écosystème IA

Google affirme avoir travaillé en étroite collaboration avec plusieurs acteurs majeurs : Meta, Hugging Face, Inferact (fabricant de vLLM), RadixArk (créateur de SGLang) et d’autres. L’objectif est d’assurer que les bibliothèques et extensions populaires du monde PyTorch fonctionnent sans friction sur les TPUs, comme c’est le cas sur les GPU Nvidia. Cette approche collaborative contraste avec une simple adaptation technique ; elle vise à garantir une continuité d’expérience pour les développeurs habitués à des outils comme Transformers, Accelerate ou autres.

Outils d’accompagnement

Pour accompagner la transition, Google a lancé le TPU Agent Suite, un ensemble d’outils destinés à identifier les incompatibilités, proposer des correctifs et automatiser le déploiement sur les TPUs. Parallèlement, le projet LiteRT, déjà utilisé pour exécuter des modèles IA sur smartphones, ordinateurs portables et appareils embarqués, a été mis à jour afin d’optimiser son interaction avec les applications PyTorch.

Quelles implications pour les développeurs ?

  • Facilité de migration : la plupart des projets PyTorch peuvent être redéployés sur les TPUs en modifiant simplement des paramètres de runtime. Cela réduit le coût de migration et encourage l’expérimentation sur différents clouds.
  • Performance ciblée : les TPUs offrent des performances supérieures pour certains types d’opérations, notamment les multiplications de matrices à très grande échelle, ce qui peut se traduire par des temps d’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. plus courts pour les modèles volumineux.
  • Diversification des fournisseurs : en rendant le portage aisé, Google et Amazon offrent aux équipes une alternative à l’écosystème Nvidia, ce qui pourrait atténuer la concentration du marché et encourager la concurrence sur les prix et l’innovation.
  • Limites actuelles : malgré les promesses, le support complet de toutes les extensions PyTorch n’est pas encore assuré. Certains modules très spécialisés restent optimisés uniquement pour les GPU Nvidia, et les équipes devront tester la compatibilité au cas par cas.

Vers un paysage matériel plus ouvert ?

Le fait que deux des plus grands fournisseurs de cloud – Google et Amazon – investissent dans leurs propres versions de PyTorch montre une volonté claire de rompre avec la dépendance quasi‑exclusive aux GPU Nvidia. Cependant, il ne faut pas s’attendre à un basculement massif du jour au lendemain. Les projets existants, les pipelines d’entraînement et les investissements déjà réalisés sur les GPU restent des facteurs d’inertie importants.

En pratique, les développeurs disposeront désormais d’un choix supplémentaire : rester sur les GPU Nvidia, migrer vers les TPUs de Google ou les Trainium d’Amazon, voire exploiter une combinaison hybride selon les exigences de coût, de LatenceDélai entre l'envoi d'une requête à un système et l'obtention d'une réponse ou du début de celle-ci. et de performance. Cette flexibilité pourrait également stimuler l’émergence de nouvelles optimisations spécifiques à chaque type de matériel.

Perspective à moyen terme

Si les contributions de Google et d’Amazon permettent d’élargir le support matériel de PyTorch, le véritable test sera la capacité de la communauté à adopter ces outils dans des projets réels. Les performances, la stabilité et la documentation seront déterminantes. Dans les mois à venir, on pourra mesurer l’impact réel de TorchTPU et TorchNeuron sur la part de marché des GPUs Nvidia et sur les stratégies de déploiement des entreprises IA.

Les développeurs qui envisagent de migrer leurs workloads vers le cloud devront surveiller les mises à jour de ces projets, tester leurs modèles sur les TPUs et, le cas échéant, ajuster leurs pipelines pour tirer parti des gains de performance offerts par les nouvelles puces.