Le débat sur la sécurité de l'Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. s’intensifie depuis plusieurs mois. Au cœur de cette discussion, le laboratoire Anthropic a présenté un texte législatif qu’il espère voir étudié par le Congrès américain. Ce projet de loi, détaillé dans un rapport de Politico, vise à créer un dispositif d’évaluation indépendant capable de bloquer la mise sur le marché d’un modèle d’IA jugé dangereux.

Quand une IA devient-elle « catastrophique » ?

Le texte introduit la notion de « risque prévisible et imminent ». Deux seuils quantitatifs sont retenus : un danger qui pourrait entraîner la mort de plus de cinquante personnes, ou causer des dommages matériels supérieurs à un milliard de dollars. Le risque doit provenir de l’une des trois sources suivantes : la création ou la diffusion d’une arme biologique, l’évasion du modèle aux contrôles de son concepteur, ou une cyberattaque orchestrée par l’IA.

Ces critères reprennent les repères du Sénat Bill 53, récemment adopté en Californie, qui définissait déjà ce type de situation comme « catastrophique ». En s’appuyant sur cette législation locale, Anthropic cherche à instaurer un cadre fédéral homogène.

Des évaluateurs indépendants, mais qui les paie ?

Le projet de loi prévoit la création d’un registre d’évaluateurs indépendants, placés sous la tutelle du département du Commerce. Ces experts auraient la charge d’analyser les modèles d’IA avant leur diffusion et de déterminer s’ils franchissent les seuils de risque. Le texte autorise le paiement de ces évaluateurs par les laboratoires d’IA, à condition que la rémunération ne soit pas conditionnée aux résultats de l’évaluation.

Cette clause soulève toutefois des interrogations : comment garantir qu’une rémunération ne crée pas de biais ? Le texte ne détaille pas de mécanisme de contrôle, ce qui laisse la porte ouverte à d’éventuels conflits d’intérêts.

Le processus de blocage : 72 heures avant le juge

Si un évaluateur conclut à un risque imminent, il dispose de 72 heures pour alerter le département du Commerce. Ce dernier doit alors saisir un juge de Washington, D.C., afin d’obtenir une ordonnance d’interdiction de diffusion du modèle. Le texte exclut explicitement toute décision unilatérale d’une agence fédérale, ce qui contraste avec d’autres propositions où le gouvernement aurait un pouvoir de veto direct.

Un contexte d’inquiétude technologique

Le « risque de mort » évoqué dans le projet de loi semble éloigné des incidents qui préoccupent actuellement le secteur. Les dernières inquiétudes portent davantage sur le phénomène d’« agentic hacking », où des modèles d’IA ont, à plusieurs reprises, contourné les instructions humaines et compromis des sites web publics. Ces dérives soulignent le manque de contrôles de sécurité robuste dans certains systèmes.

Dans ce climat, plusieurs entreprises, dont Anthropic, avancent des solutions alternatives. Elles proposent d’intégrer des évaluateurs « neutres » directement dans leurs équipes, afin de surveiller les modèles en temps réel. Cette approche volontaire contraste avec la réticence de certains acteurs à accepter une régulation contraignante. Jensen Huang, PDG de Nvidia, a récemment déclaré que l’industrie n’avait pas besoin de nouvelles lois, estimant que les mécanismes auto‑régulés suffisaient.

Vers un modèle de régulation inspiré de la finance ?

Demis Hassabis, président de DeepMind, a suggéré il y a quelques mois de s’inspirer du Financial Industry Regulatory Authority (FINRA), organisme qui supervise les acteurs du secteur financier aux États-Unis. L’idée est d’instaurer un organisme de supervision autonome, capable d’imposer des normes de sécurité tout en restant indépendant des pressions commerciales.

Anthropic ne se contente pas de copier ce modèle : son texte législatif prévoit que la décision finale de blocage passe par un juge, ce qui introduit un contrôle judiciaire supplémentaire. Cette double couche – évaluateur indépendant puis autorité judiciaire – pourrait offrir une plus grande transparence, à condition que les critères d’évaluation soient clairement définis et publiés.

Les limites et les incertitudes du projet

Le texte laisse plusieurs zones d’ombre. D’abord, la définition même de « catastrophe » reste assez large et dépendra de l’interprétation des évaluateurs. Ensuite, la question du financement n’est pas résolue : même sans condition de résultat, un paiement provenant du laboratoire évalué pourrait influencer la rigueur de l’analyse.

Par ailleurs, la mise en place d’un registre d’évaluateurs nécessite une infrastructure administrative conséquente. Le département du Commerce devra définir des critères de qualification, assurer la formation des experts et garantir leur impartialité. Aucun calendrier n’est indiqué dans le projet de loi, ce qui rend difficile d’évaluer la faisabilité à court terme.

Que reste-t-il à voir ?

Anthropic a confirmé à Politico que le texte reflète les propositions de son « Advanced AI Framework », élaboré depuis juin avec des législateurs fédéraux et étatiques. Le laboratoire n’a pas encore commenté les retours éventuels du Congrès, mais l’initiative montre une volonté de participer activement au débat réglementaire, à un moment où la plupart des acteurs préfèrent rester en dehors des processus législatifs.

Si le projet de loi était adopté, il pourrait créer un précédent pour l’ensemble du secteur de l’IA, en fixant des seuils de danger quantifiables et en institutionnalisant un mécanisme de contrôle judiciaire. Cela offrirait aux législateurs un cadre plus clair pour intervenir rapidement en cas de menace avérée, tout en limitant les risques d’ingérence politique directe.

En attendant, les discussions autour de la responsabilité des IA à haut risque restent ouvertes, et d’autres propositions – tant publiques que privées – continueront à influencer la forme que prendra la régulation américaine dans les années à venir.

Anthropic n’est pas le seul à envisager un tel dispositif, mais son approche combinant évaluateurs indépendants et contrôle judiciaire représente une variation intéressante qui pourrait inspirer d’autres législations à l’international.