En octobre 2025, quatre lycéens noirs de Baltimore attendent leurs véhicules après le football. L’un d’eux tient un sac de Doritos. L’outil de surveillance de l’école, Omnilert, identifie soudainement le sac comme une possible arme à feu et envoie une alerte.

Une alerte annulée, mais une réponse policière maintenue

Les responsables de Baltimore County Public Schools (BCPS) consultent les images et constatent qu’il n’y a aucune menace réelle. L’alerte est alors retirée, ce qui informe également le département de police du comté. Malgré l’annulation, les agents se rendent sur les lieux avec six véhicules, des gyrophares et, pour certains, les armes dégainées.

Les adolescents sont ordonnés de se mettre à genoux, menottés et fouillés, sans qu’on leur explique la raison exacte. Ce n’est qu’après la fouille infructueuse que les jeunes apprennent que le déclencheur était le système d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. d’Omnilert. Plusieurs témoignages évoquent des remarques désobligeantes de la part des policiers, comme « stupid AI cameras » ou « AI is not the best ».

Conséquences pour les élèves

Au‑delà de la détresse psychologique, les jeunes subissent des marques physiques aux poignets et une perte de confiance envers les forces de l’ordre et l’établissement scolaire. L’élève identifié à tort, Taki Allen, évite désormais d’attendre les trajets après les cours, préférant payer des services de transport privés. Le frère de Keith Winfield, dont la mère signale des appels répétés après chaque TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances., vit également une anxiété accrue.

Le recours juridique

Les quatre adolescents – Taki Allen, Yui‑Osa Ogbeide, Devon Thompson Jr. et Keith Winfield III – ont déposé une plainte contre Omnilert, le département de police du comté et plusieurs responsables de BCPS. Ils réclament une injonction qui suspend l’usage d’Omnilert jusqu’à ce que des protocoles fiables soient mis en place, afin d’éviter toute nouvelle détention injustifiée.

Leurs avocats, menés par Damon Hewitt du Lawyers’ Committee for Civil Rights Under Law, soutiennent que le droit constitutionnel des élèves a été violé. Le dossier souligne aussi que la plupart des alertes de BCPS (plus de 99 %) se sont avérées être de faux positifs, ce qui aurait dû inciter à une vérification plus rigoureuse avant d’appeler la police.

Le rapport de l’Office du Contrôleur Général de l’Éducation

Une enquête de l’Office du Contrôleur Général (OIG) a conclu que le système Omnilert n’avait pas de Biais algorithmiqueDistorsion systématique dans les résultats d'un algorithme pouvant produire des erreurs ou des traitements injustes., mais que la chaîne de délégation d’autorité dans le lycée Kenwood était défaillante. La directrice Kate Smith aurait reçu l’alerte initiale, puis le message d’annulation, sans formation adéquate sur la plateforme. Elle a néanmoins contacté l’officier de sécurité de l’école 15 minutes plus tard, en précisant que l’objet « peut ne pas être une arme », ce qui a conduit à l’intervention policière.

L’OIG recommande des formations biannuelles pour le personnel, la réduction du nombre d’intervenants recevant les alertes et l’utilisation exclusive de l’application Omnilert plutôt que de simples SMS, afin d’éviter que les messages d’annulation passent inaperçus.

Réactions d’Omnilert et de BCPS

BCPS n’a pas commenté directement le procès, mais a diffusé aux parents un communiqué annonçant un soutien psychologique aux élèves et la mise en place de nouvelles mesures de prévention. Blake Mitchell, vice‑président marketing d’Omnilert, a présenté ses excuses et indiqué que l’entreprise réexamine la plainte tout en rappelant que le système vise à envoyer toute suspicion d’arme à des opérateurs humains pour validation.

Enjeux plus larges

Ce cas soulève la question du degré de confiance que les établissements scolaires peuvent accorder à l’IA pour la sécurité des élèves. La combinaison d’alertes automatisées et d’une communication humaine déficiente peut TransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. un faux positif en incident potentiellement traumatisant. Le débat s’étend désormais aux législateurs, aux forces de l’ordre et aux concepteurs de technologies de surveillance, qui doivent concilier rapidité d’intervention et protection des libertés individuelles.

Les recommandations de l’OIG, si elles sont appliquées, pourraient réduire le risque de nouvelles détentions injustifiées et restaurer la confiance des élèves et de leurs familles dans les systèmes de sécurité basés sur l’IA.

Une lecture à partager ?
Partager
Partager cet article
WhatsApp ↗LinkedIn ↗Facebook ↗X ↗E-mail ↗

POUR CONTINUER

Garder le fil.

Toutes les actus ↗