Ce qui, pour un adolescent de 16 ans, aurait dû être un après-midi ordinaire après un entraînement de football est devenu une scène de film d'action. Huit voitures de patrouille, avec leurs policiers correspondants criant « Descendez ! » arme à la main, ils venaient de se rassembler devant l'entrée du lycée de Kenwood.
La raison ? Un algorithme d'IA du système de vidéosurveillance avait identifié la forme d'une arme à feu dans la poche de l'un d'entre eux.
Une erreur lourde de conséquences
Le jeune homme en question était Taki Allen, étudiant au centre et joueur de son équipe de football américain, qui discutait avec ses amis après l'entraînement, et s'est retrouvé soudain entouré de policiers qui pointaient leurs armes sur lui :
« Ils m'ont dit de me mettre à terre. Ils m'ont menotté. Je pensais qu'ils allaient me tuer. »
L'« arme » supposée qui a déclenché l'opération était, en réalité, un sac de Doritos épicés, retrouvé froissé dans la poche du pantalon de l'étudiant. Le système de détection d'armes, basé sur l'intelligence artificielle et exploité par la société Omnilert, avait émis une alerte automatique en identifiant la forme de l'emballage comme étant une éventuelle arme à feu.
Quelques heures plus tard, Allen s'en souvenait ainsi :
« Ils m'ont montré la photo et m'ont dit : 'Cela ressemble à une arme à feu.' J'ai dit : 'Non, ce sont des chips.' »
Son grand-père, Lamont Davis, l'a résumé de façon dramatique, mais pas de manière inexacte : « À Dieu ne plaise, mon petit-fils pourrait être mort s'il avait bougé ne serait-ce qu'un petit peu. »
La technologie (et le protocole) derrière l'erreur
Le système concerné appartient à Détection des armes à feu Omnilertmis en œuvre en 2024 dans plusieurs écoles du comté de Baltimore. Selon l'entreprise, son logiciel « utilise l'intelligence artificielle pour analyser les images des caméras de sécurité en temps réel et identifier d'éventuelles armes », envoyant des alertes immédiates aux autorités.
En théorie, la détection est vérifiée par un opérateur humain avant que la police n'intervienne. Dans la pratique, l’incident de Kenwood High a démontré que le processus peut mal tourner. Omnilert a décrit l'événement comme un « faux positif », mais a défendu que le système « a fonctionné comme prévu » puisqu'il « donnait la priorité à la sécurité et à une vérification rapide par des humains ».
Une « vérification » effectuée, bien sûr, après avoir sorti les armes devant un institut, sans revoir la photo pour le moment avant de donner l'avis aux agents.
En tout cas, l’explication n’a pas convaincu la communauté : parents et élèves (soutenus par des experts en technologie) se demandent désormais si un système avec une telle marge d’erreur devrait avoir le pouvoir de déclencher une opération armée en milieu scolaire.
L'organisation qui rassemble les écoles publiques du comté a envoyé une lettre aux parents proposant des services de conseil, mais Allen affirme que personne de l'école ne l'a contacté directement. « Ils ne se sont pas excusés. Ils ont juste dit que c'était le protocole. »
Débat sur l’IA et la surveillance scolaire
L’affaire a relancé un débat croissant sur l’utilisation de l’intelligence artificielle dans des contextes de sécurité publique et d’éducation. Alors que les partisans de cette technologie la présentent comme un outil permettant de prévenir des tragédies – dans un pays où les fusillades dans les écoles constituent une menace constante – les critiques préviennent que les systèmes de vision par ordinateur commettent encore de graves erreurs, en particulier dans des environnements comportant des variables complexes telles que l’éclairage, les mouvements ou les reflets.
Omnilert a annoncé qu'elle procéderait à un « examen complet » de l'incident pour améliorer la précision de son système, tout en insistant sur le fait que sa technologie « est conçue pour assister et non remplacer le jugement humain ». De son côté, le district scolaire a promis de renforcer les protocoles de vérification avant d'envoyer des notifications aux forces de sécurité.
Par | Actualités CBS
