Caitlin Roper, une militante australienne, est habituée depuis des années à la toxicité sur Internet. Cependant, cette année, elle a été confrontée à un niveau de menaces qui l’a traumatisée. Parmi les messages reçus figuraient des images d'elle suspendue à une corde ou engloutie dans les flammes, au réalisme inquiétant. Certaines ont même montré des détails précis, comme une robe bleue à fleurs qu'elle possède réellement.
Comme le définit un article du New York Times, « ces petits détails donnent l'impression que le viol est plus réel et, d'une certaine manière, un type de viol différent. Cela peut transformer le fantasme en quelque chose de plus que du fantasme ».
L’IA apporte beaucoup de bien, mais elle génère aussi du mal. La technologie générative permet d’imiter des voix, de créer des deepfakes sans consentement et de produire des contenus violents qui peuvent sembler spécifiquement destinés à la victime.
Les menaces numériques existent depuis toujours, mais elles sont désormais plus faciles à produire et plus convaincantes. En 2023, un juge de Floride a reçu une vidéo, probablement générée avec un outil de personnalisation de personnage de Grand Theft Auto 5, dans laquelle un avatar qui lui ressemblait était piraté et tué. Plus récemment, les chaînes YouTube ont été identifiées avec des dizaines de vidéos hyperréalistes de femmes attaquées, dont beaucoup apparemment générées par l’IA. Ces chaînes n’ont été fermées que lorsque le New York Times les a contactés pour leur poser des questions sur les vidéos.
Une question triviale. Jusqu'à récemment, le clonage numérique de personnes nécessitait de nombreuses images publiques, et grâce à cela, des deepfakes sexuels de célébrités étaient réalisés. Aujourd’hui, une seule photo suffit. Il en va de même pour le chant : ce qui nécessitait autrefois des heures d'échantillonnage peut désormais être réalisé avec moins d'une minute d'enregistrement.
Inquiétude avec Sora. Selon l'enquête, l'application OpenAI a déjà été utilisée pour créer des instructions détaillées sur les crimes. OpenAI veille à mettre en œuvre des « garde-corps » et des systèmes de modération automatique. Cependant, comme Alice Marwick, directrice de recherche chez Data & Society, ne voit pas les choses de la même manière : ils considèrent que ces mesures peuvent être facilement contournées.
La militante Roper relie une partie des attaques reçues à sa campagne contre les jeux vidéo qui normalisent la violence sexuelle. Certaines images ont été supprimées de X, mais la plateforme a permis à d'autres de rester et lui a même suggéré de suivre les récits de ses harceleurs. Les améliorations de sa nouvelle version très puissante ne sont pas non plus rassurantes.
Écrasement. L'IA a également été utilisée dans de fausses attaques d'appels d'urgence afin de provoquer une intervention massive de la police au domicile d'une personne innocente. Grâce à la technologie, ces attaques sont désormais plus précises, convaincantes et anonymes, rendant plus difficile le travail des autorités.
Brian Asmus, expert en sécurité scolaire, souligne : « Comment la police réagit-elle à quelque chose qui n'est pas réel ? Nous n'avons pas encore trouvé comment anticiper cette situation. » Oui, « Minority Report » n’est pas encore là. Sans aucun doute, tout cela soulève de nouveaux besoins de sécurité sur Internet et à l’extérieur, même si nous savons déjà quelles idées apparaissent lorsque la technologie est liée à des problèmes qui existeraient de toute façon.
