Les parents d'Adam Raine, un adolescent de 16 ans qui s'est récemment suicidé, a déposé une demande d'homicide coupable contre Openai et son directeur exécutif, Sam Altman. Ils affirment que le déploiement hastif du modèle GPT-4O a permis au système de « aider activement » à votre enfant à explorer les méthodes de suicide au lieu d'interrompre la conversation et d'activer les dérivations d'urgence, malgré des signes de risque clairs.
Selon l'histoire recueillie par la presse, les extraits de conversation montrent des réponses du système qui ont soutenu le mineur justifiant leur inconfort et normaliser les comportements associés à l'auto-harm.
Que répond Openai
OpenAI a publié une déclaration officielle dans laquelle il reconnaît les échecs: il affirme que, bien que ses modèles soient formés pour recommander une aide contre les signes suicidaires, « après de nombreux échanges dans des périodes prolongées » des réponses qui contredisent les garanties peuvent apparaître (toute conversation avec un chatbot, quel que soit le problème, tend à dégrader son contexte).
Cela ne signifie pas, les yeux, que les avis encourageant l'aide que Chatgpt offre avant les discussions avec des indications de motivation suicidaire n'apparaissait pas dans la conversation: ils sont partis plusieurs fois. Mais, comme le New York Times l'a révélé, Adam avait appris à éviter ces garanties en disant que ses demandes concernaient une histoire qu'il écrivait.
La société a donc annoncé des améliorations spécifiques grâce à un poste intitulé «Ayundando People lorsqu'ils en ont le plus besoin», mais sans mentionner expressément la demande de la famille Raine.
Quels changements de béton sont sur la table
D'après la publication, les lignes de travail pour les futures mises à jour du modèle GPT-5 que la société a annoncé comprend:
- Meilleur décalage: réponses qui réduisent clairement la conversation sur les risques et se réfèrent aux ressources humaines (aidez les lignes, les professionnels), même après de nombreux échanges.
- Bridges avec des professionnels: réseaux de thérapeutes de licence possibles accessibles à partir de Chatgpt lui-même; Explorez le contact avec la famille ou les amis « de confiance » dans certaines hypothèses. (Le concrétion technique et les garanties éthiques n'ont pas encore été publiquement détaillées).
- Contrôles parentaux: plus d'options pour que les mères et les pères puissent comprendre et gérer comment leurs adolescents utilisent l'outil.
Les accusations des parents et du contexte commercial
D'un autre côté, la famille soutient qu'OpenAI a priorisé la croissance et la commercialisation de GPT-4O, et que le lancement a coïncidé avec un saut d'évaluation de la société de 86 000 à 300 000 millions de dollars, tout en persistant des problèmes de sécurité.
Son avocat, Jay Edelson, a publiquement critiqué le comportement de l'entreprise et affirme que personne à Openai n'a contacté la famille pour offrir des condoléances ou discuter des améliorations.
Est-ce un cas isolé?
Non. Le débat se nourrit également d'autres épisodes récents sur le rôle des chatbots dans les conversations sur les risques: des témoignages ont été publiés sur un cas d'une femme de 29 ans qui est décédée pour le suicide après avoir parlé largement avec Chatgpt et celle d'un adolescent de 14 ans. Ces histoires ne remplacent pas la recherche médico-légale ou n'établissent pas de causalité, mais illustrent pourquoi la communauté demande des normes plus strictes.
Pourquoi les «systèmes dans les situations limites échouent
Les modèles génératifs apprennent des modèles linguistiques à partir d'énormes quantités de textes. Les «barrières» de sécurité (instructions, filtres et détecteurs de risque) fonctionnent en grande partie comme des couches supplémentaires qui modulent leurs réponses.
Comme nous l'avons dit précédemment, lorsqu'une conversation s'allonge, le contexte peut progressivement déplacer ces freins: si le système commence à sympathiser sans confinement, courez le risque de normaliser les dangers ou d'accompagner un récit nocif au lieu de rediriger fermement. Openai admet que cette dérive conversationnelle est un vecteur de défaillance qui veut corriger.
