Les moteurs de recherche AI et les chatbots fournissent souvent de mauvaises réponses et composent des citations d'articles, selon une nouvelle étude de Columbia Journalism Review.
Pourquoi nous nous soucions. Les outils de recherche d'IA ont augmenté le grattage de votre contenu afin qu'ils puissent servir des réponses à leurs utilisateurs, ce qui n'a cessé de cliquer sur votre site Web. En outre, les taux de clics à partir de la recherche AI et des chatbots sont beaucoup plus bas que Google Search, selon une étude distincte et non liée. Mais les citations hallucinantes aggravent encore une situation déjà mauvaise.
Par les chiffres. Plus de la moitié des réponses des Gémeaux et Grok 3 ont cité des URL fabriquées ou cassées qui ont conduit à des pages d'erreur. Aussi, selon l'étude:
- Dans l'ensemble, les chatbots ont fourni des réponses incorrectes à plus de 60% des requêtes:
- Grok 3 (le taux d'erreur le plus élevé) a répondu à 94% des requêtes de manière incorrecte.
- Les Gémeaux n'ont fourni qu'une réponse complètement correcte à une occasion (dans 10 tentatives).
- La perplexité, qui avait le taux d'erreur le plus bas, a répondu incorrectement 37% des requêtes.
Ce qu'ils disent. Les auteurs de l'étude (Klaudia Jaźwińska et Aisvarya Chandrasekar), qui ont également noté que «plusieurs chatbots semblaient contourner les préférences du protocole d'exclusion des robots», résume de cette façon:
«Les résultats de cette étude s'alignent étroitement avec ceux décrits dans notre précédent Étude de chatpptpublié en novembre 2024, qui a révélé des modèles cohérents à travers les chabots: présentations confiantes d'informations incorrectes, d'attributions trompeuses au contenu syndiqué et de pratiques de récupération d'informations incohérentes. Les critiques de la recherche générative comme Chirag Shah et Emily M. Bender ont soulevé des préoccupations substantielles concernant l'utilisation de modèles de grande langue pour la recherche, note qu'ils «enlèvent la transparence et l'agence d'utilisateurs, amplifient davantage les problèmes associés au biais dans [information access] des systèmes, et fournissent souvent des réponses non fondées et / ou toxiques qui peuvent ne pas être contrôlées par un utilisateur typique. »»
