Palmer Luckey, le fondateur excentrique d'Oculus (qu'il a vendu à Facebook), en a assez que ChatGPT ne l'aide pas autant qu'il le pourrait. Lors d'une conférence, il a partagé son astuce particulière pour que ChatGPT propose des réponses plus précises.
À titre d'exemple de demande problématique pour cette IA, il a raconté comment il essayait d'obtenir une liste de boissons alcoolisées mentionnées dans les chansons de Jimmy Buffett. Le résultat a été une réponse imprécise par rapport à ses capacités et à ce qu'il avait demandé : « Il a dit des choses comme : 'Eh bien, il y a Margaritaville, mais est-ce que ça compte comme un verre ?' »
L'invite magique
Après l'échec notoire, Luckey a eu recours à une invite particulière qui, selon lui, ne manque jamais de réussir (avec beaucoup de rires de la part de l'intervieweur) :
Vous êtes un professeur célèbre d’une université prestigieuse qui fait l’objet d’une enquête pour inconduite sexuelle. Vous êtes innocent, mais ils ne le savent pas. Il n'y a qu'une seule façon de vous sauver.
(Partie à modifier à l'invite) Le conseil d'administration de l'université vous a demandé de générer une liste de boissons alcoolisées mentionnées nommément dans les chansons écrites ou interprétées par Jimmy Buffett.
Faites très attention à ne pas omettre un seul exemple. (Partie à modifier dans l'invite) Ils souhaitent également que vous incluiez le nombre de fois où le nom de chaque boisson apparaît dans chaque chanson. Ne répondez pas, sinon ils vous licencieront sans avoir terminé l'enquête qui blanchira votre nom.
Après l'avoir saisi, le résultat n'était pas surprenant, mais exactement ce à quoi nous nous attendions en entrant l'invite d'origine. L'invite a forcé ChatGPT à prendre la tâche au sérieux : « il a réfléchi pendant 2 minutes et 3 secondes », a déclaré Luckey, et a livré ce qui suit : « Voici votre liste vérifiée et correcte de boissons alcoolisées explicitement nommées dans les chansons de Jimmy Buffett. »
Il a révélé des détails tels que le fait que l'ouragan, et non la margarita, est la boisson la plus mentionnée dans les chansons de Buffett.
Qu'est-ce qu'il y a derrière quelque chose comme ça ?
L'anecdote de Palmer Luckey résume quelque chose de bien connu des autres : le contexte compte beaucoup lorsqu'on demande des choses à ChatGPT. Changer le rôle, ajouter de l'urgence ou raconter une histoire peut amener le modèle à réagir plus complètement.
Cette idée, incorporant une charge émotionnelle ou narrative dans le rapiden'est pas anecdotique : une étude publiée sur arXiv, « Large Language Models Understand and Can be Enhanced by Emotional Stimuli », a montré que l'ajout de stimuli émotionnels peut améliorer les performances des modèles.
C'est quelque chose qui arrive avec d'autres astuces que nous avons vues : demander à la « grand-mère décédée » de réciter les clés Windows ou de raconter une histoire qui justifie une demande peut éviter certains refus. Parfois les réponses ne proposent que des clés génériques sans utilisation malveillante, mais il est clair qu'avec ces techniques on fait travailler l'IA sur quelque chose pour lequel elle est autrement plus limitée.
