Pangram est surtout connu pour sa plate-forme de détection d'IA qui, selon la société, est capable d'obtenir un faux positif sur 10 000, le meilleur du secteur.
« Le contenu entièrement généré par l'IA est désormais partout, et une grande partie n'est pas divulguée », a déclaré le cofondateur et directeur général Max Spero. « Pangram existe pour rendre la paternité lisible pour les éditeurs, les enseignants, les journalistes et toute personne qui s'appuie sur la communication véridique et authentique des informations. »
L'entreprise utilise ce qu'elle appelle un « modèle de classificateur », un type de réseau neuronal qui peut estimer si une partie du texte est générée par l'IA ou écrite par un humain. Selon la page de Pangram sur le fonctionnement du produit, il est indiqué que le système fonctionne en essayant de déterminer à quoi un passage « ressemble » à un LLM ou à un humain.
La formation du classificateur impliquait d’extraire du texte humain connu datant d’avant 2021 et de l’associer à du texte généré par l’IA afin que le classificateur puisse facilement distinguer les deux. L'entreprise a reconnu que cela fonctionne bien maintenant, mais que le style et l'utilisation du langage évoluent avec le temps et que le modèle de formation devra s'y adapter.
La société a également annoncé Pangram 4, le détecteur d'IA le plus puissant de la société à ce jour, et a introduit la détection d'images Pangram dans l'aperçu de la recherche.
La société a déclaré lors de tests de référence internes que Pangram 4 avait un taux de faux positifs de 0,0041 %, soit environ une fois pour 24 000 documents. La société a ajouté que le nouveau modèle réduit également considérablement les faux négatifs, lorsqu'il ne parvient pas à détecter l'IA, et qu'il est robuste contre les humaniseurs, qui tentent de donner l'impression que le texte de l'IA a été écrit par un humain.
Le modèle d'image de la société pour détecter les images générées par l'IA peut capturer des images créées par des fournisseurs d'images, notamment GPT Image d'OpenAI Group PBC, Gemini Nano Banana de Google LLC, Midjourney Inc., FLUX et Grok Imagine, ainsi que certains fournisseurs de vidéo IA, notamment Kling AI Pte. Ltd., Seedance, Veo et Wan de Google.
La société a déclaré qu’une nouvelle génération de détecteurs d’images IA est nécessaire car les deepfakes et les images générées par l’IA considérées comme vraies sont de plus en plus répandues. Bien que d'autres sociétés aient commencé à intégrer des filigranes invisibles et d'autres marqueurs dans leur contenu, par exemple SynthID de Google, celles-ci ne fonctionnent que sur des modèles frontières qui les intègrent.
Même si les images d’IA prolifèrent, les humains sont de moins en moins capables de les détecter. Selon un rapport de Let's Enhance, un blog axé sur les outils de création d'IA, les taux de détection globaux oscillent autour de 63,7 %, mais pour les générateurs d'images à haute capacité tels que FLUX, les taux chutent à près de 29 %. La recherche a montré que la distinction entre l’IA et le naturel tombe à près de 50 % en moyenne, essentiellement un tirage au sort.
Les détecteurs IA et le manque de fiabilité
La précision de détection et le taux de faux positifs de Pangram proviennent de ce qui semble être principalement des références internes, un livre blanc technique et un petit nombre d'études tierces favorables. L’entreprise souhaite se démarquer des autres détecteurs IA car la précision est importante.
Un point clé à examiner pour les détecteurs d’IA est qu’ils sont dans l’ensemble peu fiables. Le MIT Sloan Teaching and Learning Technologies a souligné que la technologie est « loin d’être infaillible » et présente souvent des taux d’erreur élevés qui peuvent conduire à de fausses accusations. La Fondation Mozilla a constaté que les outils de détection ne sont pas aussi fiables qu’ils le prétendent et que les détecteurs d’IA peuvent être biaisés à l’encontre des anglophones non natifs.
La fiabilité elle-même dépend fortement du contexte, les faux positifs étant la principale préoccupation.
Alors que certains nouveaux fournisseurs de détection d’IA, dont Pangram, revendiquent des améliorations majeures, la littérature plus large sur le sujet repose toujours sur le principe selon lequel la détection d’IA est un signal probabiliste plutôt que fiable pour l’écriture réelle.
Le résultat est que de nombreux établissements d’enseignement ont soit interrompu, soit interdit l’utilisation des détecteurs d’IA, soit conseillé aux professeurs et aux enseignants de les utiliser comme point de données et non comme verdict. L'Université de Waterloo a cessé d'utiliser Turnitin LLC, l'un des principaux détecteurs, en septembre ; La position du MIT est que les détecteurs d’IA ne fonctionnent tout simplement pas : les éducateurs et le travail professionnel devraient plutôt s’appuyer sur des politiques et des attentes adaptatives.
