Des pirates informatiques criminels ont utilisé l'intelligence artificielle pour développer un exploit fonctionnel Zero Day, le premier cas confirmé de ce type, selon un rapport publié aujourd'hui par le Google Threat Intelligence Group de Google LLC.
Le rapport GTIG AI Threat Tracker détaille comment un groupe criminel a utilisé l'IA pour créer un exploit basé sur Python ciblant un contournement de l'authentification à deux facteurs dans un outil d'administration système Web open source populaire. Les acteurs prévoyaient de le déployer dans le cadre d’une campagne d’exploitation massive, mais des erreurs dans leur mise en œuvre ont probablement gêné son utilisation réussie. Google a divulgué la faille au fournisseur et un correctif a été publié.
GTIG a déclaré avoir une grande confiance dans le fait qu'un modèle d'IA a aidé à la découverte et à l'utilisation de la vulnérabilité, citant des signes révélateurs dans le code, notamment un score de gravité halluciné, un formatage Python du manuel, des menus d'aide détaillés et des documents pédagogiques caractéristiques des données de formation. Les chercheurs ont déclaré que le modèle Gemini de Google n'avait pas été utilisé.
La vulnérabilité dans ce cas provenait d'une faille de logique sémantique dans laquelle le développeur avait codé en dur une hypothèse de confiance, une sorte d'erreur de haut niveau que les outils de sécurité avaient du mal à détecter. Les modèles de langage Frontier excellent dans l'identification de ces failles, car ils peuvent raisonner sur l'intention d'un développeur et faire apparaître des erreurs logiques dormantes qui semblent fonctionnellement correctes pour les scanners traditionnels.
« Il existe une idée fausse selon laquelle la course à la vulnérabilité de l'IA est imminente. La réalité est qu'elle a déjà commencé. Pour chaque jour zéro que nous pouvons retracer à l'IA, il y en a probablement bien d'autres », explique John Hultquist, analyste en chef chez Google Threat Intelligence Group. « Les auteurs de menaces utilisent l’IA pour augmenter la vitesse, l’ampleur et la sophistication de leurs attaques. »
GTIG a déclaré que cette activité reflète une tendance plus large, avec des groupes soutenus par l'État en Chine, en Corée du Nord et en Russie utilisant l'IA tout au long de la chaîne d'attaque. Les groupes criminels font de même pour créer des logiciels malveillants plus rapidement et mener des opérations de plus grande envergure.
Le groupe de menace nord-coréen APT45 a été observé envoyant des milliers de messages répétitifs pour analyser de manière récursive les vulnérabilités et valider les exploits de preuve de concept, créant ainsi un arsenal qui serait impossible à gérer sans l'aide de l'IA. Un acteur présumé lié à la Chine, UNC2814, a utilisé le jailbreaking d'un expert pour pousser Gemini à rechercher des failles d'exécution de code à distance avant l'authentification dans le micrologiciel du routeur TP-Link et les implémentations du protocole de transfert de fichiers Odette.
Les outils agents sont également intégrés aux opérations. Un acteur lié à la Chine a été observé utilisant les frameworks Hexstrike et Strix aux côtés du système de mémoire Graphiti pour sonder de manière autonome une entreprise technologique japonaise et une plate-forme de cybersécurité d'Asie de l'Est, oscillant entre des outils de reconnaissance basés sur un raisonnement interne avec une surveillance humaine minimale.
Le rapport détaille également PROMPTSPY, une porte dérobée Android qui appelle l'interface de programmation d'application Gemini au moment de l'exécution pour interpréter les éléments de l'interface utilisateur à l'écran et générer des coordonnées tactiles de manière autonome.
Les familles de malwares russes CANFAIL et LONGSTREAM utilisent un code leurre généré par l'IA pour camoufler les fonctionnalités malveillantes. Les acteurs russes à l’origine de la campagne d’influence « Opération Overload » ont utilisé le clonage vocal de l’IA pour se faire passer pour de vrais journalistes dans du contenu vidéo fabriqué ciblant l’Ukraine, la France et les États-Unis.
GTIG a également signalé la compromission en mars de LiteLLM, un utilitaire de passerelle d'IA populaire, par le groupe criminel TeamPCP. L'acteur a intégré un voleur d'informations d'identification via des packages empoisonnés sur PyPI et des demandes d'extraction malveillantes, extrayant des clés AWS et des jetons GitHub qui ont été monétisés via des partenariats de ransomware.
Pour contrer cette utilisation abusive, Google a déclaré qu'il désactivait les comptes malveillants qui abusent de Gemini et poussait les défenseurs de l'IA tels que son agent de découverte de vulnérabilités Big Sleep et son outil de correctif CodeMender à une utilisation plus large.
