Chaque fois que les utilisateurs découvrent tardivement qu’une fonctionnalité d’intelligence artificielle a exploité leurs données d’une manière qu’ils ne comprenaient pas pleinement, la réaction est souvent un sentiment instinctif de violation de la confiance, du consentement et de la vie privée.
Les accusations et l'indignation ont toujours suivi les intégrations d'IA potentiellement invasives, avec des exemples allant du contenu de courrier électronique utilisé pour informer la formation des modèles et de grands modèles sur appareil intégrés dans les logiciels quotidiens aux assistants vocaux conservant des extraits de code au-delà des commandes explicites et des paramètres par défaut qui permettent aux activités multi-produits d'éclairer les réponses de l'IA.
Même lorsque de tels changements sont techniquement divulgués, la prise de conscience ne suit pas nécessairement. Les mises à jour arrivent les unes après les autres et les paramètres par défaut sont « activés », ce qui oblige les utilisateurs à naviguer dans un labyrinthe qu'ils n'ont jamais demandé. L’écart cognitif entre ce que les organisations comprennent de la manière dont leurs systèmes utilisent les données et ce que les individus peuvent raisonnablement s’attendre à comprendre semble se creuser chaque jour.
La plupart des utilisateurs n'hésitent pas à divulguer l'historique des discussions, des flux de clics ou des positions si cela répond à leurs objectifs, mais les entreprises de l'autre côté peuvent voir des données de formation, des intégrations, des signaux de personnalisation, des entrées de réglage de la sécurité, des fonctionnalités de détection de fraude et de futures capacités de produits dans ces messages.
Les régulateurs reconnaissent déjà que les décisions en matière de données en amont persistent en aval. Fin 2024, le Comité européen de la protection des données a mis à jour son avis sur les questions d'anonymat, d'intérêt légitime et de modèles d'IA formés sur des données personnelles traitées illégalement, notant que cela peut avoir une incidence sur la légalité de ces modèles à moins d'être correctement anonymisés. Le bureau du commissaire à l'information du Royaume-Uni souligne également la nécessité pour les organisations d'expliquer les processus et les décisions assistés par l'IA aux personnes concernées.
Charge pour l'utilisateur
Est-il réaliste d’attendre des individus qu’ils procèdent à la rétro-ingénierie d’écosystèmes de données opaques à partir d’avis de confidentialité ? La plupart des gens essaient simplement d’utiliser des produits. Penser au flux aval de leurs données, à ses implications et à ses itinéraires est pour le moins accablant.
En pratique, les obligations devraient peser davantage sur les entreprises. Ils conçoivent des systèmes et comprennent leurs utilisations en aval. Ils sont également les seuls acteurs en mesure de réduire la complexité à la source. Une transparence significative ne peut pas être simplement réduite à des politiques de confidentialité plus courtes ; elle doit être contextuelle, spécifique et véritablement exploitable.
Il ne s’agit pas là d’une simple préoccupation théorique. Dans le règlement général sur la protection des données, les orientations de l'ICO et la loi européenne sur l'IA, il existe une reconnaissance récurrente selon laquelle la transparence doit aller au-delà de la divulgation pour devenir quelque chose que les gens peuvent réellement comprendre et sur lequel agir. Ils demandent également des explications sur la manière dont les données sont utilisées, qui en est responsable et quelles en sont les conséquences.
La loi de l’UE sur l’IA ajoute des obligations de transparence supplémentaires pour certains systèmes d’IA, visant à aider les utilisateurs à reconnaître lorsqu’ils interagissent avec l’IA ou sont exposés à du contenu généré par l’IA afin qu’ils puissent prendre des décisions éclairées.
Le piège dans « Gérer vos préférences »
La responsabilité en matière de confidentialité est fréquemment redistribuée vers les utilisateurs à travers la conception et la rhétorique de l’interface. La tendance à conférer une impression de « contrôle » via les paramètres et les bascules est susceptible de persister sous une forme ou une autre, y compris des motifs sombres qui peuvent continuer à se cacher dans les interfaces. Il s'agit d'un moyen simple permettant aux systèmes de signaler la conformité et l'autonomisation des utilisateurs sans réellement modifier la répartition sous-jacente du pouvoir ni réduire le pouvoir discrétionnaire de l'organisation.
La responsabilité première devrait incomber à ceux qui façonnent l'architecture du système. Les utilisateurs devraient toujours disposer de droits et de contrôles, mais ce sont les entreprises qui décident des valeurs par défaut, des périodes de conservation, des flux de données, des relations avec les fournisseurs et, de plus en plus, du comportement des modèles dans la pratique.
Il s’agit en fin de compte de savoir où se situe la responsabilité dans des systèmes qui ne suivent plus des chemins simples et linéaires. Si le risque lié à la vie privée est structurel, il ne peut pas être géré uniquement via les paramètres et les préférences. La responsabilité doit se situer au niveau architectural, car c'est là que les véritables décisions sont prises.
Onur Alp Soner est le co-fondateur et PDG de Countly Ltd, une plateforme d'analyse numérique et d'engagement in-app. Il a écrit cet article pour SiliconANGLE.
