L'IA personnelle sur l'appareil nécessite des modèles et des logiciels d'agent capables de fonctionner dans des limites matérielles fixes. Les développeurs ont également besoin de moyens pour que ces systèmes continuent à s'améliorer après le déploiement.
Les créateurs de modèles repensent les architectures conçues autour de la capacité élastique du cloud. Le Edge offre du matériel fixe mais une vue beaucoup plus riche de l'utilisateur, ce qui en fait le foyer naturel de l'IA personnelle, selon Jeffrey Li (photo), directeur de l'exploitation de Liquid AI Inc.
« Notre vision est que nous devrions rapprocher l’IA… de l’utilisateur », a-t-il déclaré. « Nous nous concentrons donc sur la création de ces IA pour qu'elles fonctionnent sur les appareils qui nous entourent. »
Li s'est entretenu avec Dave Vellante et John Furrier de theCUBE Research lors de l'événement Fully Connected, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté des agents d’IA sur appareil, du calcul fixe et des boucles d’observabilité. (* Divulgation ci-dessous.)
L'IA personnelle a besoin de contexte dans les limites de l'appareil
Le Liquid Context de Liquid AI, optimisé pour les processeurs Snapdragon, se situe entre les modèles, les agents et le matériel. Il utilise les signaux de l'appareil pour comprendre qui est l'utilisateur et ce qu'il essaie d'accomplir, a expliqué Li.
« Quel est le meilleur facteur de forme pour capturer ce signal ? Ce sont les appareils dans nos poches », a déclaré Li. « Ce sont nos téléphones, ce sont nos appareils portables, ce sont nos montres, ce sont nos PC, ce sont nos voitures. »
Les harnais d'agents, le logiciel qui transforme les modèles en agents fonctionnels, gèrent également le contexte utilisateur. Selon Li, conserver ce contexte dans un fichier texte en constante évolution pose des défis sur les appareils dotés de ressources limitées. Liquid AI utilise ses propres modèles pour décider quelles informations conserver et comment les compresser.
« Le problème avec les appareils, c'est que vous avez un calcul fixe », a-t-il déclaré. « Il faut s'adapter au calcul à somme nulle. Cela signifie que de nombreuses hypothèses sur la façon dont les harnais sont construits aujourd'hui ne tiennent plus à la limite. »
Le travail de l'entreprise comprend une collaboration avec Mercedes-Benz Group AG pour intégrer l'IA intégrée à ses voitures. Garder ces agents alignés sur les attentes des utilisateurs longtemps après le déploiement est la prochaine étape, a noté M. Li.
« À partir de là, nous voulons construire ces systèmes et ces agents pour qu’ils soient capables de s’auto-réparer, de s’améliorer et de se personnaliser d’eux-mêmes au fil du temps », a-t-il déclaré. « Nous construisons des boucles d'observabilité et des boucles d'amélioration continue qui amélioreront à la fois le modèle et le harnais au fil du temps grâce à une utilisation naturelle. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement Fully Connected :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement Fully Connected. Ni CoreWeave, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
