Meta Platforms Inc. aujourd'hui a fait ses débuts un modèle de génération d'images capable d'écrire du code et de rechercher sur le Web.
Muse Image est le deuxième algorithme publié à ce jour par Meta Superintelligence Labs, le groupe de recherche en intelligence artificielle de la société. Le premier est le grand modèle de langage Muse Spark qui a fait ses débuts en avril. Les deux algorithmes sont disponibles via le chatbot Meta AI.
Muse Image peut générer des images basées sur des invites utilisateur très détaillées et multi-phrases. Il est également capable de modifier des photos existantes. Les utilisateurs peuvent demander au modèle de supprimer des éléments tels que le brouillard, de modifier l'angle de la caméra et d'effectuer d'autres modifications. Le chatbot Meta AI offre la possibilité d'affiner la sortie de Muse Image en téléchargeant un croquis expliquant les modifications à apporter.
Sous le capot, l’algorithme partage plusieurs similitudes avec les LLM optimisés pour le raisonnement. Le plus remarquable est peut-être qu’il dispose d’une capacité d’utilisation d’outils.
Si une invite ne contient pas tous les détails dont Muse Image a besoin pour générer un fichier, il peut utiliser un outil de recherche pour récupérer les informations nécessaires sur le Web. Un autre outil intégré permet au modèle de générer du code. Par exemple, il pourrait écrire un script Python pour transformer le contenu d’une feuille de calcul en graphique. Les scripts contribuent à augmenter la précision des visualisations complexes.
Muse Image peut boucler dans Muse Spark, le modèle de raisonnement de Meta, lorsque ses capacités de codage sont insuffisantes pour traiter une requête utilisateur. Ce dernier LLM est capable de transformer les images générées par Muse Image en sites Web et en jeux vidéo.
De nombreux générateurs d'images affinent leur sortie à l'aide d'une méthode appelée best-of-N ou BoN. La technique consiste à générer plusieurs fichiers multimédias et à choisir celui qui correspond le mieux à l'invite de l'utilisateur.
Muse Image adopte une approche différente. Meta dit que le modèle s'engage dans un « raisonnement délibéré » avant de commencer à générer une image. Selon l'entreprise, cette méthode permet au modèle de mieux utiliser l'infrastructure sous-jacente que BoN. Muse Image prend en charge une fonctionnalité de calcul au moment du test, ce qui signifie que l'augmentation de la quantité de matériel à sa disposition améliore la qualité de sortie.
Le modèle examine les images qu'il génère avant de les afficher aux utilisateurs et apporte des modifications si nécessaire. Meta affirme que le comportement d'auto-raffinement du modèle, comme il appelle cette fonctionnalité, est apparu de lui-même au cours de la phase d'apprentissage par renforcement de la formation. L'apprentissage par renforcement affine les capacités de raisonnement d'un modèle d'IA par essais et erreurs.
Au lancement, Muse Image est disponible via le chatbot Meta AI sur un nombre limité de marchés. Il alimente également un ensemble de nouveaux effets d’image dans les histoires Instagram. Meta prévoit d'introduire le modèle sur Facebook, Messenger et d'autres parties d'Instagram à l'avenir.
Plus tard, la société lancera un générateur de clips appelé Muse Video. La première itération actuelle du modèle occupe la troisième place du classement populaire Arena AI des générateurs vidéo.
Meta prévoit de mettre Muse Image à la disposition des annonceurs via sa suite d'outils marketing Advantage+ dans les semaines à venir. La société adoptera probablement la même approche avec Muse Video. Étant donné que Meta aurait plans Pour lancer un service d'infrastructure d'IA, il est possible que les deux modèles deviennent éventuellement disponibles pour les développeurs via une interface de programmation d'applications.
