Nvidia Corp. a annoncé aujourd'hui le lancement des modèles personnalisables Nemotron 3.5 Super LV en grand langage pour les agents d'intelligence artificielle toujours actifs et du 3.5 Bolt axé sur la périphérie pour les systèmes locaux.
La société a déclaré que les trois nouveaux modèles couvriront la gamme complète de déploiements d'agents, depuis les serveurs des grandes entreprises jusqu'aux appareils de périphérie et au matériel local.
Nemotron 3.5 Super VL est un modèle ouvert de 120 milliards de paramètres, construit en collaboration avec la Nemotron Coalition, un groupe de constructeurs de modèles et de laboratoires d'IA qui font progresser les modèles ouverts de niveau frontière, conçus pour des tâches agentiques multimodales de haute précision. Il est capable de suivre des instructions, d'utiliser des outils, des flux de travail commerciaux en plusieurs étapes et une compréhension visuelle. Nvidia a déclaré qu'il disposait d'une puissance comparable à celle des plus grands modèles de raisonnement de l'entreprise, avec une taille cinq fois moindre.
Cette taille, ainsi qu'une nouvelle architecture, permettent au Super VL de produire des sorties près de cinq fois plus rapides que les autres modèles de la même classe.
Contrairement aux modèles à frontière fermée, Nvidia fournit les pondérations Super VL de manière ouverte, ce qui signifie que les organisations peuvent les post-entraîner sur leurs propres données et les déployer sur leur propre infrastructure. Cela signifie qu'ils peuvent le placer derrière leur pare-feu et le conserver dans leur domaine, préservant ainsi la souveraineté, la confidentialité et la sécurité.
Pour créer Super VL, Nvidia a formé le modèle avec des données ouvertes et des méthodes ouvertes en utilisant environ 26 000 milliards de jetons au cours de la pré-formation et de la pré-formation continue. Cela comprenait également 3,8 millions d'échantillons post-formation et un apprentissage par renforcement dans 100 environnements ouverts pour affiner le modèle.
Nvidia a également annoncé la publication d'ensembles de données ouverts sur Hugging Face, couvrant l'utilisation des outils agents, la finance, le suivi des instructions, le contexte long, la sécurité, l'équité et la compréhension du langage visuel.
Bolt 74B-A9B 24 Go est un modèle plus petit conçu pour exécuter des tâches agents localement et est basé sur Super VL. Il utilise un modèle hybride mixte d'experts qui active 9 milliards de ses 74 milliards de paramètres à la fois et utilise une quantification sur 2 bits pour s'adapter à 24 Go de mémoire. Cela lui permet de fonctionner confortablement sur un poste de travail d'entreprise ou sur des unités de traitement graphique de PC, afin que les utilisateurs puissent déléguer des projets quotidiens, notamment l'écriture et le débogage de code, sans envoyer de charges de travail vers le cloud.
Plus tard ce mois-ci, Nvidia lancera également un modèle encore plus petit : le Bolt E4B 4 Go. Ce petit modèle est conçu pour un déploiement Edge sur GeForce RTX, Jetson et RTX/GTX Spark. Cela permettra à l'IA physique et aux agents conversationnels de fonctionner au sein d'appareils tels que les appareils portables, les appareils ménagers, les points de service, les tableaux de bord de voiture, les assistants d'appareils et d'autres interfaces intégrées.
Nvidia a noté qu'il pourrait être utilisé pour alimenter des personnages interactifs, des interfaces conversationnelles et des interfaces utilisateur intelligentes qui localisent ou personnalisent.
