IBM Corp. fournira une infrastructure à la startup d'intelligence artificielle Together AI Inc. dans le cadre d'un accord de 240 millions de dollars annoncé aujourd'hui.
Le partenariat intervient quelques semaines après que cette dernière société soulevé Un financement de 800 millions de dollars. Le consortium qui a fourni le capital comprenait Nvidia Corp., dont IBM utilisera les puces pour exécuter les charges de travail de Together AI.
Together AI, basé à San Francisco, exploite une plate-forme cloud optimisée pour l'apprentissage automatique. La plate-forme fonctionne sur une infrastructure que l'entreprise loue auprès de partenaires tels qu'Amazon Web Services Inc. Les développeurs peuvent l'utiliser pour former des modèles d'IA personnalisés, affiner ceux existants et effectuer des inférences. IBM a révélé aujourd'hui que la plateforme traite environ 400 000 milliards de jetons par mois pour ses clients.
L’accord d’infrastructure annoncé aujourd’hui verra le géant de la technologie déployer un « grand cluster » de systèmes HGX B300 pour Together AI. Le matériel sera disponible via IBM Cloud au premier semestre 2027.
La HGX B300 est une carte mère équipée de huit puces Blackwell Ultra. La Blackwell Ultra était la carte graphique la plus avancée de Nvidia jusqu'à l'introduction de la Rubin en janvier. Il peut fournir 15 pétaflops de performances lors du traitement des données au format NVFP4.
Le Blackwell Ultra comprend deux chipsets reliés entre eux par une interconnexion personnalisée. Ils hébergent 160 modules de calcul appelés multiprocesseurs de streaming, comprenant chacun plus de 130 cœurs. Ils contiennent également une mémoire optimisée pour stocker les résultats intermédiaires, les données temporaires générées par les modèles d'IA lors du traitement des invites.
Le HGX B300 utilise huit puces ConnectX-8 SuperNIC pour déplacer les données entre ses accélérateurs Blackwell Ultra. Une unité de traitement de données BlueField-3, ou DPU, coordonne le trafic vers et depuis les systèmes externes.
Les fabricants de matériel utilisent le HGX B300 pour créer des serveurs IA comprenant également des composants. Selon Nvidia, les machines inclure au moins deux téraoctets de mémoire et une paire d’unités centrales de traitement de 56 cœurs chacune. Ces processeurs se connectent à deux commutateurs PCIe qui permettent aux utilisateurs de connecter plusieurs téraoctets de mémoire flash NVME.
Together AI utilisera le cluster HGX B300 d'IBM pour héberger les charges de travail des clients de son cloud public. En particulier, il exécutera des charges de travail d’inférence utilisant des modèles d’IA open source.
La startup d'IA propose cinq services d'inférence différents dans le cadre de sa plateforme. L’un est optimisé pour les modèles de génération de médias qui s’exécutent dans des conteneurs. Un autre service, Provisioned Throughput, est facturé au jeton pour aider les clients à optimiser leurs coûts. Les autres offres d'inférence de Together AI fournissent une infrastructure sans serveur, des machines dédiées et un environnement de traitement par lots qui échangent certaines performances contre une réduction de prix.
« Ce cluster nous permet d'apporter l'inférence de qualité production à un plus grand nombre d'entreprises, plus rapidement, et c'est une étape importante dans nos efforts visant à faire de l'IA open source le choix évident pour les entreprises », a déclaré Vipul Ved Prakash, directeur général de Together AI.
