La startup d'intelligence artificielle Groq Inc. aujourd'hui annoncé qu'il a levé 350 millions de dollars de financement supplémentaire.
Le tour de série A a été mené par le bailleur de fonds de retour Disruptive. Grok a déclaré que Nvidia Corp. prévoyait de rejoindre le cycle plus tard, mais n'a pas précisé combien le géant des puces investirait. L'injection de liquidités intervient moins de trois mois après que la société a clôturé un tour de table de 650 millions de dollars.
Groq a été lancé en 2016 en mettant l'accent sur le développement d'accélérateurs d'IA. En décembre dernier, Nvidia a signé un accord de 20 milliards de dollars pour licencier la technologie des puces de l'entreprise et embaucher plusieurs membres de son équipe de direction. Groq a ensuite changé de cap en lançant une plateforme de cloud public optimisée pour les charges de travail d'IA. La plate-forme est alimentée par la technologie de puce que la société a développée avant l'accord avec Nvidia.
Nvidia, pour sa part, a utilisé la technologie de Groq pour développer une puce appelée Groq 3 LPU qui a fait ses débuts en mars. Il est optimisé pour l'inférence, la tâche consistant à exécuter des modèles d'IA en production après leur formation.
Un grand modèle de langage comprend deux composants principaux : un mécanisme d'attention et un réseau de rétroaction, ou FFN. Le premier module identifie les parties les plus importantes de l'invite de l'utilisateur. Le FFN, à son tour, stocke une grande partie des connaissances acquises par le LLM au cours de la formation. Il effectue également une partie importante des calculs nécessaires à la génération d'une réponse rapide.
Le LPU Groq 3 est conçu pour être utilisé avec l'unité de traitement graphique Rubin de Nvidia Corp. Les clients peuvent exécuter les modules FFN de leurs modèles sur l'ancienne puce tout en envoyant des calculs liés à l'attention aux GPU. Selon Nvidia, cette approche de traitement désagrégé est plus efficace que de tout exécuter sur des cartes graphiques.
Il existe également d'autres situations dans lesquelles le LPU Groq 3 offre une amélioration des performances. Il peut accélérer les LLM qui présentent un mélange d'architecture experte ou utilisent un décodage spéculatif. Cette dernière technologie permet à un LLM d'accélérer certains calculs en les transférant vers un deuxième modèle, plus efficace en termes de matériel.
Nvidia livre le LPU Groq 3 dans des racks contenant chacun 256 accélérateurs. Groq utilise les racks pour alimenter son cloud public optimisé pour l'IA, appelé GroqCloud. Il fournit des environnements nus qui permettent aux clients de personnaliser le matériel sous-jacent. Pour les utilisateurs moins férus de technologie, la société propose une boîte à outils appelée GroqStack qui automatise les tâches de gestion de l'infrastructure.
Notamment, Groq a déclaré aujourd'hui que sa plate-forme se prête non seulement à l'inférence mais également à la formation en IA. Le LPU Groq 3 ne prend pas en charge le cas d'utilisation des lettres. La société exécutera probablement des charges de travail de formation sur les cartes graphiques Rubin avec lesquelles ses racks Groq 3 LPU sont déployés. Nvidia fournit un moteur logiciel appelé Dynamo qui détermine automatiquement quelle puce doit exécuter quelle partie d'une charge de travail d'inférence.
Groq utilisera le produit de son cycle de financement pour développer son cloud public. Actuellement, la plateforme fonctionne sur du matériel hébergé dans 13 centres de données dans le monde. Groq prévoit d'augmenter sa capacité cloud de 57 mégawatts à plus de 200 mégawatts l'année prochaine.
