La start-up d'infrastructure d'intelligence artificielle General Compute Inc. a annoncé aujourd'hui avoir obtenu un financement par emprunt de 400 millions de dollars.
Upper90, la société d'investissement qui souscrit au cycle de financement, fournira initialement 100 millions de dollars à l'entreprise. General Compute prévoit de retirer des fonds supplémentaires à mesure que la demande des clients augmente.
Contrairement à la plupart des fournisseurs d’infrastructures d’IA, General Compute n’utilise pas de cartes graphiques Nvidia Corp. La société a basé sa plate-forme cloud sur des puces d'Advanced Micro Devices Inc. et de SambaNova Inc., une autre startup qui a récemment levé 1 milliard de dollars de financement.
Les modèles d'IA répondent aux invites des utilisateurs via un flux de travail en deux étapes. Ils commencent par extraire la signification d’une invite, une étape connue sous le nom de phase de pré-remplissage. Ils génèrent ensuite une réponse un jeton à la fois dans un processus appelé décodage.
La phase de décodage nécessite que les modèles d'IA déplacent une quantité importante de données entre la mémoire de la puce hôte et les circuits de traitement. Les accélérateurs de SambaNova sont spécifiquement optimisés pour accélérer ce flux de travail. En conséquence, elles peuvent effectuer le décodage plus rapidement que certaines cartes graphiques Nvidia.
La vitesse à laquelle les données circulent entre la mémoire d'une puce et les modules de traitement dépend de la distance physique entre les circuits. Plus ils sont proches les uns des autres, moins il faut de données pour terminer le voyage. La mémoire et les circuits de traitement des puces de SambaNova sont placés immédiatement les uns à côté des autres, ce qui minimise les temps de parcours des données.
General Compute utilise le silicium SambaNova pour exécuter les calculs de décodage. Il effectue l'autre étape impliquée dans les flux de travail d'inférence, la phase de pré-remplissage, à l'aide de la carte graphique MI300X d'AMD. La puce contient 12 puces et huit piles de mémoire contenant ensemble 153 milliards de transistors.
Les puces du MI300X et de SambaNova sont conçues pour fonctionner dans des racks de serveurs standard refroidis par air. En conséquence, General Compute peut ajouter de la capacité à son cloud sans investir dans l'équipement de refroidissement liquide coûteux dont ont besoin la plupart des cartes graphiques. Cela se traduit par des mises à niveau plus rapides de l’infrastructure.
General Compute permet aux clients d'accéder à son matériel d'inférence via deux services.
Le premier propose des versions gérées de modèles de langage open source. Les développeurs peuvent accéder aux modèles via une interface de programmation d'application calquée sur celle utilisée par OpenAI Group PBC, ce qui facilite la courbe d'apprentissage. Le deuxième service de General Compute fournit des environnements d'infrastructure dédiés avec plus de capacité de calcul.
L'entreprise utilisera son financement par emprunt pour étendre son cloud. Selon un document sur son site Web, General Compute a signé des accords qui lui donnent la possibilité d'acheter une capacité de rack refroidi par air d'une valeur de 15 mégawatts dans des installations de colocalisation. La société s'attend à ce que cette infrastructure soit suffisante pour ses plans de croissance du quatrième trimestre.
