La startup de puces SambaNova Inc. a annoncé aujourd'hui avoir levé 1 milliard de dollars de financement pour une valorisation de 11 milliards de dollars.
General Atlantic a dirigé le cycle de série F avec les contributions de plus d'une douzaine d'autres. Intel Capital, Vista Equity Partners et JPMorgan Chase & Co. figuraient parmi les participants. L'investissement fait suite à un cycle de 350 millions de dollars en février.
SambaNova a lancé son produit phare, une puce d'inférence appelée SN50, en conjonction avec l'augmentation de février. La société affirme que l'accélérateur peut fournir un débit plus de trois fois supérieur à celui de la carte graphique B200 de Nvidia Corp. La vitesse maximale du SN50, quant à elle, est décrite comme étant cinq fois plus rapide.
Les modèles d'intelligence artificielle génèrent des réponses rapides grâce à un processus itératif. Un ensemble de neurones artificiels analyse l'invite de l'utilisateur, génère une réponse préliminaire et enregistre la réponse en mémoire. Un deuxième ensemble de neurones artificiels récupère ensuite la réponse préliminaire, l'affine et enregistre les résultats dans la RAM. Le flux de travail est répété plusieurs fois jusqu'à ce que l'IA arrive à une réponse.
Le mouvement répété des données vers et depuis la mémoire représente une grande partie du temps nécessaire pour générer des réponses rapides. Selon SambaNova, les performances du SN50 sont le résultat d'une architecture qui accélère le trafic sur puce.
Le SN50 comprend des dizaines de modules appelés tuiles qui combinent chacun des circuits de traitement avec une mémoire SRAM haute vitesse. La proximité de la mémoire avec les circuits de traitement réduit le temps nécessaire au déplacement des données entre eux, ce qui accélère l'inférence. Lorsqu'une vignette termine les calculs qui lui sont assignés, elle envoie les résultats à la vignette suivante pour un traitement ultérieur.
La mémoire SRAM dans les tuiles du SN50 est l'une des trois variétés de RAM utilisées par la puce.
Selon SambaNova, le SN50 comprend un pool de mémoire HBM qui peut stocker les poids de modèle actif et le cache KV d'un modèle IA. Ce sont les composants qui effectuent l’essentiel du traitement impliqué dans la réponse aux invites. Le SN50 dispose également d'un module DRAM qui lui permet de stocker plusieurs réseaux neuronaux inactifs. Si une application doit échanger le modèle d'IA qu'elle utilise pour traiter les invites, la puce peut charger un réseau neuronal de la DRAM vers le HBM en quelques millisecondes.
SambaNova expédie le SN50 dans le cadre d'un appareil à 16 puces appelé SambaRack SN50. Le système consomme environ 20 watts de puissance, ce qui signifie qu’il produit une quantité de chaleur relativement limitée. Cela permet au système d'utiliser un équipement de refroidissement par air standard au lieu des systèmes de refroidissement liquide plus complexes requis par de nombreux serveurs de cartes graphiques haut de gamme.
JPMorgan, l'un des contributeurs au nouveau cycle de financement de SambaNova, a annoncé aujourd'hui son intention d'adopter le SN50. Il a également l'intention d'utiliser la puce SN40 de génération précédente de la société. La banque intégrera les processeurs dans son infrastructure d'inférence sur site.
SambaNova utilisera le produit du cycle pour améliorer sa gamme de puces, la conception de ses racks et ses logiciels. L'entreprise prévoit également d'accélérer ses efforts de commercialisation.
