Fractile Ltd., une startup britannique qui développe des puces d'inférence d'intelligence artificielle, a levé un financement de 720 millions de dollars.
Reuters signalé aujourd'hui que le cycle de série C a été dirigé par Thrive Capital, Founders Fund, Lightspeed et Redpoint. Ils ont été rejoints par une douzaine d'autres, dont le UK Sovereign AI Fund, la British Business Bank et la branche d'investissement CapitalG d'Alphabet Inc.. Fractile vaut désormais 7 milliards de dollars.
Fractile a été fondée en 2022 par le chercheur en IA Walter Goodwin (photo), qui en est le directeur général. La société aurait s'attend à ce que ses puces offrent des performances jusqu'à 100 fois supérieures à celles du silicium actuel. De plus, Fractile promet une réduction de 90 % de la consommation d’énergie. Les puces apportent ces améliorations en supprimant la nécessité pour les modèles d'IA de déplacer les données vers la mémoire HBM hors puce.
Les grands modèles de langage génèrent des réponses rapides grâce à un flux de travail qui implique de nombreuses étapes. Lorsqu'un LLM termine une étape de traitement, il envoie les résultats à une puce mémoire HBM hors puce. Il récupère ensuite ces résultats pour préparer le terrain pour l’étape suivante. Ces allers-retours répétés de données prennent beaucoup de temps, ce qui ralentit l'inférence.
Fractile n'est pas le seul fournisseur de puces d'IA à s'attaquer à ce goulot d'étranglement. Cerebras Systems Inc., devenu public en mai, propose des accélérateurs de la taille d'une tranche qui réduisent le mouvement des données en conservant les informations dans un grand cache intégré. Ce cache est plus rapide que les modules HBM hors puce. Le dernier processeur de la société, le WSE-3T, peut contenir 44 Go de données.
Le cache sur puce de Cerebras est basé sur la SRAM, un type de mémoire qui n'était historiquement ajouté aux processeurs qu'en petites quantités. Les cellules SRAM, les éléments de base de la technologie, comportent chacune six transistors. Ces transistors lisent et écrivent des données plus rapidement que le transistor unique présent dans les cellules HBM. Dans le même temps, la vitesse de la SRAM s'accompagne de certains compromis : elle est chère et sa capacité est limitée.
Fractile adopte une approche différente pour réduire le mouvement des données. Au lieu d'intégrer la SRAM dans ses puces d'inférence, l'entreprise empilage mémoire DRAM standard au-dessus d'eux. Placer un module de mémoire immédiatement au-dessus des circuits logiques d'un processeur minimise la distance que les données doivent parcourir. Cela accélère le trafic tout en réduisant la quantité d’électricité nécessaire pour le déplacer.
Samsung Electronics Co. développe une technologie similaire. En août, la société a lancé une variante HBM appelée zHBM qui peut être empilé au sommet des accélérateurs d’IA. Il utilise de minuscules fils de cuivre pour déplacer les données vers et depuis la puce hôte. Samsung affirme que la technologie sera huit fois plus rapide que HBM5, une future itération de HBM plus performante que les versions utilisées aujourd'hui.
Fractile estime de son côté que ses puces permettront à LLM de traiter plusieurs milliers de tokens par seconde. Il prévoit d'expédier les processeurs dans le cadre de systèmes à l'échelle du rack qui comprendront également des logiciels personnalisés. De nombreux fabricants de puces IA proposent des compilateurs personnalisés, des outils logiciels qui transforment automatiquement les LLM des clients dans un format compatible avec leur silicium.
Fractile prévoit de commencer à expédier ses puces l'année prochaine.
