Etched Inc., une startup dotée d'une puce optimisée pour l'inférence de l'intelligence artificielle, a annoncé aujourd'hui avoir levé 300 millions de dollars de financement.
Le tour de série C a été mené par Sequoia. SK Hynix Inc., le plus grand fournisseur mondial de mémoire pour puces d'IA, a également participé aux côtés d'Andreessen Horowitz, Jane Street et Diffusion. Etched est désormais évalué à 10,3 milliards de dollars, soit plus du double de sa valeur en décembre.
Les cartes graphiques populaires de Nvidia Corp. sont conçues pour exécuter à la fois des charges de travail de formation et d'inférence en IA. Selon Etched, l'optimisation de sa puce uniquement pour ce dernier cas d'utilisation lui a permis de développer une conception plus efficace. La société prévoit d'expédier le processeur dans le cadre d'un appareil équipé de composants de refroidissement et d'interconnexions personnalisés.
Lorsqu'un modèle d'IA reçoit une invite, il lance le flux de travail d'inférence en effectuant ce que l'on appelle un traitement de pré-remplissage. Cette étape aide le modèle à comprendre la signification de l'invite. La tâche est réalisée avec des multiplications matricielles, des calculs mathématiques gourmands en matériel qui diffèrent considérablement d'une multiplication régulière.
Le nombre de multiplications matricielles qu’une puce peut effectuer par seconde est lié à sa fréquence d’horloge. Plus la fréquence est élevée, plus la puce peut effectuer de calculs. Les GPU traditionnels doivent limiter leur fréquence d'horloge pour éviter de générer une chaleur excessive.
Selon Etched, sa puce évite le goulot d'étranglement thermique des GPU grâce à un mécanisme baptisé LVI. La technologie minimise la tension du processeur, ce qui abaisse sa température. Cela lui permet de fonctionner à des fréquences d'horloge plus élevées que les cartes graphiques.
La phase de pré-remplissage du workflow d'inférence est suivie d'une étape dite de décodage. Au cours de cette étape, les modèles d'IA génèrent une réponse à l'invite de l'utilisateur, un jeton à la fois.
La puce d'Etched accélère les calculs de décodage grâce à un mécanisme baptisé Cluster Scale Memory. Il permet à tous les accélérateurs d’un rack de partager la même mémoire. Lorsqu'une donnée est conservée dans la mémoire partagée, il n'est pas nécessaire d'envoyer une copie distincte des données à chaque accélérateur. Cela rend le flux de travail de traitement rapide plus efficace.
« L'infrastructure nécessaire pour servir l'IA de manière durable et économique ne proviendra jamais d'améliorations progressives du matériel existant », a déclaré le co-fondateur et PDG Gavin Uberti (photo de droite). « Ce cycle reflète une conviction croissante de l'industrie selon laquelle le défi exige un nouvel entrant prêt à reconstruire la pile à partir des principes premiers. »
Etched prévoit de commencer à expédier ses premiers racks cet été. L'entreprise construit une ligne de production SMT, ou technologie de montage en surface, pour accélérer l'assemblage de ses appareils. La chaîne de production sera située dans une installation de 80 000 pieds carrés près du siège social de l'entreprise à San Jose, qui fera également office de laboratoire de prototypage.
