La course pour servir l’inférence de l’IA plus rapidement et à moindre coût expose les limites strictes de l’architecture de puce conventionnelle. Alors que la demande de réponses d'IA en temps réel s'accélère, la réponse standard de l'industrie – empiler davantage de mémoire à large bande passante sur du silicium gourmand en énergie – se heurte à un mur, et les mathématiques logarithmiques pourraient être la refonte fondamentale qui le franchira.
Fraîchement sortie de la furtivité et avec sa première puce actuellement en production chez Taiwan Semiconductor Manufacturing Co., Ltd., Tensordyne Inc. se positionne pour défier le marché de l'inférence de l'IA en réorganisant les mathématiques à l'intérieur du silicium – et pas seulement la puce elle-même – selon Gilles Backhus (photo), co-fondateur de Tensordyne.
« Nos calculs logarithmiques sont complètement cachés », a déclaré Backhus. « Du point de vue de l'utilisateur, du point de vue du SDK, vous ne le remarquez même pas. Cela ressemble simplement à des calculs à virgule flottante normaux. C'est juste que le moteur sous le capot est plus efficace. »
Backhus s'est entretenu avec John Furrier de theCUBE lors du RAISE Summit, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont expliqué comment le modèle de co-conception transcontinental de Tensordyne, l'innovation mathématique logarithmique et l'architecture rack dérivée de Juniper Networks positionnent l'entreprise comme un challenger direct de Nvidia Corp. sur le marché des infrastructures d'inférence d'IA. (* Divulgation ci-dessous.)
Les mathématiques logarithmiques éliminent les circuits multiplicateurs pour réduire la puissance et l'encombrement
L'idée clé derrière l'approche de Tensordyne est d'éliminer les circuits les plus coûteux sur une puce IA. Le silicium traditionnel consacre une énorme surface de transistor aux circuits multiplicateurs nécessaires à l'arithmétique à virgule flottante, mais les multiplications peuvent être converties en additions dans l'espace logarithmique – et les additionneurs sont considérablement plus petits et plus économes en énergie que les multiplicateurs. Tensordyne a déposé des brevets fondamentaux sur son système de nombres logarithmiques exclusif « Pareto » et a résolu la partie difficile : reconvertir avec précision et à moindre coût en représentation linéaire pour les ajouts qui doivent encore être effectués, a noté Backhus.
« Dans LogMath, au lieu de représenter les nombres sous forme d'exposant et de mantisse comme en virgule flottante, vous n'avez désormais qu'un exposant, mais c'est un exposant fractionnaire », a-t-il déclaré. « Si vous voulez multiplier deux nombres, tout à coup, vous n'ajoutez que les deux exposants des deux nombres. Cette transformation d'une représentation logarithmique en une représentation normale est normalement très coûteuse, mais nous avons trouvé un moyen de le faire de manière extrêmement précise et toujours très bon marché. »
Le résultat est un module d'inférence de 72 puces qui tient dans seulement 13 unités de rack, ne consomme que 30 kilowatts (contre 150 kilowatts pour un système Nvidia comparable) et utilise des interconnexions puce à puce entièrement en cuivre avec une latence d'environ une microseconde, environ 10 fois inférieure à celle des architectures concurrentes. Cette densité signifie que quatre pods tiennent dans un seul rack standard, permettant aux clients de servir les plus grands modèles frontières à plus de 1 000 jetons par seconde et par utilisateur sans avoir besoin de plusieurs racks ou d'un fournisseur de réseau haut débit secondaire, a déclaré Backhus.
« Vous pouvez disposer d'un centre de données de pointe (dans un seul rack) », a-t-il déclaré. « Au moins, nous pouvons servir les plus grands modèles aux vitesses les plus élevées dans un seul rack. Vous n'avez pas besoin de plusieurs racks. Donc votre seuil, votre seuil d'entrée pour faire partie du niveau le plus haut de gamme de jetons de service est désormais un seul rack. «
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE du RAISE Summit :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement RAISE Summit. Ni Solidigm, le sponsor principal de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
