Boundless exploite les GPU crypto inactifs pour réduire les coûts d’inférence de l’IA

Boundless Network Inc., une société d'informatique distribuée qui a construit son réseau d'unités de traitement graphique pour générer des preuves sans connaissance pour l'industrie des cryptomonnaies, étend son réseau vers l'inférence de l'intelligence artificielle, le processus consistant à fournir des réponses aux requêtes de l'IA.

La société a annoncé aujourd'hui qu'elle ouvrirait son réseau d'environ 4 000 GPU aux charges de travail d'IA et l'exécuterait en tant qu'infrastructure d'inférence gérée. Un lancement complet du produit est prévu plus tard cet été.

Boundless a assemblé le réseau au cours des quatre dernières années pour répondre à la demande de preuve de transactions en matière de cryptographie, un travail qui nécessitait de mutualiser l'offre de GPU, de planifier des tâches de calcul lourdes et de faire en sorte que les machines dispersées agissent comme un système unique et fiable. Il est actuellement en train de régler cette même couche de coordination pour l’IA.

Le discours repose sur la direction que prendront les dépenses en matière d’IA. Gartner Inc. s'attend à ce que l'inférence consomme 55 % des dépenses d'infrastructure en tant que service optimisées pour l'IA cette année et plus de 65 % d'ici 2029. Plus une entreprise met de modèles en production, plus cette facture d'inférence décide de la quantité qu'elle peut réellement exécuter.

Une grande partie du marché est tarifée comme si chaque charge de travail nécessitait de rares puces de centre de données haut de gamme, affirme Boundless, alors que de nombreuses inférences fonctionnent bien sur du matériel moins cher. Cela inclut les cartes grand public et les GPU achetés à l’origine pour des marchés à forte intensité de calcul tels que l’extraction et la preuve de cryptographie. La société affirme avoir constaté cette capacité négligée et ajuste le matériel et les logiciels de service qui l'entourent.

« Il y a quatre ans, nous avons décidé de résoudre un problème informatique difficile », a déclaré le directeur général Shiv Shankar. « Ce faisant, nous avons construit quelque chose de plus grand : un réseau pour coordonner la capacité des GPU distribués. L'IA a désormais besoin des mêmes bases à une échelle beaucoup plus grande. Les modèles ouverts donnent aux équipes plus de contrôle sur ce qu'elles construisent, mais l'inférence de production est toujours limitée par le coût, la capacité et la fiabilité. »

Shankar a passé plus de 15 ans à des postes de direction en ingénierie dans des sociétés telles que Coinbase Global Inc., Ava Labs Inc. et Amazon.com Inc. avant Boundless.

Lors des premières analyses comparatives, la société a déclaré que l'inférence était jusqu'à 50 % moins chère que les options cloud hyperscaler comparables. Il s’attend à ce que les économies soient plus importantes pour les charges de travail asynchrones, celles qui ne nécessitent pas de réponse instantanée.

Boundless prévoit également de donner à son jeton natif, ZKC, un rôle dans le réseau d'IA, reflétant le fonctionnement du jeton dans son activité d'essai. Les opérateurs miseraient sur l'adhésion de ZKC, la taille de la participation étant liée au montant qu'ils pourraient gagner.

Boundless continuera à exploiter son réseau de preuve sans connaissance parallèlement à l’expansion de l’IA. La société accepte les inscriptions au nouveau service via une liste d'attente sur son site Web.

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine