Les puces d'inférence économes en énergie deviennent le prix d'entrée pour les entreprises qui souhaitent exécuter l'IA sur le matériel qu'elles possèdent.
Alors que l'IA passe de la construction de modèles à leur exécution quotidienne, les racks d'unités de traitement graphique coûteux et le refroidissement liquide qu'ils exigent incitent de nombreuses entreprises à louer des ordinateurs. Cet écart ouvre la voie aux challengers des fabricants de puces historiques. Axelera AI BV a bâti son activité à la pointe de la technologie avec des puces basse consommation et des outils de développement d'IA de pointe, et intègre désormais cette technologie dans l'infrastructure des centres de données, selon Manuel Botija (photo), vice-président et chef de produit chez Axelera.
« Les entreprises ne peuvent pas posséder leur propre infrastructure. Elles sont exclues à cause du coût et de l'énergie », a déclaré Botija. « Nous leur permettons désormais d'en être propriétaires. Jec'est pas que nous sont portion le monde sauvegarder pouvoir ou sauvegarder argent – lequel nous sont – mais c'est que nous sont déverrouillage utiliser cas que étaient simplement pas possible avant.»
Botija s'est entretenu avec John Furrier et Rebecca Knight de theCUBE Research au SC26, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont expliqué comment les puces d'inférence économes en énergie se dirigent vers les centres de données et comment les entreprises bloquées par le coût et la puissance des racks GPU peuvent posséder leur propre infrastructure d'IA au lieu de louer des ordinateurs. (* Divulgation ci-dessous.)
Tête de puces d'inférence économe en énergie pour le centre de données
La puce Europa d'Axelera est expédiée depuis septembre. Avant le SC26, la société a dévoilé Titania, une architecture de troisième génération qui étend la conception jusqu'à une puce de 400 watts. Le serveur de six kilowatts résultant est conçu pour fonctionner comme les principaux GPU des centres de données, tout en s'intégrant aux racks refroidis par air existants de 20 à 30 kilowatts d'un centre de données d'entreprise ordinaire, a expliqué Botija.
« Avoir un serveur de six kilowatts qui peut fonctionner comme un DPU de centre de données est une grosse affaire », a-t-il déclaré. « Cela signifie essentiellement que tils ont des équipements de stockage, des équipements de réseau, des équipements CPU traditionnels, et à côté de tout cela, ils peuvent également insérer une accélération matérielle d'inférence d'IA sans avoir besoin d'aller reconstruire une autre salle de serveurs ou un autre centre de données.
Pour les entreprises qui préfèrent posséder leur matériel d’IA plutôt que de payer une facture cloud récurrente, les obstacles sont considérables. Un rack GPU coûte au moins 1 million de dollars, souvent bien plus, et nécessite généralement un refroidissement liquide, a noté Botija. La réponse d'Axelera repose sur l'informatique numérique en mémoire, une technique issue des recherches de ses fondateurs et qui confère aux puces d'inférence économes en énergie de l'entreprise un avantage en termes de performances par watt.
« Vous pouvez désormais posséder votre propre infrastructure », a déclaré Botija. « Vous pouvez amortir ces investissements et… réduire vos OPEX, et donc être plus rentable en tant qu'entreprise. »
Restez à l'écoute pour l'interview vidéo complète, qui fait partie de la couverture du SC26 par SiliconANGLE et theCUBE.
(* Divulgation : NYSE Wired a sponsorisé ce segment de theCUBE. Ni NYSE Wired ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)