La startup de logiciels Kubernetes Spectro Cloud Inc. a récolté 100 millions de dollars lors d'un cycle de financement avancé alors qu'elle cherche à résoudre un problème important et croissant en matière d'intelligence artificielle.
Les processeurs puissants peuvent être difficiles à trouver, mais ils sont disponibles à un prix. Cependant, ce qui manque vraiment, c'est le logiciel nécessaire pour tirer le meilleur parti de ces puces.
Spectro Cloud, fondée par le PDG Tenry Fu et le directeur de la technologie Saad Malik en 2019, vend une plate-forme logicielle qui aide les organisations à déployer, gouverner et exploiter une infrastructure d'IA à grande échelle, dans des centres de données, des emplacements périphériques et sur site.
Spectro affirme que les entreprises dépensent des milliards de dollars en matériel d'IA, mais malgré ces dépenses massives, beaucoup ont du mal à faire démarrer leurs projets d'IA à pleine vitesse. Selon Gartner Inc., les dépenses mondiales en IA atteindront 2,59 billions de dollars cette année, soit une hausse de 47 % par rapport à il y a seulement 12 mois. Mais la grande majorité de cet argent est destinée au matériel, les logiciels situés entre les puces d’IA et les applications d’IA fonctionnelles ne représentant qu’une fraction de ce montant.
Les maux de tête liés à l’infrastructure de l’IA
Le défi que Spectro veut résoudre est que l’exécution de l’IA en production implique bien plus que la simple installation d’applications sur des serveurs puissants. Les unités de traitement graphique et autres puces hébergées à l'intérieur de ces serveurs nécessitent une gestion coordonnée, ainsi qu'un stockage, une mise en réseau, des politiques de sécurité et des règles de gouvernance, et celles-ci doivent être étendues à plusieurs emplacements physiques et environnements cloud. Pour les entreprises des secteurs réglementés tels que la santé, la défense, l’industrie manufacturière et les télécommunications, leurs exigences réglementaires strictes rendent la gestion de l’infrastructure d’IA encore plus difficile. La plupart s'appuient sur le système open source Kubernetes pour gérer ces environnements, mais il peut être difficile de l'adapter au degré nécessaire pour prendre en charge les charges de travail d'IA.
C'est là que Spectro Cloud pense pouvoir faire la différence. Son produit principal est la plateforme Palette, qui agit comme un plan de contrôle unique permettant aux équipes informatiques de déployer et de gérer des environnements informatiques complexes, qu'ils existent dans le cloud public, sur des serveurs nus, dans des centres de données privés ou dans des emplacements périphériques tels que des magasins de détail et des plates-formes pétrolières. La société vend également PaletteAI, un nouveau service lancé en octobre, élargissant la plate-forme Palette pour couvrir les cas d'utilisation de l'infrastructure d'IA tels que la gestion des GPU et l'inférence distribuée.
Le logiciel de Spectro agit comme une couche de gestion globale qui se trouve au-dessus de tous les environnements informatiques et matériels utilisés par une organisation. Les ingénieurs informatiques utilisent le logiciel pour configurer le matériel, la mise en réseau, le stockage et toutes les règles de sécurité et de politique, puis ils peuvent tout surveiller lorsqu'il est opérationnel. Il le fait quel que soit l’endroit où se trouve le matériel physique.
Fu a déclaré que les logiciels sont souvent négligés, mais qu'ils constituent la sauce secrète qui transforme une infrastructure d'IA coûteuse en résultats commerciaux. « Il n'y a pas deux clients qui partent du même endroit », a-t-il déclaré. « Certains modernisent l'infrastructure existante, certains font évoluer les opérations de pointe ou Kubernetes et d'autres encore construisent des usines d'IA ou des services néocloud. Spectro Cloud leur offre une plate-forme cohérente pour gérer cette complexité et adapter l'IA plus rapidement sans perdre le contrôle. »
Projets futurs
En ce qui concerne l'argent récolté, Spectro a trois priorités. La première consiste à étendre la plate-forme PaletteAI et à améliorer ses fonctionnalités afin que les entreprises puissent tirer le meilleur parti de leurs GPU et contrôler les coûts d'exécution des modèles d'IA tout en augmentant la production. Deuxièmement, il vise l’expansion géographique et du marché. Il est particulièrement intéressé par l'expansion des fournisseurs de cloud néocloud et souverains, qui sont des services d'infrastructure cloud axés sur la région qui permettent aux entreprises de conserver leur IA et leurs données au niveau local.
La troisième priorité consiste à approfondir l'intégration de Spectro avec le matériel qu'elle souhaite gérer, ce qui implique une collaboration avec les fabricants de puces, les fabricants de serveurs et les intégrateurs de systèmes.
La participation de la branche d'investissement d'Advanced Micro Devices Inc. est essentielle à cette dernière priorité. L'inférence de l'IA, ou le processus d'exécution de modèles d'IA entraînés pour générer des prédictions et des réponses, devenant rapidement la charge de travail principale de la plupart des organisations, les entreprises doivent pouvoir exécuter leurs applications d'IA sur un grand nombre de processeurs et de matériel serveur différents, au lieu d'utiliser uniquement les GPU de Nvidia Corp.
