Aranya Inc., une startup qui affirme pouvoir transformer des serveurs nus en clusters d'unités de traitement graphique personnalisés et prêts pour la production pour l'inférence de l'intelligence artificielle en moins de deux jours, a été lancée aujourd'hui avec un financement de 11 millions de dollars.
La société affirme s'attaquer à un goulot d'étranglement critique sur le marché des infrastructures d'IA. Fondée l'année dernière, Aranya affirme avoir déjà été chargée de gérer plus de 500 millions de dollars de matériel GPU pour les principaux fournisseurs d'inférence d'IA et centres de données.
Sa technologie phare est un moteur open source appelé clusterdOS, construit sur Kubernetes, qui fournit un cadre pour le déploiement et la maintenance de l'infrastructure via des fichiers de configuration déclaratifs. Il automatise également l'orchestration des charges de travail conteneurisées, des ressources réseau et de stockage dans divers environnements matériels.
« ClusterdOS est conçu pour l'informatique à l'échelle de l'organisation, et non pour gérer des applications individuelles ou des charges de travail isolées », a déclaré Christian Bhatia Ondaatje, co-fondateur et PDG d'Aranya, dans une réponse écrite aux questions sur les capacités de la plateforme.
Aranya a déclaré qu'il comblait les lacunes de Kubernetes dans deux domaines critiques. Bien que Kubernetes puisse reprogrammer un pod sur un nœud défaillant, il ne diagnostique pas la cause première. « ClusterdOS découvre, diagnostique et résout le matériel lui-même », a déclaré Ondaatje.
Cela inclut les événements thermiques du GPU, les erreurs de code de correction d’erreurs et les défauts de réseau. Le moteur n’est pas non plus exclusif à Kubernetes. Il englobe également les planifications de tâches et le gestionnaire de charge de travail basés sur des machines virtuelles et l'utilitaire Simple Linux pour la gestion des ressources. « La véritable infrastructure GPU est hétérogène et la couche du système d'exploitation doit absorber cela », a déclaré Ondaatje.
La société promet qu'elle peut transformer n'importe quelle quantité de matériel en rack en un cluster cohérent et auto-réparateur dans les 48 heures, y compris un stockage et une mise en réseau personnalisés. « Nous avons respecté ce calendrier à plusieurs reprises, et aucun autre opérateur ne le fait de manière cohérente pour une architecture personnalisée », a déclaré Ondaatje.
ClusterdOS fournit un contrôle fédéré sur plusieurs clusters. Le système est conçu pour détecter et résoudre les problèmes de manière autonome avant qu'ils ne s'aggravent, en utilisant des agents qui « vivent continuellement à l'intérieur du cluster et s'adaptent aux besoins de ce cluster », plutôt que d'exécuter des tâches pré-scriptées, a déclaré Ondaatje.
Des contrôles stricts
Pour éviter toute interruption accidentelle, le système d'exploitation fonctionne sous des contrôles d'autorisation stricts. « Le système d'exploitation multicluster ne peut pas voir ni accéder à tout ce que l'organisation ne lui a pas explicitement accordé », a-t-il déclaré. « Il est régi par une mutualisation stricte et des autorisations basées sur les rôles au niveau du système d'exploitation. L'accès est accordé et non assumé. «
Aranya introduit également une interface en langage naturel qui permet aux ingénieurs de gérer l'infrastructure à l'aide de commandes simples, telles que la création de points de terminaison d'inférence ou l'ajout de nœuds, sans toucher aux fichiers de configuration. Le système respecte les autorisations des utilisateurs existants pour garantir que les actions sont à la fois sécurisées et vérifiables. « Une requête dans Slack aboutit au même ensemble d'actions autorisées que l'ingénieur possède déjà », a déclaré Ondaatje.
L'entreprise revendique également des améliorations opérationnelles significatives grâce à l'utilisation de son logiciel. Les plus notables sont ce que Ondaatje appelle « des réductions spectaculaires des temps d'arrêt à l'échelle du cluster et du centre de données, obtenues grâce à la détection proactive des symptômes.
L'architecture fédérée permet également aux équipes de gérer tous leurs clusters comme une flotte unifiée, tandis que la surveillance intégrée de l'utilisation permet de redimensionner les charges de travail et d'optimiser les coûts. Le système d'Aranya permet également aux clients de recycler les calculs inutilisés, réduisant ainsi davantage les dépenses d'exploitation.
