Together AI Inc., l'opérateur d'une plate-forme cloud optimisée pour exécuter des modèles d'intelligence artificielle open source, a levé 800 millions de dollars auprès d'investisseurs.
La plate-forme Together AI comprend un service d'inférence sans serveur que les développeurs peuvent utiliser pour exécuter des modèles d'IA open source, ce qui élimine le besoin de configurer les cartes graphiques et les équipements réseau. Il affirme que ses environnements sans serveur offrent environ deux fois les performances de l'alternative la plus rapide.
La société vend également trois autres services d'inférence. Two utilise une infrastructure dédiée qui offre plus de garanties de fiabilité et d'options de personnalisation que son offre sans serveur. Le troisième service, Batch Inference, donne la priorité à la rentabilité plutôt qu'à la vitesse. Il offre une réduction de prix allant jusqu'à 50 % pour les modèles qui ne nécessitent pas la possibilité de répondre immédiatement aux invites des utilisateurs.
Sous le capot, la plate-forme Together AI est alimentée par des puces Nvidia et un moteur logiciel personnalisé appelé ATLAS. Il utilise une technique d'apprentissage automatique appelée décodage spéculatif pour accélérer les charges de travail des clients.
Le décodage spéculatif permet aux ingénieurs d’intégrer leur modèle d’IA à un deuxième réseau neuronal plus léger. Lorsqu'un utilisateur saisit une invite, l'algorithme plus léger génère rapidement un brouillon de réponse. Le modèle principal le vérifie ensuite pour détecter les erreurs, apporte les modifications nécessaires et fournit une réponse rapide à l'utilisateur. Ce processus est considérablement plus rapide que si le modèle principal génère lui-même la sortie.
Habituellement, l’algorithme léger qui crée des brouillons de réponses a une configuration fixe. Les modèles avec une configuration fixe deviennent souvent moins précis avec le temps. Selon Together AI, sa technologie ATLAS résout le problème en adaptant automatiquement le modèle léger aux changements des besoins des utilisateurs. La société affirme que son logiciel peut accélérer certaines charges de travail d'inférence de 400 %.
Les clients peuvent également utiliser la plateforme Together AI pour affiner les modèles open source. Il donne accès à des clusters de formation comprenant jusqu'à des milliers de cartes graphiques. Les développeurs peuvent gérer les clusters à l'aide de Kubernetes, qui est relativement simple à utiliser, ou d'un outil appelé Slurm qui offre davantage d'options de personnalisation.
L’un des principaux défis des projets de formation en IA est que les cartes graphiques rencontrent parfois des problèmes techniques. Dans certains cas, les pannes de puces peuvent introduire des erreurs dans le flux de travail de formation. Les clusters de formation de Together AI comprennent un logiciel qui détecte et corrige automatiquement les problèmes techniques.
La société a révélé aujourd'hui que ses réservations annuelles ont dépassé 1,15 milliard de dollars au deuxième trimestre. Sa plateforme est utilisée par plusieurs milliers d'organisations, dont le laboratoire de recherche en IA de LG Inc., Cohere Inc. et la Fondation Mozilla.
Ensemble, AI utilisera son capital nouvellement levé pour acheter davantage d’infrastructures. Il espère multiplier par 50 la capacité de son cloud public au cours des cinq prochaines années. De plus, il prévoit d’améliorer ses fonctionnalités de formation et d’inférence.
