La startup CollectivIQ Inc., basée à Boston, cible les coûts galopants de l'intelligence artificielle avec une plate-forme destinée à donner aux entreprises le contrôle de la manière dont les modèles sont utilisés.
L'entreprise décrit son produit comme une « plateforme de consensus d'IA » qui permet aux administrateurs d'attribuer aux employés l'accès à différentes classes de modèles d'IA en fonction de leurs rôles, départements, exigences commerciales et budgets. Les administrateurs peuvent également imposer des restrictions de dépenses à l’échelle de l’organisation ainsi que des limites quotidiennes de coûts et de jetons pour chaque travailleur.
Ces fonctionnalités répondent à un problème croissant pour les entreprises qui font passer l’IA générative des petites expériences à une utilisation plus large en production. Les modèles de raisonnement, les processus en arrière-plan et les agents autonomes peuvent consommer des jetons sans que les employés ou les managers aient une vision claire de la dépense qui en résulte.
Des exemples récents très médiatisés incluent Uber Technologies Inc. qui a dépensé l'intégralité de son budget annuel de codage d'IA en seulement quatre mois et Swan AI Inc. qui a facturé 113 000 $ par mois pour une équipe de quatre personnes.
CollectivIQ a déclaré que ses nouveaux contrôles exposent l'utilisation au niveau des employés et de l'entreprise et permettent aux administrateurs de restreindre le travail en arrière-plan et le travail agent.
La société adopte une approche différente des services d’IA d’entreprise construits autour d’un fournisseur modèle unique. Sa plateforme se connecte aux modèles d'OpenAI LLC, Google LLC, Anthropic PBC, XAI LLC et d'autres fournisseurs. Les utilisateurs peuvent interroger plusieurs modèles et recevoir une réponse synthétisée qui identifie les domaines d'accord et de désaccord.
Le directeur général John Davie a déclaré que la plate-forme avait été développée après avoir rencontré les compromis en matière de coûts et de capacités impliqués dans la mise à disposition généralisée de l'IA chez Buyers Edge Platform LLC, la société de technologie d'approvisionnement en restauration et en services alimentaires qu'il dirige également.
«Je ne voulais pas offrir à mes employés une IA générique et déclassée», a déclaré Davie. Mais fournir à chaque employé une licence d'IA d'entreprise conventionnelle aurait coûté environ 700 000 dollars par an, a-t-il ajouté.
CollectivIQ accède plutôt aux modèles via leurs interfaces de programmation d'applications, en payant pour les jetons consommés plutôt que pour une licence complète pour chaque travailleur. Son logiciel achemine ensuite les requêtes en fonction de leur difficulté. Davie a déclaré que la société peut proposer aux entreprises clientes comptant au moins 100 utilisateurs un prix d'environ 10 $ par utilisateur et par mois, contre 40 $ pour certains abonnements individuels premium à l'IA.
« Une partie du secret réside dans le fait que nous utilisons les API et l'assemblage intelligent », a-t-il déclaré. Les clients peuvent également connecter leurs propres modèles.
Le mode automatique nouvellement introduit évalue une invite et sélectionne un niveau de modèle à faible, moyen ou élevé coût. Une demande simple peut être adressée à un modèle moins coûteux, tandis qu'une question subjective ou à forte intensité de raisonnement peut être adressée à un modèle plus performant. Les entreprises peuvent personnaliser l'accès pour des employés particuliers.
L'approche vise également à résoudre une contradiction apparente dans la conception de CollectivIQ : consulter plusieurs modèles pourrait consommer plus de jetons que n'en demander qu'un seul. Davie a déclaré que la société avait initialement interrogé les modèles les plus avancés pour chaque demande, mais avait modifié son acheminement car les modèles de raisonnement augmentaient les temps de réponse et les coûts. Les utilisateurs qui sélectionnent le niveau le plus élevé acceptent que la réponse puisse prendre plus de temps, a-t-il expliqué, alors que les modèles rapides ont des temps de réponse plus courts.
Pour produire une réponse consensuelle, la plateforme utilise ce que CollectivIQ appelle les étapes d'arbitrage et de jugement pour comparer les réponses des modèles. Si la plupart des modèles s'accordent sur une statistique ou un point de données, le système peut ignorer une réponse aberrante tout en montrant à l'utilisateur les différences entre les modèles. Un nouveau « mode argument » envoie les modèles dans une série de contestations mutuelles. Les utilisateurs peuvent voir les réponses des modèles individuels et formuler leurs propres jugements.
L’entreprise positionne ces comparaisons comme une protection contre les hallucinations et la dépendance à l’égard d’un seul fournisseur d’IA. « Les fournisseurs de modèles ne compareront pas leurs réponses à celles de leurs concurrents », a déclaré Davie.
CollectivIQ a déclaré disposer d'environ 25 comptes d'entreprise représentant des centaines d'utilisateurs. L'entreprise est autofinancée mais prévoit rechercher des investissements extérieurs au cours des trois prochains mois, a déclaré Davie.
