Graphon Inc., une startup dotée d'une technologie qui améliore les modèles d'intelligence artificielle dans le traitement de grands ensembles de données, a été lancée aujourd'hui avec un financement de 8,3 millions de dollars.
Les grands modèles de langage les plus avancés d'aujourd'hui ont une fenêtre contextuelle de 1 million de jetons. Cela signifie qu’une seule invite ne peut contenir que jusqu’à 1 million de jetons de données, ce qui correspond à quelques milliers de pages de texte. La fenêtre contextuelle des LLM limite leur capacité à traiter des ensembles de données plus volumineux.
Les développeurs d’IA contournent la limite de la fenêtre contextuelle à l’aide d’outils RAG, ou génération augmentée par récupération. Il s'agit de modules logiciels capables d'analyser un ensemble de données contenant plus d'un million de jetons, d'extraire les enregistrements clés et de les mettre à la disposition d'un LLM.
Les outils RAG peuvent également hiérarchiser les enregistrements qu'ils extraient en fonction de leur pertinence par rapport à une invite donnée. Cependant, ils ont du mal à identifier les liens entre les enregistrements, ce qui limite leur utilité. Par exemple, un système RAG qui extrait les signaux de logiciels malveillants à partir d’un vaste ensemble de données de cybersécurité peut ne pas être capable de déterminer si ces signaux décrivent différentes cyberattaques ou une seule campagne de piratage.
Graphon a développé une plate-forme logicielle qui relève le défi. Il peut analyser un ensemble de données contenant plus d'un million de jetons, identifier des modèles clés et les enregistrer dans une mémoire relationnelle dite persistante. Les LLM peuvent ensuite extraire les modèles de la mémoire persistante sans atteindre leurs limites de contexte.
La plate-forme Graphon identifierait des modèles dans des ensembles de données à l'aide de petits modèles d'IA comportant environ 200 millions de paramètres. Ces modèles effectuent des traitements à l'aide de graphiques. Un graphique est une structure de données qui contient des informations sur les relations entre les objets. De telles structures de données se prêtent bien, entre autres tâches, à la représentation de modèles utiles dans les ensembles de données commerciales traités par les LLM.
La plateforme Graphon utilise également des objets mathématiques appelés fonctions graphon. Ils peuvent être utilisés pour analyser un ensemble de données commerciales stocké sous forme de graphique à la recherche d'enregistrements connectés les uns aux autres. Christian Borgs, un informaticien qui a aidé à inventer les graphons, est conseiller technique chez Graphon.
« L'IA a passé la dernière décennie à apprendre à imiter le langage », a déclaré Arbaaz Khan, fondateur et PDG de Graphon. « Mais le monde n'est pas fait de jetons, il est fait de relations. En préservant cette structure, nous rendons les modèles de base plus précis et plus utiles à l'échelle de l'entreprise. »
Graphon est l'une des nombreuses startups financées par du capital-risque qui s'efforcent d'augmenter la quantité de données que les LLM peuvent ingérer.
Subquadratic Inc., qui soulevé La semaine dernière, 29 millions de dollars ont permis de développer une version de l'architecture du transformateur capable de traiter jusqu'à 14 millions de jetons par invite. La société affirme que sa conception LLM est également nettement plus économe en matériel que ses prédécesseurs. Un autre récemment financé La startup Standard Intelligence Inc. utilise une technologie différente appelée objectif de compression masquée. Il augmente la capacité de traitement efficace des LLM en supprimant les données sans importance des invites.
