La génération augmentée par récupération est un moyen standard d'ancrer de grands modèles de langage dans les informations d'entreprise, mais une nouvelle étude d'EY, le nom commercial d'Ernst & Young LLP, indique que la plupart des implémentations négligent de nombreuses données utiles.
Les systèmes RAG conventionnels sont principalement conçus pour récupérer du texte. Cependant, les documents d'entreprise placent souvent des faits critiques dans des graphiques, des tableaux, des diagrammes techniques, des équations et des images. EY a développé un cadre RAG multimodal qui récupère ces documents aux côtés du texte et les relie via un graphe de connaissances, produisant ainsi des réponses plus complètes, contextualisées et plus faciles à vérifier.
L'approche n'affecte pas le LLM sous-jacent, mais modifie plutôt la manière dont le contenu d'entreprise est préparé, indexé, associé et fourni au modèle au moment de l'inférence. Le travail est né des limites rencontrées par EY dans les projets clients, a déclaré Dipanjan Sengupta (photo), éminent technologue d'EY Global Delivery Services Consulting et leader de l'ingénierie de l'IA.
« RAG fonctionne bien pour le contenu textuel », a-t-il déclaré, « mais dans de nombreux secteurs, de nombreuses informations se trouvent également dans le contenu illustratif. »
Par exemple, une entreprise industrielle peut conserver les spécifications essentielles dans des dessins techniques, tandis qu'une entreprise des sciences de la vie peut s'appuyer largement sur des graphiques. La méthodologie d'EY relie les illustrations au texte pertinent, ce qui entraîne une précision « multiple » accrue avec des récits de réponse améliorés, a déclaré Sengupta.
Plusieurs pipelines
Le cadre commence par séparer le contenu textuel et illustratif en différents pipelines d'ingestion. Le texte est segmenté et enrichi grâce à l'extraction de mots clés et à la résolution d'entités nommées, un processus qui relie les enregistrements ou les variantes de nom qui représentent la même entité du monde réel. Les illustrations se voient attribuer des métadonnées descriptives à l'aide de légendes existantes, de texte à proximité, d'une analyse de cadre de délimitation, d'une reconnaissance optique de caractères et de descriptions générées par un modèle de langage.
Le système stocke le texte et les illustrations dans des index vectoriels séparés, réduisant ainsi l'espace de recherche et permettant à une requête de cibler du texte, des images ou les deux. Dans le même temps, chaque élément de contenu devient un nœud dans un graphe de connaissances avec des relations pondérées reliant les passages et illustrations pertinents.
« Nous établissons des relations entre les différentes illustrations et les segments de texte », a déclaré Sengupta. « Nous avons stocké les informations dans une base de données graphique dans laquelle nous disposions de nœuds individuels pour les illustrations et pour le texte et de règles permettant d'établir les relations entre les deux. »
Le livre blanc décrit trois méthodes pour établir ces relations : la correspondance déterministe de mots clés, la similarité sémantique basée sur l'intégration et l'inférence basée sur l'apprentissage automatique pour les associations implicites. Un processus de « glanage » recherche les liens manquants, résout les entités ambiguës et identifie les informations associées dans les documents. Le résultat est un graphe hétérogène qui peut prendre en charge le raisonnement multi-sauts sans nécessiter que le LLM déduise chaque connexion.
La récupération se fait également par étapes. Le système effectue une recherche de similarité par rapport à l'index spécifique à la modalité appropriée. Il utilise ensuite les identifiants résultants pour parcourir les nœuds voisins dans le graphe de connaissances. La recherche peut rester locale, s'élargir à des communautés de graphes ou combiner les deux approches. Un reclasseur multimodal classe les passages et illustrations récupérés avant de les insérer dans l'invite LLM.
« Nous ne nous appuyons pas uniquement sur la recherche vectorielle, mais nous améliorons également l'espace de contenu vers d'autres modes d'information », a déclaré Sengupta. « Cela nous donne un récit plus large. »
«Des décisions bien meilleures»
Le processus de configuration diffère de celui de nombreux déploiements RAG. Une application de conformité peut favoriser une récupération étroite et déterministe, tandis qu'une application de recherche peut bénéficier d'une exploration sémantique plus large.
EY soutient que les méthodes de segmentation, les modèles d’intégration, les techniques d’établissement de relations, les stratégies de reclassement et la portée de récupération devraient être configurables plutôt que codées en dur. La flexibilité est l’une des raisons pour lesquelles Sengupta privilégie une plateforme d’entreprise plutôt que des projets RAG isolés. Les services communs d'ingestion, de sécurité, de gouvernance et de récupération peuvent être réutilisés pendant que les unités commerciales individuelles adaptent le système à leurs besoins.
Ce cadre pourrait devenir plus important à mesure que les entreprises déploient des agents d’intelligence artificielle. Ceux-ci ont besoin d'informations actuelles et spécifiques au domaine pour prendre des décisions et sélectionner des actions, et une récupération faible peut propager des erreurs tout au long d'un flux de travail automatisé.
« Lorsque RAG est enrichi d'une capacité multimodale, nous constatons que les agents sont bien mieux équipés pour prendre des décisions », a déclaré Sengupta. RAG peut également améliorer le chemin emprunté par un flux de travail agent.
Le document d'EY présente la méthode comme la base d'un RAG d'entreprise plus transparent et plus sensible au domaine, mais il ne publie pas de références comparatives ni ne quantifie les gains de précision. Jusqu’à présent, les preuves sont l’expérience client et la présomption selon laquelle une architecture qui récupère des preuves visuelles et textuelles connectées devrait produire des réponses plus riches qu’une recherche textuelle uniquement.
Sengupta a rejeté l'idée selon laquelle l'expansion des fenêtres de contexte du modèle rendrait RAG inutile. Des fenêtres plus grandes peuvent réduire le besoin de diviser les documents en petits morceaux, a-t-il déclaré, mais elles ne résolvent pas le problème de la recherche des preuves les plus pertinentes. Sans récupération ciblée, un LLM est toujours à la recherche de « cette proverbiale aiguille dans la botte de foin ».
