La puissance mondiale du contenu, Thomson Reuters Corp., a lancé aujourd'hui Thomson, son premier grand modèle linguistique exclusif, combinant les connaissances juridiques de l'entreprise avec des LLM de fournisseurs externes pour fournir des conseils juridiques.
La société a déclaré que Thomson serait d'abord déployé dans Tabular Analysis, une capacité d'examen de documents à grand volume dans son assistant CoCounsel Legal AI. CoCounsel restera un produit multimodèle, utilisant Thomson pour les travaux où le modèle spécifique à un domaine de l'entreprise présente un avantage et des modèles frontières tiers pour d'autres tâches. Thomson sera le modèle par défaut pour l'analyse tabulaire, bien que les administrateurs puissent sélectionner d'autres modèles.
Thomson Reuters a dépensé environ 40 millions de dollars sur deux ans en ressources humaines et informatiques pour le projet, mais a déclaré que les économies réalisées ont réduit le coût de la formation finale à environ 450 000 dollars. Au lieu de construire un modèle de base à partir de zéro, l'entreprise a commencé avec un modèle ouvert et y a ajouté son contenu exclusif, ses méthodes de formation et son expertise professionnelle. Il a déclaré que l’approche réduisait à la fois les coûts de formation et d’inférence par rapport aux modèles frontières à usage général.
L'entreprise ne cherche pas à rivaliser avec les plus grands laboratoires d'IA dans tous les domaines, a déclaré Joel Hron, responsable mondial de l'intelligence artificielle et de TR Labs chez Thomson Reuters. « Thomson doit fixer la frontière entre le renseignement et le juridique », a-t-il déclaré. « C'est un travail différent de ce que font, je pense, de nombreux laboratoires frontaliers. »
Surveillance professionnelle
Le processus de formation comprenait le réalignage du modèle de base sur les valeurs de Thomson Reuters, une pré-formation sur le contenu de l'entreprise, une post-formation ciblée guidée par des professionnels et un apprentissage par renforcement qui a appris au modèle à travailler avec des outils de l'entreprise tels que Westlaw et Practical Law. La plateforme phare du cabinet, Westlaw, englobe plus de 40 000 bases de données individuelles et plus de 150 ans d'édition juridique et de curation éditoriale. Hron a déclaré que des centaines d'experts en la matière ont aidé à définir les objectifs de la formation, à créer des exemples de questions juridiques et à juger les réponses dans le cadre de comparaisons aveugles.
La spécialisation peut nuire aux capacités plus larges d'un modèle si elle est mal gérée, a déclaré Jonathan Schwartz, responsable de la recherche fondamentale chez Thomson Reuters. L’équipe de recherche s’est donc concentrée sur l’apprentissage continu ou sur l’ajout de compétences dans un domaine sans effacer les capacités existantes. « Si vous prenez simplement le modèle open source sans aucune de ces étapes supplémentaires, vous n'en saurez pas autant », a déclaré Schwartz. « Vous ne serez pas nécessairement en phase avec vos valeurs, et ce ne sera pas aussi efficace que d'utiliser les outils que vous avez construits plus tard. »
Thomson Reuters a déclaré que des tests internes ont montré que Thomson était globalement compétitif par rapport aux grands modèles alors que tous n'avaient accès qu'au Web. Il a évolué vers des performances à peu près égales, voire légèrement meilleures, lorsqu'il est connecté au contenu de Thomson Reuters, a déclaré Andrew Bean, chercheur scientifique principal de l'entreprise. Les tests évaluaient à la fois l'exhaustivité des réponses et si les citations étayaient leurs affirmations. Un rapport technique qui sera publié prochainement devrait fournir des résultats de référence supplémentaires.
Ces résultats n’ont pas encore reçu une validation indépendante approfondie. Thomson Reuters a commencé à partager le modèle avec des experts juridiques et des établissements universitaires à des fins de test et prévoit de publier une version plus petite et ouverte sur Hugging Face sous une licence académique non commerciale. Elle développe également un portail à travers lequel les développeurs externes peuvent demander des clés d'interface de programmation d'applications et tester directement le modèle.
Plus à venir
Jusqu'à présent, seulement 10 % environ de la base d'informations totale de l'entreprise a été utilisée, a déclaré Bean. La prochaine étape ne consiste pas simplement à ajouter davantage de matériel, mais à transformer le contenu et l'activité produit les plus utiles en de meilleurs signaux de formation.
La propriété est également au cœur de l’argumentaire de l’entreprise en faveur d’une IA souveraine. Thomson Reuters a déclaré que les données clients ne sont pas utilisées pour entraîner le modèle et que le contrôle du modèle lui donne plus d'autorité sur le déploiement, la gouvernance et le développement futur. L'entreprise discute d'un accès direct aux modèles avec de grands cabinets d'avocats et de grandes entreprises et est ouverte à la possibilité que les clients puissent adapter Thomson à leurs propres connaissances et flux de travail.
Hron a reconnu que le maintien d'un modèle propriétaire soulève la question de savoir si Thomson Reuters peut suivre le rythme des laboratoires d'IA qui évoluent plus rapidement. Il a fait valoir que les améliorations apportées aux modèles ouverts donneraient à l'entreprise des bases plus solides pour les versions ultérieures, tandis que son propre investissement pourrait rester concentré sur le travail professionnel.
« Je ne considère pas la possession d'un modèle d'IA qui incarne les connaissances et l'expertise que possède TR comme quelque chose qui ne soit pas essentiel à ce que nous faisons », a-t-il déclaré. « L'IA est un nouveau mécanisme de fourniture d'expertise. »
