Thomson Reuters dépense 40 M$ pour former un modèle d'IA juridique personnalisé

Écrit par Xiao Bing

Le 24 août, Thomson Reuters a annoncé le lancement de son propre modèle de langage à grande échelle, « Thomson ». Ce géant de l'information, dont le chiffre d'affaires annuel dépasse 7 milliards de dollars, affirme que le modèle a été formé sur une base open source, avec un investissement total d'environ 40 millions de dollars (couvrant les talents et les ressources de calcul). Les données d'entraînement proviennent de la base juridique Westlaw, des guides pratiques Practical Law, de la plateforme de recherche fiscale Checkpoint et des actifs d'actualités Reuters. Les évaluations initiales montrent que Thomson réalise des performances « comparables à celles des modèles les plus récents de pointe » sur plusieurs tâches.

400 millions de dollars, à comparer : le dernier tour de financement d’OpenAI s’élève à 40 milliards de dollars, Anthropic a levé plus de 13 milliards au total, et xAI a récolté 6 milliards en une seule ronde. Les laboratoires de pointe dépensent des dizaines de milliards de dollars pour entraîner des modèles généraux, tandis que Thomson Reuters, avec moins d’un dixième de ce montant, a développé, dans un domaine vertical, des capacités qu’il prétend équivalentes aux meilleures du secteur.

Les mots exacts de Joel Hron, CTO : « Depuis des années, l'industrie de l'IA a considéré l'échelle comme la réponse : des modèles plus grands, plus de puissance de calcul, plus d'argent. Thomson a démontré qu'il existe un autre chemin : partir d'une base solide, se spécialiser en profondeur pour des tâches véritablement importantes, et ainsi construire une intelligence efficace et entièrement autonome. »

L'ère de la création propre d'IA pour les secteurs verticaux commence.

Thomson part d'une base open source (l'annonce ne précise pas quel modèle exactement) et intègre les données propriétaires de Thomson Reuters via une formation intermédiaire (mid-training) et une formation finale (post-training).

L'annonce révèle que moins de 10 % du contenu propre a été utilisé pour l'entraînement jusqu'à présent, et des recherches continues seront menées pour explorer de nouvelles orientations spécialisées. Des centaines d'experts disciplinaires ont participé à l'ensemble du processus, de la conception des objectifs d'entraînement à l'évaluation finale.

Le premier scénario de déploiement du modèle est la fonction d'analyse tabulaire (Tabular Analysis) dans CoCounsel Legal, destinée aux cabinets d'avocats et aux services juridiques d'entreprises. CoCounsel conserve une architecture multi-modèles, utilisant Thomson dans les scénarios où Thomson présente un avantage évident, et continuant d'utiliser des modèles externes de pointe dans les autres cas.

Thomson Reuters a également publié une version open source « légère » sur Hugging Face, destinée à un usage académique et non commercial, et invite les chercheurs en droit et en IA à effectuer une évaluation indépendante.

Le professeur Jonathan Choi de la faculté de droit de l'Université de Washington a testé Thomson, ChatGPT et Claude avec des questions difficiles de son cours sur les impôts des entreprises ; les trois modèles ont répondu correctement, mais il préfère les réponses de Thomson, en particulier grâce aux liens vers des ouvrages juridiques qui rendent les réponses plus transparentes et plus utiles.

This number is the key to understanding the whole thing.

Le coût d'entraînement de modèles généralistes de pointe augmente de façon exponentielle. Meta a utilisé plus de 16 000 GPU H100 pour entraîner Llama 3, avec des coûts informatiques estimés à plusieurs centaines de millions de dollars. Les budgets d'entraînement d'OpenAI et de Google DeepMind sont encore plus élevés. Ces modèles visent à « tout faire », de l'écriture de poèmes à la résolution d'équations différentielles, en passant par la programmation et le jeu de rôles.

Ce que fait Thomson Reuters est logiquement différent. Il ne nécessite pas un modèle tout-en-un, mais un modèle qui excelle dans des domaines extrêmement spécialisés tels que la recherche juridique, la conformité fiscale, l'interprétation réglementaire et l'analyse de documents professionnels, avec une performance aussi bonne, voire supérieure, à celle des modèles généraux de pointe. Ce objectif est beaucoup plus ciblé, ce qui réduit considérablement les coûts d'entraînement.

Mais ce qui a rendu les 40 millions de dollars possibles, ce n'est pas la réduction de la fourchette, mais les actifs de données.

La base de données juridique Westlaw, détenue par Thomson Reuters, couvre plus de 40 000 bases de cas et plus de 100 ans de jurisprudence. Practical Law contient des guides pratiques et des modèles maintenus en continu par plus de 650 avocats rédacteurs. Checkpoint est l'outil standard pour les professionnels fiscaux aux États-Unis. La banque de nouvelles Reuters couvre le monde entier sur une période de plus de 175 ans.

Ces données ne sont pas extraites depuis Internet.

Ce sont des actifs propriétaires, édités, annotés, structurés et mis à jour en continu. Les modèles verticaux formés sur ces données atteignent une précision et une qualité de citation dans leur domaine spécialisé que les modèles généraux peinent à égaler par une simple RAG (retrieval-augmented generation) ou un fine-tuning. Les modèles généraux peuvent « accéder » à ces données, mais accéder et « y croître » sont deux choses différentes.

Thomson Reuters a également souligné cette distinction : les gains issus d'un entraînement spécialisé dans un domaine ne peuvent être remplacés par une simple intégration de contenu.

Thomson Reuters ne sera pas le seul. En suivant la chaîne « données propriétaires → modèle vertical → coûts d'inférence réduits → meilleur contrôle des données → marge brute entreprise plus élevée », au moins plusieurs types d'entreprises possèdent les conditions nécessaires pour reproduire ce modèle.

Entreprise de données financières. Bloomberg a formé BloombergGPT en 2023 à l'aide de ses propres données de terminal financier et de corpus d'actualités. Bien que les actions ultérieures aient été limitées, les barrières de données du Bloomberg Terminal sont de la même ampleur que celles de Westlaw de Thomson Reuters — il s'agit de jeux de données propriétaires inaccessibles légalement à tout modèle généraliste.

Services professionnels. Les quatre grands cabinets d’audit (PwC, Deloitte, EY, KPMG), les grands réseaux d’avocats (comme Baker McKenzie, Kirkland & Ellis) ainsi que les entreprises d’information médicale (comme les données de dossiers médicaux électroniques d’Epic Systems) détiennent d’immenses quantités de données professionnelles hautement structurées et confidentielles. Ces institutions ne souhaitent pas confier les données de leurs clients à des modèles généraux, tout en ayant besoin d’IA pour améliorer leur efficacité. Pour elles, développer des modèles verticaux dédiés n’est pas une option, mais une nécessité sur le plan de la conformité.

Monopoles des données du secteur. MSCI détient les données d'évaluation ESG et d'indices mondiaux, Verisk possède les données de tarification d'assurance et de modélisation des risques, Wolters Kluwer détient les données juridiques et de conformité européennes, RELX possède les revues académiques Elsevier et les données juridiques LexisNexis. Le point commun de ces entreprises est que les données constituent un actif fondamental, l'exclusivité des données constitue un avantage concurrentiel, et alimenter les modèles d'autrui avec ces données dilue leur propre valeur.

Un détail facile à négliger dans l'annonce de Thomson Reuters : CoCounsel conserve une architecture multi-modèles. Utiliser Thomson là où il offre un avantage, et continuer d'utiliser des modèles externes dans d'autres scénarios.

Cela montre que même les entreprises ayant développé leurs propres modèles n'abandonneront pas complètement les modèles généraux.

Les modèles généraux conservent toujours un avantage en matière de raisonnement général, de génération de code et de traitement multilingue. Les modèles verticaux remplacent les modèles généraux dans la couche spécifique où ceux-ci sont « suffisants mais pas optimaux ».

Mais à long terme, si de plus en plus de clients entreprises de haute valeur commencent à construire leurs propres modèles verticaux, les entreprises de modèles généraux risquent d'être compressées au niveau de l'infrastructure : fournir des modèles de base pour que les entreprises les réentraînent, proposer des API d'inférence pour traiter des tâches générales, tout en perdant le pouvoir de fixation des prix dans les applications verticales les plus rentables.

Cela ressemble à l'évolution de l'industrie du cloud computing.

AWS, Azure et GCP fournissent l'infrastructure, mais la couche SaaS la plus rentable est dominée par des entreprises verticales comme Salesforce, ServiceNow et Workday. Si l'industrie de l'IA suit le même chemin, OpenAI et Anthropic pourraient jouer un rôle plus proche de « l'AWS de l'IA » que de « la Salesforce de l'IA ».

Ce que Thomson Reuters a prouvé en dépensant 40 millions de dollars, c'est que lorsqu'on possède des données suffisamment uniques, on peut rivaliser avec des modèles généraux entraînés à des milliards de dollars, pour un coût négligeable dans son domaine.

Une fois cette logique validée, chaque entreprise détenant des mines de données propriétaires recalculera ses coûts : continuer à payer annuellement des frais d'API à OpenAI ou Anthropic, ou dépenser une somme beaucoup plus faible pour former un modèle vertical entièrement sous son contrôle ?

Pour un marché habitué au récit de la « course aux armements en IA », les 40 millions de dollars de Thomson Reuters constituent un signal contraire. La prochaine étape de la compétition en IA ne sera peut-être pas gagnée par l'entreprise ayant les coûts d'entraînement les plus élevés, mais par celle possédant les données les plus uniques et les plus irremplaçables. Les modèles sont des outils ; les données constituent le壁垒.