Thomson Reuters gasta US$ 40 milhões para treinar um modelo de IA jurídico personalizado

Artigo escrito por Xiao Bing

Em 24 de agosto, a Thomson Reuters anunciou o lançamento de seu próprio modelo de linguagem de grande porte, "Thomson". A gigante de informações, com receita anual superior a US$ 7 bilhões, afirmou que o modelo foi treinado com base em uma base aberta, com um investimento total de aproximadamente US$ 40 milhões (incluindo talentos e capacidade de processamento). Os dados de treinamento foram obtidos do banco de dados jurídico Westlaw, das orientações práticas Practical Law, da plataforma de pesquisa tributária Checkpoint e dos ativos jornalísticos da Reuters. Avaliações iniciais indicam que o Thomson apresenta desempenho "equivalente aos modelos de ponta mais recentes" em várias tarefas.

400 milhões de dólares — em comparação: a última rodada de financiamento da OpenAI foi de 40 bilhões de dólares, a Anthropic arrecadou mais de 13 bilhões no total, e a xAI recebeu 6 bilhões em uma única rodada. Laboratórios de ponta gastam bilhões de dólares em poder computacional para treinar modelos gerais, enquanto a Thomson Reuters, com menos de uma fração disso, desenvolveu, em um domínio vertical, uma capacidade que afirma ser comparável à ponta.

As palavras originais do CTO Joel Hron são: Por anos, a indústria de IA tratou escala como a resposta—modelos maiores, mais poder computacional, mais dinheiro. Thomson provou que existe outro caminho: partir de uma base sólida, especializar-se profundamente nas tarefas verdadeiramente importantes, e construir inteligência eficiente e totalmente autônoma e controlável.

A era da construção própria de IA para setores verticais está começando.

Thomson parte de uma base de código aberto (o modelo específico não foi especificado no anúncio) e injeta dados proprietários da Thomson Reuters por meio de treinamento intermediário (mid-training) e treinamento póserior (post-training).

O anúncio revela que atualmente menos de 10% do conteúdo próprio foi utilizado para o treinamento, e serão exploradas continuamente novas direções especializadas. Centenas de especialistas em diversas áreas participaram de ponta a ponta, desde o design dos objetivos de treinamento até a avaliação final.

O primeiro cenário de implantação do modelo é a função de Análise Tabular no CoCounsel Legal, voltada para escritórios de advocacia e departamentos jurídicos corporativos. O CoCounsel mantém uma arquitetura multi-modelo, utilizando o Thomson em cenários onde ele possui vantagem clara e continuando a utilizar modelos externos de ponta em outros cenários.

A Thomson Reuters também lançou uma versão "pequena" de código aberto no Hugging Face, para uso acadêmico e não comercial, e convidou acadêmicos de direito e IA para avaliação independente.

O professor Jonathan Choi da Escola de Direito da Universidade de Washington testou Thomson, ChatGPT e Claude com questões difíceis de um curso de impostos corporativos e avaliou que todos os três modelos responderam corretamente, mas preferiu a resposta do Thomson, especialmente por incluir links para obras jurídicas, tornando a resposta mais transparente e prática.

Este número é a chave para entender todo o contexto.

O custo de treinar um modelo geral de ponta está aumentando exponencialmente. A Meta gastou mais de 16 mil GPUs H100 para treinar o Llama 3, com custos de computação estimados em centenas de milhões de dólares. Os orçamentos de treinamento da OpenAI e do Google DeepMind são ainda maiores. Esses modelos têm como objetivo "fazer tudo", desde escrever poesia até resolver equações diferenciais, de programação até interpretação de papéis.

O que a Thomson Reuters faz é logicamente diferente. Ela não precisa de um modelo que faça tudo; precisa de um modelo que, em áreas extremamente verticais como pesquisa jurídica, conformidade tributária, interpretação regulatória e análise de documentos profissionais, atinja um desempenho igual ou superior ao dos modelos avançados gerais. O escopo desse objetivo é muito mais restrito, portanto o custo de treinamento é muito menor.

Mas o que realmente tornou possível os 40 milhões de dólares não foi o estreitamento do intervalo, mas os ativos de dados.

A base de dados jurídica Westlaw, da Thomson Reuters, abrange mais de 40.000 bancos de dados de casos e mais de 100 anos de acúmulo de jurisprudência. O Practical Law contém guias práticos e modelos mantidos continuamente por mais de 650 editores jurídicos. O Checkpoint é a ferramenta padrão para profissionais tributários nos Estados Unidos. O corpus de notícias da Reuters cobre globalmente mais de 175 anos.

Esses dados não foram coletados da internet.

São ativos proprietários, profissionalmente editados, anotados, estruturados e atualizados continuamente. Modelos verticais treinados com esses dados alcançam precisão e qualidade de citação em seus campos especializados que modelos gerais dificilmente conseguem igualar por meio de RAG (geração reforçada por busca) ou fine-tuning simples. Modelos gerais podem "acessar" esses dados, mas acessar e "crescer dentro deles" são duas coisas diferentes.

A Thomson Reuters também destacou essa diferença: os ganhos provenientes do treinamento especializado por domínio não podem ser substituídos pelo simples acesso ao conteúdo.

A Thomson Reuters não será a única. Ao longo da cadeia "dados proprietários → modelos verticais → custos de inferência mais baixos → maior controle de dados → maior margem bruta corporativa", pelo menos algumas categorias de empresas possuem as condições para replicar esse modelo.

Empresa de dados financeiros. A Bloomberg já treinou o BloombergGPT em 2023, utilizando seus próprios dados de terminal financeiro e corpus de notícias. Embora não tenha havido muitas ações subsequentes, os dados do Bloomberg Terminal e o Westlaw da Thomson Reuters pertencem à mesma categoria — são conjuntos de dados proprietários que nenhum modelo geral pode obter legalmente.

Serviços profissionais. Os quatro grandes escritórios de contabilidade (PwC, Deloitte, EY, KPMG), grandes alianças de escritórios de advocacia (como Baker McKenzie e Kirkland & Ellis) e empresas de informação médica (como os dados de prontuários eletrônicos da Epic Systems) possuem grandes volumes de dados profissionais altamente estruturados e confidenciais. Essas instituições não estão dispostas a enviar dados de clientes para modelos gerais, mas precisam de IA para aumentar a eficiência. Para elas, construir modelos verticais próprios pode não ser uma opção, mas uma necessidade sob o ponto de vista da conformidade.

Monopolistas de dados setoriais. A MSCI possui dados de classificações ESG e índices globais, a Verisk possui dados de precificação de seguros e modelos de risco, a Wolters Kluwer possui dados jurídicos e de conformidade europeus, e a RELX possui revistas acadêmicas Elsevier e dados jurídicos LexisNexis. A característica comum dessas empresas é: os dados são ativos centrais, a exclusividade dos dados é a vantagem competitiva, e fornecer os dados para os modelos de terceiros dilui seu próprio valor.

Um detalhe facilmente ignorado no anúncio da Thomson Reuters é que o CoCounsel mantém uma arquitetura multi-modelo: usa o Thomson onde ele tem vantagem e continua utilizando modelos externos em outros cenários.

Isso indica que mesmo empresas que desenvolveram seus próprios modelos não abandonarão completamente os modelos gerais.

Os modelos gerais ainda mantêm vantagens em raciocínio geral, geração de código e processamento multilíngue. Os modelos verticais substituem a camada dos modelos gerais que é “suficiente, mas não ideal” em domínios específicos.

Mas a longo prazo, se cada vez mais clientes corporativos de alto valor começarem a construir seus próprios modelos verticais, as empresas de modelos gerais correm o risco de serem comprimidas para o nível de infraestrutura: fornecendo modelos base para treinamento secundário por empresas e APIs de inferência para tarefas gerais, mas perdendo o poder de precificação nos aplicativos verticais mais lucrativos.

Isso é semelhante à evolução da indústria de computação em nuvem.

AWS, Azure e GCP fornecem infraestrutura, mas a camada de aplicativos SaaS mais lucrativa é dominada por empresas verticais como Salesforce, ServiceNow e Workday. Se a indústria de IA seguir o mesmo caminho, o papel da OpenAI e da Anthropic pode ser mais semelhante ao de "a AWS da IA" do que ao de "a Salesforce da IA".

O que a Thomson Reuters provou com 40 milhões de dólares é que, quando você possui dados suficientemente únicos, pode igualar modelos gerais treinados com bilhões de dólares ao custo de uma pequena fração.

Uma vez validado esse raciocínio, cada empresa que possui dados proprietários reavaliará seus custos: continuar pagando anualmente taxas de API para a OpenAI ou Anthropic, ou investir uma quantia significativamente menor para treinar um modelo vertical totalmente controlado por si mesma?

Para um mercado acostumado à narrativa da "corrida armamentista de IA", os 40 milhões de dólares da Thomson Reuters são um sinal contrário. A próxima fase da competição em IA pode não ser vencida pela empresa com os maiores custos de treinamento, mas pelaquela com os dados mais únicos e irremediavelmente insubstituíveis. Modelos são ferramentas; dados são barreiras.