Se já tentou extrair dados úteis de arquivos da SEC, sabe que a experiência fica em algum lugar entre ler hieróglifos e montar móveis da IKEA sem o manual. Os documentos são densos, com formatação inconsistente e projetados para advogados humanos, não para modelos de aprendizado de máquina.
Uma equipe do Laboratório de Tecnologias Financeiras Avançadas da Stanford acaba de lançar algo que pode mudar isso. O Conjunto de Dados de Arquivos EDGAR da Stanford, ou SEFD, é uma reconstrução massiva dos arquivos EDGAR da SEC dos EUA, abrangendo de 1994 até o presente, reformatado em um estilo MultiMarkdown fiel à estrutura, que máquinas conseguem interpretar sem perder o significado financeiro enterrado na estrutura.
O que torna este conjunto de dados diferente
A snapshot pública inicial contém 152 bilhões de tokens abrangendo arquivos de janeiro de 2022 a junho de 2025. O conjunto completo de dados, quando concluído, está estimado em cerca de 550 bilhões de tokens provenientes de aproximadamente 18,5 milhões de arquivos.
O projeto foi liderado por Nick Bettencourt, vinculado à UCLA e em colaboração com Stanford. Foi anunciado em 16 de junho de 2026.
Tentativas anteriores de extração destruíram rotineiramente os componentes estruturais e semânticos que tornam os documentos financeiros úteis. As hierarquias de tabelas foram aplainadas. Os sinais numéricos desapareceram. O formatação sutil que indica a um analista se um número é um subtotal, um ajuste negativo ou uma referência de rodapé foi removida.
A abordagem MultiMarkdown do SEFD preserva esses elementos. A equipe relata que a precisão estrutural excede 99% com base em avaliações humanas. Erros pequenos nos dados financeiros, um sinal negativo mal posicionado, uma hierarquia de tabela colapsada, podem se propagar para conclusões significativamente erradas quando processados por modelos de IA.
Outro detalhe notável: menos de 0,1% de sobreposição com corpora derivados do Common Crawl. A maioria dos grandes modelos de linguagem é pré-treinada em grandes raspagens da internet, e o Common Crawl é uma das maiores. Ter quase nenhuma sobreposição significa que o SEFD oferece dados de treinamento genuinamente novos que não simplesmente reforçarão o que os modelos já viram.
Novos marcos para IA financeira
O conjunto de dados não chegou sozinho. A equipe também apresentou dois benchmarks projetados para testar o desempenho dos modelos ao trabalhar com esse tipo de dado.
EDGAR-Forecast é um benchmark de previsão numérica. Ele testa se os modelos conseguem analisar dados históricos de arquivos e prever métricas financeiras futuras. EDGAR-OCR foca na transcrição de tabelas financeiras, medindo essencialmente a precisão com que um modelo consegue ler e reproduzir as tabelas estruturadas que formam a base da maioria dos arquivos da SEC.
Por que os investidores em criptomoedas devem prestar atenção
Um número crescente de empresas listadas em bolsa agora detêm bitcoin em seus balanços, emitem títulos relacionados a criptoativos ou atuam no espaço de ativos digitais. Seus arquivos apresentados à SEC contêm divulgações sobre essas atividades. Ferramentas de IA melhores para analisar esses arquivos significam ferramentas melhores para entender o que as empresas de finanças tradicionais estão realmente fazendo com criptoativos, como estão contabilizando-os e quais riscos estão sinalizando aos reguladores.
O setor de dados financeiros é dominado por empresas como Bloomberg e Refinitiv, que cobram preços premium por feeds de dados estruturados. Um conjunto de dados aberto e de alta qualidade com 550 bilhões de tokens de arquivos da SEC poderia democratizar o acesso à matéria-prima que impulsiona a análise financeira.
O risco, como sempre com conjuntos de dados abertos, é o uso indevido. Uma taxa de precisão estrutural de 99% é impressionante, mas essa taxa de erro restante de menos de 1% em 18,5 milhões de arquivamentos ainda representa um número não desprezível de potenciais incorreções. Qualquer pessoa que construa sistemas de produção com base no SEFD precisará de camadas de validação robustas, especialmente em domínios como cripto, onde os arquivos regulatórios já são menos padronizados do que na finança tradicional.