Um estudo liderado pela Universidade de Stanford mostrou que, em tarefas de raciocínio jurídico contratual, professores de direito escolheram com mais frequência respostas geradas por IA do que versões escritas por colegas. A equipe de pesquisa considera que isso indica que modelos de linguagem de grande porte já conseguem se aproximar dos critérios de avaliação comuns na disciplina jurídica em certos contextos profissionais.
Cerca de três mil comparações cegas
Foram convidados 16 professores de 14 faculdades de direito nos Estados Unidos para elaborar as questões, incluindo Stanford, Yale, Universidade de Nova York, Universidade de Chicago, Universidade de Georgetown, UCLA e Universidade da Virgínia. Foram criadas 40 questões, abrangendo princípios de direito contratual, jurisprudência, casos hipotéticos e discussões políticas.
Em 2.918 comparações cegas, os professores avaliadores precisavam escolher qual das duas respostas anônimas prefeririam que os alunos utilizassem. Os resultados mostraram que o Google Gemini 2.5 Pro venceu 75,92% das vezes em comparação com respostas humanas, enquanto o NotebookLM obteve uma taxa de vitória de 74,75%.
Todos os tipos de questões são vantajosos
Um estudo revela que a IA supera respostas humanas em diversos tipos de perguntas, incluindo questões de memória envolvendo precedentes, leis e princípios jurídicos, bem como análises hipotéticas e discussões políticas. Os pesquisadores também verificaram se os julgamentos entre professores eram meramente preferências pessoais, e os resultados mostraram consistência acima do nível aleatório.
Para descartar a possibilidade de que apenas o estilo mais polido seja o fator, a equipe analisou adicionalmente características como comprimento das respostas, estrutura, nível de detalhamento do raciocínio, base jurídica, tom, clareza e suporte pedagógico. O estudo concluiu que esses fatores superficiais não são suficientes para explicar completamente a preferência do professor pelas respostas da IA.
Menos marcas de conteúdo prejudicial
O estudo também comparou a proporção de respostas marcadas como prejudiciais: o Gemini apresentou 3,41%, o NotebookLM, 3,64%, e as respostas humanas, 12,06%. Em outro conjunto de comparações adicionais de modelos, o Claude Opus 4.7 da Anthropic ficou em primeiro lugar, seguido pelo ChatGPT 5.4 da OpenAI.
No entanto, o estudo também indica que este teste não avaliou se as respostas estavam alinhadas com as preferências pedagógicas individuais de cada professor. Portanto, as respostas da IA podem ser geralmente aceitáveis, mas nem sempre se adaptam precisamente ao estilo de ensino de um determinado professor.
O setor jurídico ainda está avaliando o ritmo de adoção
Este estudo é lançado enquanto tribunais, escritórios de advocacia e faculdades de direito ainda discutem como a IA deve ser integrada aos processos jurídicos. Os defensores argumentam que a IA pode aumentar a eficiência dos serviços jurídicos e se tornará uma das ferramentas básicas para futuras funções jurídicas.
Mas o setor jurídico ainda permanece cauteloso em relação ao problema das ilusões de IA. O relato menciona que, em abril deste ano, o escritório de advocacia Sullivan & Cromwell reconheceu perante o tribunal de falências dos EUA que um de seus documentos continha citações falsas geradas por IA.