Estudo de Stanford: IA supera professores de direito em QA de direito contratual

A escassez de educação jurídica está mudando de “fornecer respostas” para “julgar respostas”.

Na sala de aula em graduação da faculdade de direito, o que mais se discute são frequentemente as lendas sobre o método socrático de perguntas. Por muito tempo, o núcleo da educação jurídica foi considerado uma arte altamente dependente da experiência humana: buscar limites na ambiguidade, equilibrar argumentos opostos e treinar o julgamento em questões que parecem não ter uma única resposta.

Mas um recente estudo empírico da Stanford Law School está colocando um ponto de interrupção nessa imaginação.

Este estudo não visa fazer com que a IA realize exames de faculdade de direito nem redija pareceres jurídicos completos. Ele examina um cenário mais específico e mais próximo do ensino cotidiano: quando estudantes do primeiro ano de direito fazem perguntas após a aula de direito contratual ou durante o horário de atendimento, as respostas curtas fornecidas pela IA seriam mais bem avaliadas pelos professores de direito do que as respostas escritas pelos professores de direito?

A resposta é bastante evidente.

O estudo intitulado “Law Professors Prefer AI Over Peer Answers”, impulsionado pelo professor da Stanford Law School, Julian Nyarko, e seu Legal Innovation through Frontier Technology Lab (liftlab), inclui autores de universidades como Yale, New York University e University of Chicago.

A equipe de pesquisa convidou 16 professores de direito contratual dos Estados Unidos para desenvolver 40 perguntas representativas com base nas dúvidas frequentemente levantadas pelos alunos durante as horas de atendimento ao aluno em cursos de direito contratual do primeiro ano. Em seguida, professores humanos e modelos de linguagem de grande porte responderam às perguntas, que foram posteriormente comparadas anonimamente pelos professores sem conhecimento da origem das respostas.

Os resultados mostram que, em 2.918 comparações cegas anônimas, a taxa média de vitória das respostas dos grandes modelos de linguagem foi de 75,33%. A proporção considerada com orientação pedagógica enganosa foi de 12,06% para respostas de professores humanos e 3,53% para respostas de IA.

Esses dados causam um impacto tão forte não porque a IA acertou alguns questionamentos conceituais sobre conhecimento jurídico. Avaliações anteriores de IA frequentemente se concentravam em pontos de conhecimento binários: certo ou errado. Mas a parte mais difícil da educação jurídica não está na memorização de regras, e sim na capacidade de interpretar regras, aplicar regras e realizar análises entre dois argumentos que parecem igualmente válidos. Este experimento testa se a IA consegue atingir os padrões profissionais ocultos e rigorosos usados por juristas para avaliar a qualidade dos argumentos.

These questions require respondents to understand specific facts, identify student confusion, apply abstract legal rules to new scenarios, and explain them in a way suitable for teaching.

Isso é exatamente a vantagem humana que a educação jurídica sempre mais enfatizou: não fornecer respostas padrão, mas orientar os alunos a formar caminhos analíticos. Portanto, o fato de a IA vencer nesses cenários não é insignificante.

A equipe de pesquisa controlou intencionalmente o comprimento, o formato e a estrutura das respostas ao projetar os experimentos, evitando que avaliadores desenvolvessem viés apenas porque as respostas da IA eram mais longas, mais organizadas ou tinham um estilo mais semelhante a “textos gerados por máquina”. Na fase de avaliação cega por humanos, o estudo comparou principalmente o Gemini 2.5 Pro e o Google NotebookLM baseado em casebooks relacionados. O artigo também expandiu a avaliação por meio do método LLM-as-judge para avaliar mais modelos.

A vantagem da IA não é apenas "ter mais dados" ou "escrever mais rápido". Neste experimento específico, ela parece ter atingido vários elementos preferidos pelos professores de direito em tutoriais de respostas curtas: estrutura clara, raciocínio coerente, resposta direta à pergunta e tom de ensino estável.

Professores de direito certamente possuem mais experiência e julgamento em ensino cotidiano, mas em um cenário de perguntas e respostas comprimido em respostas curtas de centenas de palavras, as respostas espontâneas humanas nem sempre são as versões ideais. A IA, por outro lado, é especialmente habilidosa em dividir a pergunta em vários níveis e emitir respostas claras, reutilizáveis e com baixa variação emocional.

Claro, interpretar este estudo como "IA pode substituir professores de direito" ainda é uma superinterpretação.

O escopo do artigo é muito claro: ele avalia as perguntas curtas e o atendimento ao aluno no horário de atendimento no curso de direito contratual, não a aula completa, não a orientação de dissertação, não a investigação de fatos, não o julgamento ético profissional e nem a capacidade de representação de clientes reais.

O fato de a IA se sair bem em avaliações anônimas e cegas não significa que ela já possua todas as habilidades necessárias para o ensino jurídico. Ela ainda pode gerar ilusões, demonstrar superconfiança ou confundir os alunos na ausência de contexto. Mais importante ainda, o objetivo do ensino jurídico não é apenas fazer com que os alunos “obtenham uma resposta que pareça boa”, mas ensiná-los a duvidar das respostas, desmontá-las e reconstruí-las.

Precisamente aí está o lugar onde o professor ainda é insubstituível.

Mas este estudo também alerta as faculdades de direito de que não podem mais usar simplesmente “a lei é muito complexa, a IA não consegue julgar” como uma zona de conforto. Pelo menos em alguns cenários de ensino cotidiano, a IA já consegue gerar explicações suficientemente claras, suficientemente estruturadas e até mesmo mais apreciadas pelos professores colegas.

A questão-chave do futuro talvez não seja mais “Se a IA consegue responder perguntas”, mas “Como as faculdades de direito incorporarão a IA no design didático”. Ela pode se tornar o primeiro interpretador para o estudo prévio dos alunos, uma ferramenta de apoio para esclarecimento de dúvidas pós-aula e também ser usada para treinar os alunos a discernir as vantagens e desvantagens entre diferentes respostas. Aulas verdadeiramente valiosas podem passar de “professores ensinando respostas” para “professores guiando os alunos a julgar respostas”.

A parte mais interessante deste estudo é que ela expôs certas habilidades na educação jurídica, anteriormente consideradas escassas — como interpretação de normas legais, analogia de casos, argumentação preliminar e esclarecimento de dúvidas em sala de aula — que antes dependiam fortemente da experiência individual dos professores. Hoje, a IA já consegue produzir versões bastante satisfatórias de forma estável em cenários específicos.

O valor do professor, portanto, não desaparecerá, mas será forçado a se elevar: da entrega de respostas para o design de perguntas; da explicação de regras para o treinamento do julgamento; da correção de erros para a ajuda aos alunos na identificação de argumentos que “parecem corretos, mas ainda são suspeitos”.

Isso não é necessariamente ruim para a educação jurídica. Pelo contrário, pode forçar as faculdades de direito a reenfrentar um problema longamente oculto: se a IA pode fornecer explicações iniciais claras, o que realmente vale a pena para os professores humanos investirem tempo em sala de aula? A resposta talvez seja fatos mais complexos, conflitos mais autênticos, julgamentos de valor mais difíceis de padronizar e treinamento crítico mais rigoroso.

O fato de a IA vencer o professor em uma sessão de dúvidas sobre direito contratual não significa que o professor perdeu seu significado. Significa que a escassez da educação jurídica está se deslocando: de “quem pode dizer a resposta” para “quem pode julgar se a resposta é suficientemente boa”.

Referências

Ashe, S. (2026, 1º de junho). IA supera professores de direito em estudo da Stanford Law. Stanford Law School.

Salinas, A., Frieders, C., Guha, N., Ma, S., Sanga, S., Nyarko, J., et al. Law Professors Prefer AI Over Peer Answers. Stanford Law School / liftlab, 2026.