Un estudio de Stanford encuentra que los "abogados" de IA superan a los profesores en razonamiento jurídico

Un estudio encuentra que los “abogados” de IA superan a los profesores de derecho en razonamiento legal: una llamada de atención para empresas y reguladores de cripto Un nuevo estudio liderado por Stanford descubre que los modelos de lenguaje grandes (LLMs) modernos no solo responden bien a preguntas legales: los profesores de derecho prefirieron las respuestas de IA a las escritas por sus pares aproximadamente tres cuartas partes del tiempo. Este resultado plantea nuevas preguntas para industrias que dependen de un razonamiento legal rápido y preciso, incluidas las empresas de cripto que navegan una regulación compleja y en constante evolución. Cómo se realizó la prueba - Dieciséis profesores de 14 escuelas de derecho estadounidenses (incluidas Stanford, Yale, NYU, Chicago, Georgetown, UCLA y UVA) redactaron 40 preguntas de derecho contractual que abarcan doctrina, recuerdo de jurisprudencia, hipótesis y preguntas de política. Los investigadores consideraron al derecho como una prueba más difícil de juicio que muchos dominios con “una sola verdad absoluta”, ya que requiere evaluar la ambigüedad y llegar a conclusiones defensibles. - En 2.918 comparaciones por pares ciegas, los profesores eligieron qué respuesta preferirían dar a un estudiante: una escrita por un instructor humano o una generada por un LLM. Principales hallazgos - Gemini 2.5 Pro de Google fue preferida en el 75,92 % de sus enfrentamientos contra instructores humanos; NotebookLM de Google ganó el 74,75 % de sus enfrentamientos. En general, las respuestas de IA fueron favorecidas en aproximadamente tres de cada cuatro comparaciones. - Los modelos de IA superaron a los instructores humanos en múltiples tipos de preguntas: recuerdo (casos, códigos, doctrina), hipótesis y análisis de política. - Para descartar sesgos de estilo, los investigadores analizaron características léxico-sintácticas —longitud, estructura, matices, anclajes legales, tono, claridad y ayudas pedagógicas— y descubrieron que estas características superficiales no explicaban completamente la ventaja de los LLM. - Las respuestas de IA también fueron marcadas como dañinas con mucho menos frecuencia que las respuestas de los profesores en este estudio: Gemini 2.5 Pro con un 3,41 % de peligrosidad, NotebookLM con un 3,64 %, frente al 12,06 % de los instructores humanos. - En un análisis más amplio de modelos, Claude Opus 4.7 de Anthropic ocupó el primer lugar en general, seguido por ChatGPT 5.4 de OpenAI y Gemini 2.5 Pro. Cada modelo de IA evaluado superó en promedio a los instructores humanos. Lo que dicen los investigadores (y sus advertencias) - Los autores señalan que el grado de acuerdo observado entre los profesores superó lo esperado si las elecciones fueran aleatorias, lo que sugiere que las respuestas de los LLM se alinean con criterios disciplinarios comunes más que con gustos idiosincrásicos. - Pero también advierten que el estudio no midió si las respuestas de IA coincidían con las preferencias individuales de algún profesor. Es posible que las respuestas de los LLM sean “generalmente aceptables” pero no adaptadas al enfoque particular de un instructor. Contexto real y riesgos - El estudio llega en un momento en que tribunales, bufetes y escuelas de derecho adoptan cada vez más la IA. La Corte Superior de Los Ángeles está probando herramientas de IA para ayudar a los jueces a gestionar sus cargas de trabajo, y las escuelas de derecho están integrando la formación en IA en sus currículos. - Sin embargo, la tecnología sigue siendo imperfecta. Los bufetes legales siguen enfrentando consecuencias reales por alucinaciones de IA: en abril, Sullivan & Cromwell admitió ante una corte de quiebras estadounidense que un presentación reciente contenía citas falsas generadas por IA. Por qué los lectores de cripto deben preocuparse - Las empresas de cripto enfrentan una complejidad de preguntas contractuales, de cumplimiento y regulatorias que exigen razonamiento legal oportuno: desde la clasificación de tokens y la ley de valores hasta disputas de contratos inteligentes y obligaciones AML. Si los LLM pueden producir confiablemente explicaciones legales de alta calidad y redactar documentos, podrían cambiar rápidamente cómo operan los equipos legales en la industria cripto. - Beneficios: redacción y revisión más rápida de contratos, escalamiento del asesoramiento de cumplimiento y acceso más económico al razonamiento legal para startups y DAOs. - Riesgos: alucinaciones, citas inexactas y respuestas que son “suficientemente buenas” pero no adaptadas a matices jurisdiccionales o a la tolerancia al riesgo de una organización. Un asesoramiento legal erróneo puede ser costoso en áreas altamente reguladas o sensibles a precedentes. Conclusión El experimento liderado por Stanford sugiere que los LLM modernos no son meras curiosidades: ya son competitivos, y a menudo preferidos, frente a instructores humanos en muchas tareas de razonamiento legal. Para empresas cripto, reguladores y abogados, esto significa un gran potencial de eficiencia, pero también una necesidad renovada de verificación, procedencia y salvaguardias antes de implementar razonamiento legal generado por IA.