La escasez de educación legal está pasando de "dar respuestas" a "evaluar respuestas".
En el aula de conferencias de la facultad de derecho, lo más comentado suele ser la leyenda de las preguntas socráticas. Durante mucho tiempo, el núcleo de la educación jurídica se ha considerado una habilidad altamente dependiente de la experiencia humana: encontrar límites en la ambigüedad, sopesar argumentos opuestos y entrenar el juicio en preguntas que parecen no tener una única respuesta.
Pero un nuevo estudio empírico de la Facultad de Derecho de Stanford está poniendo un punto y aparte a esta imaginación.
Este estudio no consiste en hacer que la IA rinda un examen de la facultad de derecho ni que redacte un dictamen legal completo. Evalúa un escenario más específico y más cercano a la enseñanza diaria: cuando los estudiantes de primer año en una clase de derecho contractual o durante horas de consulta plantean preguntas, ¿las respuestas breves proporcionadas por la IA serán más apreciadas por otros profesores de derecho que las respuestas escritas por los profesores de derecho?
La respuesta es bastante llamativa.
One: 75.33% win rate: AI is preferred by professors in anonymous blind evaluations
Este estudio titulado "Law Professors Prefer AI Over Peer Answers" fue impulsado por el profesor de la Facultad de Derecho de Stanford Julian Nyarko y su Legal Innovation through Frontier Technology Lab (liftlab), y cuenta con la participación de académicos de la Universidad de Yale, la Universidad de Nueva York, la Universidad de Chicago y otras instituciones.
El equipo de investigación invitó a 16 profesores de derecho contractual estadounidenses a diseñar 40 preguntas representativas basadas en las dudas que los estudiantes suelen plantear durante las horas de oficina en el curso de derecho contractual de primer año. Luego, los profesores humanos y los modelos de lenguaje de gran tamaño respondieron por separado, y los profesores compararon las respuestas de forma anónima sin conocer su origen.
Los resultados muestran que, en 2,918 comparaciones ciegas anónimas, la tasa promedio de victoria de las respuestas del modelo de lenguaje grande fue del 75.33%. El porcentaje de respuestas consideradas engañosas desde el punto de vista educativo fue del 12.06% para las respuestas de profesores humanos y del 3.53% para las respuestas de IA.
Este conjunto de datos tiene un impacto tan fuerte no porque la IA haya respondido correctamente algunos problemas conceptuales sobre conocimientos jurídicos. Anteriormente, muchas evaluaciones de IA se centraban en puntos de conocimiento binarios: correcto o incorrecto. Pero la parte más difícil de la educación jurídica no radica en memorizar reglas, sino en cómo interpretarlas, aplicarlas y analizar entre dos argumentos que parecen igualmente válidos. Este experimento prueba si la IA puede alcanzar los estándares profesionales ocultos y exigentes que los juristas utilizan para evaluar la calidad de los argumentos.
II. El enfrentamiento en la zona gris: AI gana con claridad, estructura y sentido pedagógico
These questions require respondents to understand specific facts, identify student confusion, apply abstract legal rules to new scenarios, and explain them in a teaching-appropriate manner.
Esto es precisamente la ventaja humana que la educación jurídica ha enfatizado durante mucho tiempo: no proporcionar respuestas estándar, sino guiar a los estudiantes para que desarrollen rutas de análisis. Por lo tanto, que la IA supere en este tipo de escenarios no es insignificante.
El equipo de investigación controló deliberadamente la longitud, el formato y la estructura de las respuestas al diseñar el experimento, para evitar que los evaluadores desarrollaran sesgos simplemente porque las respuestas de IA fueran más largas, más ordenadas o tuvieran un estilo más parecido a “texto generado por máquina”. En la fase de evaluación ciega por humanos, el estudio comparó principalmente Gemini 2.5 Pro y Google NotebookLM basado en el casebook correspondiente. El artículo también amplió la evaluación mediante el método LLM-as-judge para incluir más modelos.
La ventaja de la IA no es solo tener "más información" o "escribir más rápido". En este experimento específico, parece haber alcanzado varios de los elementos que los profesores de derecho prefieren en la tutoría de respuestas cortas: estructura clara, razonamiento coherente, respuesta directa a la pregunta y tono pedagógico constante.
Los profesores de derecho poseen, por supuesto, más experiencia y capacidad de juicio en la enseñanza diaria, pero en un escenario de consulta donde la respuesta debe reducirse a unas pocas centenas de palabras, las respuestas espontáneas humanas no siempre son la versión óptima. La IA, en cambio, es especialmente hábil para descomponer la pregunta en varios niveles y emitir una respuesta clara, reutilizable y con baja variabilidad emocional.
Tres: no reemplazar al profesor, sino cambiar el enfoque del trabajo del profesor
Of course, interpreting this study as "AI can replace law professors" is still an overinterpretation.
El alcance del ensayo es muy claro: evalúa las preguntas cortas y las consultas en horario de atención del profesor en el curso de derecho contractual, no la enseñanza completa, la orientación de tesis, la investigación de hechos, el juicio ético profesional ni la capacidad de representación a clientes reales.
El hecho de que la IA se desempeñe bien en evaluaciones anónimas y ciegas no significa que ya posea todas las capacidades necesarias para la educación jurídica. Aún puede generar ilusiones, mostrar excesiva confianza o confundir a los estudiantes en ausencia de contexto. Más importante aún, el objetivo de la educación jurídica no es simplemente que los estudiantes "obtengan una respuesta que parezca buena", sino que aprendan a cuestionar las respuestas, descomponerlas y reconstruirlas.
Precisamente ahí es donde el profesor sigue siendo irremplazable.
Pero este estudio también advierte a las facultades de derecho que ya no pueden seguir usando cómodamente la excusa de que “la ley es demasiado compleja y la IA no puede juzgar”. Al menos en algunos escenarios de enseñanza diaria, la IA ya puede generar explicaciones lo suficientemente claras, estructuradas e incluso más apreciadas por los profesores y colegas.
La cuestión clave del futuro tal vez ya no sea “¿puede la IA responder preguntas?”, sino “¿cómo pueden las facultades de derecho integrar la IA en el diseño educativo?”. Puede convertirse en el primer interpretador para la preparación previa a clase, en una herramienta de apoyo para las dudas posteriores, o utilizarse para entrenar a los estudiantes en la evaluación de las fortalezas y debilidades de distintas respuestas. Las clases verdaderamente valiosas podrían pasar de “el profesor enseña respuestas” a “el profesor guía a los estudiantes en el juicio de las respuestas”.
Cuatro: El foso de protección de la educación legal está pasando de las respuestas al juicio.
Lo más interesante de este estudio es que revela que ciertas habilidades que antes se consideraban escasas en la educación jurídica —como la interpretación de normas legales, la analogía de casos, la argumentación preliminar y la resolución de dudas en clase— ahora están siendo revaluadas, ya que anteriormente dependían en gran medida de la experiencia personal de los profesores. Hoy en día, la IA puede producir de forma estable versiones bastante buenas en escenarios específicos.
Por lo tanto, el valor del profesor no desaparecerá, sino que se verá obligado a elevarse: de proporcionar respuestas a diseñar preguntas; de explicar reglas a entrenar el juicio; de corregir errores a ayudar a los estudiantes a identificar argumentos que “parecen correctos pero aún son sospechosos”.
Esto no necesariamente es malo para la educación jurídica. Por el contrario, podría obligar a las facultades de derecho a volver a enfrentar un problema que ha estado oculto durante mucho tiempo: si la IA puede proporcionar explicaciones iniciales claras, ¿qué es realmente digno del tiempo invertido por los profesores humanos en el aula? La respuesta podría ser hechos más complejos, conflictos más auténticos, juicios de valor más difíciles de estandarizar y un entrenamiento crítico más riguroso.
Que la IA gane a un profesor en una sesión de dudas sobre derecho contractual no significa que el profesor haya perdido su sentido. Significa que la escasez de la educación jurídica está cambiando: de “quién puede decir la respuesta” a “quién puede juzgar si la respuesta es lo suficientemente buena”.
Referencias
Ashe, S. (2026, 1 de junio). La IA supera a los profesores de derecho en un estudio de Stanford. Escuela de Derecho de Stanford.
Salinas, A., Frieders, C., Guha, N., Ma, S., Sanga, S., Nyarko, J., et al. Law Professors Prefer AI Over Peer Answers. Stanford Law School / liftlab, 2026.