Stanford Study: Labis na ang AI sa mga Propesor ng Batas sa QA ng Contract Law

Ang kakulangan sa legal na edukasyon ay nagpapalit mula sa “pagbibigay ng sagot” patungo sa “pagsusuri ng sagot”.

Sa lecture hall ng paaralan ng batas, ang pinakamalaking paksa ng usapan ay kadalasan ang mga kuwento tungkol sa Socratic questioning. Sa mahabang panahon, ang pangunahing bahagi ng edukasyong batas ay itinuturing na isang kasanayan na malalim na nakabatay sa karanasan ng tao: ang paghahanap ng hangganan sa pagkakalito, ang pagtantiya ng timbang sa pagitan ng magkakaibang pananaw, at ang pagsasanay sa paggawa ng desisyon sa mga tanong na tila walang iisang sagot.

Ngunit isang bagong empirikal na pag-aaral mula sa Stanford Law School ay nagpapahinga sa imahinasyong ito.

Hindi ito pag-aaral kung paano ipasok ang AI sa pagsusulit ng paaralan ng batas o kung paano ito isusulat ang isang buong legal opinion. Ipinapakita nito ang isang mas tiyak at mas malapit sa pang-araw-araw na pagtuturo na sitwasyon: Kapag nagtanong ang mga mag-aaral sa unang taon ng batas pagkatapos ng klase o sa oras ng tanong tungkol sa contract law, mas pipiliin ba ng mga propesor ang maikling sagot ng AI kaysa sa sagot na isinulat ng propesor ng batas?

Sobrang nakakalito ang sagot.

Ang pag-aaral na may pamagat na “Law Professors Prefer AI Over Peer Answers,” na pinangunahan ni Professor Julian Nyarko ng Stanford Law School at ang kanyang Legal Innovation through Frontier Technology Lab (liftlab), ay may kasamang mga akademiko mula sa Yale, New York University, University of Chicago, at iba pang mga unibersidad.

Inihingi ng panel ng mga mananaliksik sa 16 na mga propesor ng batas ng kontrata sa Estados Unidos na lumikha ng 40 mga katanungang kumakatawan sa mga tanong na karaniwang itinatanong ng mga mag-aaral sa office hours sa kurso ng batas ng kontrata sa unang taon. Pagkatapos, sinagot ng mga propesor at ang malaking modelo ng wika, at sinuri ng mga propesor nang hindi alam ang pinagmulan ng bawat sagot.

Sa resulta, sa 2,918 na anonymous blind comparison, ang average win rate ng mga sagot ng large language model ay 75.33%. Ang proporsyon na itinuturing na may pagtuturo na maliit ay 12.06% para sa mga sagot ng mga guro, at 3.53% para sa mga sagot ng AI.

Hindi dahil sa ilang tanong sa kaalaman sa batas na tama ng AI ang nagdulot ng malakas na epekto sa set ng datos na ito. Ang maraming pagtataya sa AI ay nakatuon sa mga konseptong black-and-white: tama o mali. Ngunit ang pinakamahirap na bahagi ng edukasyon sa batas ay hindi ang pagmemorisa ng mga patakaran, kundi kung paano ipaliwanag ang mga patakaran, kung paano gamitin ang mga ito, at kung paano mag-analisa sa pagitan ng dalawang argumento na parehong maaaring magkaroon ng kahulugan. Ang eksperimentong ito ay sinusubok kung kaya ng AI na makamit ang mga nakatago at mahigpit na pamantayan ng mga propesyonal sa batas sa pagpapahalaga sa kalidad ng argumento.

Ang mga tanong na ito ay nangangailangan ng pag-unawa sa mga partikular na katotohanan, pagkilala sa kalituhan ng mga mag-aaral, pagpapakita ng abstraktong mga batas sa bagong sitwasyon, at pagsasaliw ng paliwanag sa isang paraan na angkop para sa pagtuturo.

Ito ang tiyak na kahusayan ng tao na matagal nang pinapahalagahan sa edukasyong legal: hindi ang pagbibigay ng standard na sagot, kundi ang paggabay sa mga mag-aaral upang mabuo ang kanilang sariling paraan ng pagsusuri. Kaya, ang pagkapanalo ng AI sa ganitong mga sitwasyon ay hindi maliit ang kahulugan.

Ang pananaliksik ay nag-control ng haba, anyo, at istruktura ng sagot habang isinasaayos ang eksperimento upang maiwasan ang pagkakaroon ng bias mula sa mga tagapagsuri dahil sa mas mahabang, mas maayos, o mas “machine-generated” na estilo ng mga sagot ng AI. Sa bahagi ng blind human evaluation, ang pananaliksik ay nagsaliw sa Gemini 2.5 Pro at ang Google NotebookLM na batay sa kaugnay na casebook. Dagdag pa rito, ang papel ay nagpalawak sa pagtataya gamit ang paraan na LLM-as-judge para sa mas maraming modelo.

Hindi lamang ang kapakinabangan ng AI ay “maraming datos” o “mabilis sumulat”. Sa partikular na eksperimentong ito, mas tila ito ay tumama sa ilang mga elemento na pinapahalagahan ng mga propesor ng batas sa pagtuturo ng maikling sagot: malinaw na istruktura, magkakaugnay na pag-iisip, direkta ang pagtugon sa tanong, at matatag na tono ng pagtuturo.

Ang mga propesor ng batas ay may mas malawak na karanasan at pagkakataon sa pang-araw-araw na pagtuturo, ngunit sa isang sitwasyon ng tanong at sagot na pinapalitan sa ilang sandali, ang mga pansamantalang sagot ng tao ay hindi laging ang pinakamahusay na bersyon. Ang AI naman ay may kakayahang maghati ng isang tanong sa ilang antas at magbigay ng sagot na malinaw, maaaring gamitin muli, at may mababang pagkakaiba-iba ng emosyon.

Nakakatulong na i-interpret ang pag-aaral na ito bilang "ang AI ay maaaring palitan ang mga propesor ng batas."

Malinaw ang hangganan ng papel: ito ay nagtataya sa mga maikling sagot na tanong at mga tanong sa office-hours sa loob ng kurso sa batas ng kontrata, hindi ang buong klase, hindi ang paggabay sa thesis, hindi ang pag-aaral ng katotohanan, hindi ang paghuhusga sa propesyonal na etika, at hindi ang kakayahang kumatawan sa tunay na kliyente.

Ang pagiging mahusay ng AI sa anonymous blind review ay hindi nangangahulugan na ito ay may buong kakayahan sa legal education. Maaari pa ring magkaroon ng hallucinations, masyadong matalino, o magbigay ng maling direksyon sa mga mag-aaral kapag kulang ang konteksto. Mas mahalaga pa, ang layunin ng legal education ay hindi lamang ang pagbibigay ng “magandang sagot” sa mga mag-aaral, kundi ang pagtuturo sa kanila kung paano isususpetsa, i-deconstruct, at i-reconstruct ang mga sagot.

Ito ang eksaktong lugar kung saan patuloy na hindi maipapalit ang propesor.

Ngunit nagbabala rin ang pag-aaral sa mga paaralan ng batas na huwag nang gamitin ang “sobrang kumplikado ng batas, ayaw ng AI magpasya” bilang kanilang komportableng zona. Sa karamihan sa mga pang-araw-araw na sitwasyon sa pagtuturo, nakakagawa na ang AI ng sapat na malinaw, sapat na may istruktura, at kahit mas pinapahalagahan ng mga propesor na kapwa-hanapbuhay na paliwanag.

Ang susunod na mahalagang tanong ay maaaring hindi na “Kaya ba ng AI sagutin ang mga tanong?”, kundi “Paano ng mga paaralan ng batas isama ang AI sa kanilang disenyo ng pagtuturo?” Maaari itong maging unang interpreter para sa paghahanda ng mga mag-aaral bago ang klase, tulay sa pagtugon sa mga katanungan pagkatapos ng klase, o gamitin upang pagsanayin ang mga mag-aaral na masuri ang mga kalidad ng iba’t ibang sagot. Ang tunay na may halagang klase ay maaaring magbago mula sa “pagtuturo ng guro ng mga sagot” patungo sa “paglalayong gabayan ng guro ang mga mag-aaral sa paghuhusga ng mga sagot.”

Ang pinakamalawak na bahagi ng pag-aaral ay ang pagpapakita na ang ilang kakayahan sa edukasyong legal na dating itinuturing na kakaunti ay napapalitan na ng mga bagong pagsusuri: pagsasalaysay ng batas, paghahambing ng mga kaso, pagbuo ng mga unang argumento, at pagtugon sa mga tanong sa klase—mga kakayahan na dating malalim na nakadepende sa personal na karanasan ng mga guro. Ngayon, ang AI ay nakakapagbigay ng mga bersyon na lubos na magagaling sa mga partikular na sitwasyon.

Ang halaga ng guro ay hindi magkakaroon ng pagkawala, ngunit magkakaroon ng paglipat pataas: mula sa pagbibigay ng sagot patungo sa pagdidisenyo ng mga tanong; mula sa pagpapaliwanag ng mga patakaran patungo sa pagpapalakas ng paghuhusga; mula sa pagtama sa mga kamalian patungo sa pagtutulong sa mga mag-aaral na makilala ang mga argumento na “mukhang tama ngunit patuloy na maaaring mali”.

Hindi ito masama para sa edukasyon sa batas. Sa kabuuan, maaari itong pilitin ang mga paaralan ng batas na muli pang harapin ang isang matagal nang itinatago na problema: kung ang AI ay maaaring magbigay ng malinaw na pansimulaing paliwanag, ano nga ba ang tunay na dapat ipagkaloob ng oras ng mga guro sa klase? Ang sagot ay maaaring ang mas kumplikadong mga katotohanan, mas totoong pagkakasundo, mas mahirap i-standardisahing mga pagpapasya sa halaga, at mas mahigpit na pagsasanay sa kritikal na pag-iisip.

Ang pagpanalo ng AI sa pagtugon sa mga tanong sa batas ng kontrata ay hindi nangangahulugan na nawala ang kahalagahan ng propesor. Ito ay nangangahulugan na ang kakulangan sa edukasyong batas ay nagpapalit: mula sa “sino ang makakasabi ng sagot,” patungo sa “sino ang makakapagpasya kung sapat ba ang sagot.”

Mga sanggunian

Ashe, S. (2026, Hunyo 1). Naipasok ng AI ang mga propesor ng batas sa pag-aaral ng batas ng Stanford. Stanford Law School.

Salinas, A., Frieders, C., Guha, N., Ma, S., Sanga, S., Nyarko, J., et al. Law Professors Prefer AI Over Peer Answers. Stanford Law School / liftlab, 2026.