Дослідження Стэнфордського університету: ШІ перевершив професорів з права договорів у QA з права договорів

iconMetaEra
Поділитися
AI summary iconКороткий зміст

Недостатність правової освіти зміщує акцент з «надання відповідей» на «оцінку відповідей».

У лекційній аудиторії юридичного факультету найбільше обговорюються легенди про сократівське запитання. Довгий час основою юридичної освіти вважалася майстерність, що сильно залежить від людського досвіду: пошук меж у неоднозначності, зважування аргументів протилежних позицій та розвиток здатності приймати рішення у питаннях, які, здається, не мають єдиного відповіді.

Але останнє емпіричне дослідження Стенфордської юридичної школи зупиняє цю уяву.

Це дослідження не полягає в тому, щоб надати ШІ можливість здавати іспити в юридичній школі або писати повні юридичні консультації. Воно вивчає більш конкретну та більш близьку до щоденного навчання сценарію: чи отримають короткі відповіді ШІ, надані студентам першого курсу юридичної школи після лекції з договірного права або під час часу консультацій, більше схвалення від інших професорів порівняно з відповідями, написаними професорами юридичного факультету?

Відповідь досить вибухова.

1. 75,33% відсотків перемог: AI отримав більше симпатій професорів у анонімному сліпому оцінюванні

Дослідження під назвою «Law Professors Prefer AI Over Peer Answers», яке продовжується професором Стенфордської юридичної школи Джуліаном Ньярко та його лабораторією Legal Innovation through Frontier Technology Lab (liftlab), також включає в себе вчених з Єльського, Нью-Йоркського університетів, Чиказького університету та інших університетів.

Дослідницька команда запрошила 16 професорів американського права договорів, щоб розробити 40代表性 питань, які студенти часто ставлять під час office hours у курсі з договорного права для першокурсників. Потім людські професори та великі мовні моделі відповіли на ці питання, після чого професори анонімно порівнювали відповіді, не знаючи походження відповідей.

Результати показали, що у 2 918 анонімних сліпих порівняннях середня частка перемог відповідей великих мовних моделей становила 75,33%. Доля відповідей, визнаних навчально вводять в оману, становила 12,06% для відповідей людських викладачів і 3,53% для відповідей ШІ.

Цей набір даних викликає сильний вплив не тому, що ШІ правильно відповів на кілька поняттєвих питань з права. Раніше багато оцінок ШІ зосереджувалися на чітко визначених фактах: правильно або неправильно. Але найскладніша частина юридичної освіти полягає саме в тому, щоб пояснити правила, застосувати їх та провести аналіз між двома, на перший погляд, обґрунтованими аргументами. Цей експеримент перевіряє, чи здатний ШІ дотримуватися прихованих і жорстких професійних стандартів, якими юристи оцінюють якість аргументації.

Друге: Зіткнення в сірих зонах: ІІ перемагає завдяки чіткості, структурі та навчальному підході

Ці питання вимагають від відповідачів розуміння конкретних фактів, визнання труднощів учнів, застосування абстрактних правових норм до нових ситуацій та пояснення їх у спосіб, що підходить для навчання.

Саме це є людською перевагою, яку довгий час найбільше підкреслювали у юридичній освіті: не надавання стандартних відповідей, а навчання студентів створювати аналітичні шляхи. Тому перемога ІШ у таких сценаріях має неабияке значення.

Дослідницька команда під час проектування експерименту свідомо контролювала довжину, формат і структуру відповідей, щоб уникнути упередженості рецензентів, які могли б віддавати перевагу відповідям від ШІ лише через їхню більшу довжину, більшу акуратність або стиль, схожий на «машинно згенерований текст». На етапі сліпої оцінки людськими експертами дослідження порівнювало Gemini 2.5 Pro та Google NotebookLM, заснований на відповідних casebook. У статті також було проведено розширене оцінювання додаткових моделей за допомогою методу LLM-as-judge.

Переваги ШІ полягають не лише у «великому обсязі даних» або «швидкому написанні». У цьому конкретному експерименті він, схоже, задовольнив кілька ключових елементів, яких прагнуть викладачі права під час коротких відповідей: чітка структура, логічна аргументація, пряме відповідання на питання та стабільний навчальний тон.

Юридичні професори, звичайно, мають більше досвіду й розсудливості у повсякденному навчанні, але в сценарії відповідей, стиснутих до кількох сотень слів, імпровізовані відповіді людей не завжди є найкращими. AI ж саме добре розбиває питання на кілька рівнів і виводить відповідь чітко, повторно використовувано та з мінімальними емоційними коливаннями.

Три: не заміна професора, а зміна акцентів у роботі професора

Звичайно, розуміти це дослідження як те, що «ШІ може замінити професорів права», все ще є надмірним тлумаченням.

Межі дослідження дуже чіткі: воно оцінює короткі відповіді на запитання студентів у форматі office-hours у курсі договорного права, а не повний навчальний процес, не керівництво дипломними роботами, не збір фактів, не оцінку професійної етики та не здатність представляти реальних клієнтів.

Видатні результати ШІ в анонімному сліпому оцінюванні не означають, що він володіє всіма необхідними компетенціями для юридичної освіти. Він все ще може створювати ілюзії, проявляти надмірну впевненість або вводити студентів в оману при відсутності контексту. Ще важливіше те, що мета юридичної освіти — не просто навчити студентів «отримувати належну відповідь», а навчити їх сумніватися у відповідях, розбирати їх і відновлювати.

Саме це є тим, де професори все ще незамінні.

Але це дослідження також нагадує юридичним школам, що більше не можна просто використовувати «закон надто складний, AI не розуміє оцінки» як зону комфорту. Принаймні в деяких повсякденних навчальних сценаріях AI вже здатний генерувати достатньо чіткі, структуровані та навіть більш улюблені професорами-колегами пояснення.

Майбутнім ключовим питанням, можливо, не буде «чи може ШІ відповідати на запитання», а «як юридичним школам інтегрувати ШІ в навчальний план». Він може стати першим рівнем пояснень для студентів перед заняттями, допоміжним інструментом для відповідей на запитання після занять, а також засобом для навчання студентів розрізняти сильні та слабкі сторони різних відповідей. Справді цінні заняття можуть зміститися з «викладач подає відповіді» на «викладач керує студентами у судовому розгляді відповідей».

Четверте: правова освіта переходить від відповідей до суджень

Найцікавішим аспектом цього дослідження є те, що воно розкриває, що деякі здібності, раніше вважані рідкісними в юридичній освіті — інтерпретація правил, аналогія справ, початкове аргументування, відповіді на питання на заняттях — раніше сильно залежали від особистого досвіду викладачів. Зараз ШІ здатний стабільно генерувати досить якісні версії цих елементів у певних сценаріях.

Цінність викладача таким чином не зникне, але буде змушена зміститися вгору: від надання відповідей до створення питань; від пояснення правил до навчання судженню; від виправлення помилок до допомоги студентам у виявленні аргументів, які «здаються правильними, але все ще підозрілими».

Це, можливо, не є поганим для юридичної освіти. Навпаки, це може змусити юридичні школи знову звернути увагу на довгий час прихований питання: якщо ШІ може надавати чіткі початкові пояснення, то що саме в класі варте того, щоб людські викладачі вкладали у це свій час? Відповіддю, можливо, є більш складні факти, більш реальні конфлікти, важчі для стандартизації оцінки цінностей та більш суворе критичне навчання.

Те, що ШІ виграв у професорі на консультації зі звичайного права, не означає, що професор втратив значення. Це означає, що рідкісність правової освіти зміщується: від «хто може назвати відповідь» до «хто може визначити, чи достатньо хороша відповідь».

Джерела

Аш, С. (2026, 1 червня). Штучний інтелект перевершив професорів права у дослідженні Стенфордської школи права. Стенфордська школа права.

Салінас, А., Фрідерс, К., Гуфа, Н., Ма, С., Санга, С., Ньярко, Дж. та ін. Професори права віддають перевагу ШІ перед відповідями колег. Школа права Стэнфорда / liftlab, 2026.

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.