Исследование Стэнфорда показало, что ИИ-«юристы» превосходят профессоров в правовом мышлении

Заголовок: Исследование показывает, что «юристы» на ИИ превосходят профессоров права в правовом анализе — тревожный звонок для криптовалютных компаний и регуляторов Новое исследование, возглавляемое Стэнфордом, показывает, что современные крупные языковые модели (LLM) не только хорошо отвечают на правовые вопросы — профессора права предпочитали ответы ИИ ответам своих коллег в трех четвертях случаев. Этот результат поднимает новые вопросы для отраслей, зависящих от быстрого и точного правового анализа, включая криптовалютные компании, сталкивающиеся со сложными и динамично меняющимися нормами. Как проводился тест: - Шестнадцать профессоров из 14 американских юридических школ (включая Стэнфорд, Йель, Нью-Йоркский университет, Чикаго, Джорджтаун, UCLA и UVA) подготовили 40 вопросов по договорному праву, охватывающих доктрину, воспроизведение прецедентов, гипотетические ситуации и вопросы политики. Исследователи рассматривали право как более сложный тест суждения по сравнению с областями, имеющими «единственную истину», поскольку оно требует оценки неоднозначности и формулирования обоснованных выводов. - В 2 918 слепых парных сравнениях профессора выбирали, какой ответ они предпочли бы дать студенту: написанный человеком-преподавателем или сгенерированный LLM. Основные выводы: - Google Gemini 2.5 Pro был предпочтительнее в 75,92% сравнений с человеческими преподавателями; Google NotebookLM выиграл 74,75% своих сравнений. В целом, ответы ИИ были предпочтительнее примерно в трех из четырех случаев. - Модели ИИ превзошли человеческих преподавателей по различным типам вопросов: воспроизведение (прецеденты, код, доктрина), гипотетические ситуации и анализ политики. - Чтобы исключить предвзятость из-за стиля, исследователи проанализировали лексико-синтаксические характеристики — длину, структуру, нюансы, правовые опоры, тон, ясность и педагогические подсказки — и обнаружили, что эти поверхностные признаки не объясняют полностью преимущество LLM. - Ответы ИИ также реже считались вредными по сравнению с ответами профессоров в этом исследовании: Gemini 2.5 Pro — 3,41% вредных ответов, NotebookLM — 3,64%, в то время как у человеческих преподавателей — 12,06%. - В более широком сравнении моделей Anthropic Claude Opus 4.7 занял первое место, за ним следовали ChatGPT 5.4 от OpenAI и Gemini 2.5 Pro. Каждая оцененная модель ИИ в среднем превзошла человеческих преподавателей. Что говорят исследователи (и предостерегают): - Авторы отмечают, что согласованность между профессорами превысила то, что можно было бы ожидать при случайном выборе, что указывает на то, что ответы LLM соответствуют общепринятым дисциплинарным критериям, а не индивидуальным предпочтениям. - Однако они также предупреждают, что исследование не измеряло, соответствуют ли ответы ИИ индивидуальным предпочтениям каждого профессора. Возможно, ответы LLM являются «в целом приемлемыми», но не адаптированы к конкретному подходу преподавателя. Реальный контекст и риски: - Исследование появляется на фоне растущего внедрения ИИ судами, юридическими фирмами и юридическими факультетами. Суд высшей инстанции Лос-Анджелеса тестирует инструменты ИИ для помощи судьям в управлении нагрузкой дел, а юридические факультеты включают обучение ИИ в учебные программы. - Тем не менее технология остается несовершенной. Юридические фирмы продолжают сталкиваться с реальными последствиями от галлюцинаций ИИ: в апреле Sullivan & Cromwell признала перед судом по делам о банкротстве США, что недавно поданный документ содержал фальшивые ссылки, сгенерированные ИИ. Почему это важно для криптовалютной аудитории: - Криптовалютные компании сталкиваются с множеством вопросов по договорам, соблюдению норм и регулированию, требующих своевременного правового анализа — от классификации токенов и законодательства о ценных бумагах до споров по смарт-контрактам и обязательств по борьбе с отмыванием денег. Если LLM способны надежно генерировать качественные правовые объяснения и составлять документы, это может кардинально изменить работу юридических команд в криптоиндустрии. - Преимущества: более быстрое составление и проверка договоров, масштабирование консультаций по соблюдению норм и снижение стоимости доступа к правовому анализу для стартапов и DAO. - Риски: галлюцинации, неточные ссылки и ответы, которые «достаточно хороши», но не учитывают юрисдикционные нюансы или уровень допустимого риска организации. Плохая правовая консультация может быть дорогостоящей в высоко регулируемых или чувствительных к прецедентам областях. Вывод: Эксперимент, возглавляемый Стэнфордом, показывает, что современные LLM — это не просто развлечение: они уже конкурируют с человеческими преподавателями права и часто предпочтительнее при многих задачах правового анализа. Для криптовалютных компаний, регуляторов и юристов это означает огромный потенциал повышения эффективности, но также и необходимость усиленной проверки, отслеживания происхождения и внедрения защитных мер до применения правовых выводов, сгенерированных ИИ.