Une étude de Stanford révèle que les « avocats » IA surpassent les professeurs en raisonnement juridique

Titre : Une étude révèle que les « avocats » IA surpassent les professeurs de droit en raisonnement juridique — un avertissement pour les entreprises et les régulateurs du crypto Une nouvelle étude menée par Stanford révèle que les modèles linguistiques modernes à grande échelle (LLM) non seulement répondent bien aux questions juridiques — les professeurs de droit ont préféré les réponses de l’IA à celles rédigées par leurs pairs dans environ trois cas sur quatre. Ce résultat soulève de nouvelles questions pour les industries qui dépendent d’un raisonnement juridique rapide et précis, notamment les entreprises de crypto qui doivent naviguer dans une réglementation complexe et en constante évolution. Comment l’essai a été mené - Seize professeurs issus de 14 écoles de droit américaines (notamment Stanford, Yale, NYU, Chicago, Georgetown, UCLA et UVA) ont rédigé 40 prompts de droit des contrats couvrant la doctrine, la mémoire des arrêts, des hypothèses et des questions de politique. Les chercheurs ont présenté le droit comme un test plus exigeant du jugement que de nombreux domaines à « vérité unique », car il exige d’évaluer l’ambiguïté et d’atteindre des conclusions défendables. - Dans 2 918 comparaisons par paires en aveugle, les professeurs ont choisi quelle réponse ils préféreraient donner à un étudiant : une rédigée par un enseignant humain ou une produite par un LLM. Principaux résultats - Gemini 2.5 Pro de Google a été préférée dans 75,92 % de ses confrontations contre des enseignants humains ; NotebookLM de Google a remporté 74,75 % de ses confrontations. Globalement, les réponses de l’IA ont été privilégiées dans environ trois cas sur quatre. - Les modèles IA ont surpassé les enseignants humains sur plusieurs types de questions : mémoire (arrêts, codes, doctrine), hypothèses et analyse politique. - Pour éliminer tout biais stylistique, les chercheurs ont analysé des caractéristiques lexico-syntactiques — longueur, structure, nuance, ancrages juridiques, ton, clarté et aides pédagogiques — et ont constaté que ces caractéristiques superficielles n’expliquaient pas entièrement l’avantage des LLM. - Les réponses de l’IA ont également été signalées comme nuisibles bien moins souvent que celles des professeurs dans cette étude : Gemini 2.5 Pro à 3,41 % de nocivité, NotebookLM à 3,64 %, contre 12,06 % pour les enseignants humains. - Dans un examen plus large des modèles, Claude Opus 4.7 d’Anthropic s’est classé en première position, suivi par ChatGPT 5.4 d’OpenAI et Gemini 2.5 Pro. Chaque modèle IA évalué a surpassé en moyenne les enseignants humains. Ce que les chercheurs disent (et mettent en garde) - Les auteurs notent que le niveau d’accord observé entre les professeurs a dépassé ce qui serait attendu si les choix avaient été aléatoires, suggérant que les réponses des LLM correspondent à des critères disciplinaires communs plutôt qu’à des goûts individuels. - Mais ils mettent également en garde contre le fait que l’étude n’a pas mesuré si les réponses de l’IA correspondaient aux préférences pédagogiques individuelles des professeurs. Il est possible que les réponses des LLM soient « généralement acceptables » sans être adaptées à la méthode spécifique d’un enseignant. Contexte et risques réels - L’étude intervient alors que les tribunaux, les cabinets d’avocats et les écoles de droit adoptent de plus en plus l’IA. La Cour supérieure de Los Angeles teste des outils IA pour aider les juges à gérer leur charge de travail, et les écoles de droit intègrent désormais la formation à l’IA dans leurs programmes. - Toutefois, la technologie reste imparfaite. Les cabinets d’avocats continuent de subir des conséquences réelles dues aux hallucinations de l’IA : en avril, Sullivan & Cromwell a reconnu devant une cour de faillite américaine qu’un dépôt récent contenait des citations falsifiées générées par l’IA. Pourquoi les lecteurs du crypto devraient s’en préoccuper - Les entreprises de crypto doivent faire face à un ensemble complexe de questions contractuelles, de conformité et réglementaires qui exigent un raisonnement juridique rapide — depuis la classification des jetons et le droit des valeurs mobilières jusqu’aux litiges liés aux contrats intelligents et aux obligations AML. Si les LLM peuvent produire de manière fiable des explications juridiques de haute qualité et rédiger des documents, ils pourraient transformer rapidement le fonctionnement des équipes juridiques dans l’industrie du crypto. - Avantages : rédaction et revue plus rapides des contrats, mise à l’échelle des conseils de conformité, accès à moindre coût au raisonnement juridique pour les startups et les DAO. - Risques : hallucinations, citations inexactes et réponses « suffisamment bonnes » mais non adaptées aux nuances juridiques locales ou à la tolérance au risque d’une organisation. Un mauvais conseil juridique peut avoir des conséquences coûteuses dans des domaines fortement réglementés ou sensibles aux précédents. Conclusion L’expérience menée par Stanford suggère que les LLM modernes ne sont pas simplement des curiosités — ils sont déjà compétitifs, et souvent préférés, aux enseignants humains sur de nombreuses tâches de raisonnement juridique. Pour les entreprises de crypto, les régulateurs et les avocats, cela signifie un gain d’efficacité considérable, mais aussi un besoin renouvelé de vérification, de traçabilité et de mesures de sécurité avant d’intégrer des raisonnements juridiques générés par l’IA dans la pratique.