Дослідник OpenAI стверджує, що провідні лабораторії ШІ більше не читають наукові статті

Люди з передової лабораторії майже не читають наукових статей?

Дослідник OpenAI одним реченням охопив три провідні конференції: занадто багато преувеличення та підробок!

Причиною стало наукове дослідження ICLR, ефект якого був настільки вражаючим, що здавався незрозумілим; після аналізу користувачі мережі виявили його «секрет».

Чи так «еволюціонували» публікації статей на провідних конференціях?

Спочатку перевіряєш, чи є код відкритим, потім — чи не приховують у методології чогось підступного, і лише на третє місце — чи підтверджують отримані результати основний висновок. Скільки статей з провідних конференцій витримають такий ланцюжок запитань?

Справді хтось це зробив.

У липні цього року SAI, спільно заснована асистентом професора комп’ютерних наук і наук про дані Чиказького університету Тань Ченхао, оголосила про масштабний «експериментальний рецензування».

Вони вибрали всі 168 усних статей ICML 2026.

У цьому році ICML отримав 23 918 статей, і лише 168 з них отримали право на усні доповіді, що становить приблизно 0,7%.

Іншими словами, SAI перевіряє вже найкращі роботи, відібрані з понад 20 000 підтверджень.

Крім звичайного читання статей, проектування експериментів і аналізу результатів, як це роблять традиційні рецензенти, SAI Review завантажує код, моделі та дані, налаштовує середовище, запускає експерименти та порівнює отримані результати з оригінальним текстом статті пункт за пунктом.

SAI перевірила всі 168 усних доповідей, з яких лише 104 мали відкритий код статей, і в кінцевому підсумку було повністю відтворено 105.

З них лише 34 статті відтворили більше ніж 40% тверджень; лише 8 статей мали частоту відтворення понад 80%.

Незалежно від того, чи містить кожна стаття принаймні 1, 3 чи 5 перевіряємих тверджень, медіана балів за відтворюваність завжди становить 28–30%, а загальний розподіл майже не змінюється.

Після виключення експериментів, які не були запущені, перервані рано або перевищили можливості апаратного забезпечення, медіана показників відтворення залишається лише на рівні 42%–50%; коли кожна стаття містить щонайменше три перевіряні твердження, медіана стабілізується на рівні 42%.

Сталкивалися з найпоширенішими проблемами при відтворенні: код не працює, відсутні файли, опис неповний, залежності пошкоджені або результати виконання коду не збігаються з результатами у статті.

Ще чотири статті залежать від моделей, які вже виведені з експлуатації. Пізніші дослідники, навіть якщо були б готові витратити гроші та час, не зможуть отримати ті самі результати.

SAI також навів два більш конкретні приклади.

У статті висувалася як основна перевага ідея «навчання лише 0,77% параметрів базової моделі», але насправді опубліковані чекпоінти були навчені на 6,31% параметрів — майже в 8 разів більше, ніж оголошувалося.

Інша стаття демонструє таблицю надійності, оцінену моделлю-суддею, але у відкритому коді немає цієї моделі-судді, а також немає сценаріїв, які б могли розрахувати цифри з таблиці.

Результати відтворення SAI можна назвати досить поганими.

Ще гірше те, що тут виявлені проблеми — це лише ті, що «можуть бути виявлені».

Ті статті, які не мають коду, вважаються «незламними».

Навіть якщо код повністю відкритий, перевірка наукової статті вимагає колосальних часу, зусиль і коштів, а результат все одно виходить гіршим, ніж очікувалося — важко уявити, наскільки це може бути розчаровуючим.

За оцінкою SAI на основі публічних цін на запити Google Cloud, вартість повного повторного запуску однієї статті ICML Oral становить медіану близько 8900 доларів США. Серед 105 статей 17 коштують понад 100 000 доларів США, а найдорожча — майже 2,2 мільйона доларів США.

Чим більше стаття залежить від великих обчислювальних ресурсів, тим складніше її незалежно відтворити.

Без коду інші не можуть перевірити; навіть з кодом може не знайтися тих, хто зможе собі це дозволити.

Отже, стаття з проблемами може успішно пройти рецензування, отримати цитування, потім бути включена до резюме, що призведе до прийняття на навчання, посади викладача або роботи у великої лабораторії.

Іноді хтось виявляє не збіг результатів, зустрічі рідко переглядаються знову, а статті не завжди відкликаються.

Ось чому в коментарях кажуть: «Погане дослідження приносить прибуток, але майже не має витрат».

У сфері великих моделей дійсно багато справді важливих досягнень більше не з’являються у вигляді наукових статей.

Як інженер OpenAI, який стоїть на передовій галузі, таке відчуття зрозуміле. Після всього, наявність більшої обчислювальної потужності, швидшого зворотного зв’язку в експериментах та великої кількості непублічних внутрішніх результатів дає підстави «не читати наукові статті».

Але сказати це так, звучить трохи дивно.

Один коментарій саркастично зазначив, що люди з технологічних компаній діють як «після виходу на сушу витягують драбину»: вони забирають дослідників з університетів, будуючи на публічно накопичених досягненнях академічної громади, викупляючи таланти та GPU за вищими цінами, все менше піддаючи свої роботи рецензуванню колегами, а потім раптово оголошують, що академічні дослідження — «це переважно шахрайство».

Трохи жорстко, але це має сенс.

Люди з цих передових лабораторій можуть «не читати статті», але тим, хто хоче потрапити, все ще потрібно спочатку опублікувати статтю.

Для студентів і молодих дослідників без досвіду в галузі наукові статті на провідних конференціях залишаються найбільш прямим підтвердженням дослідницьких здібностей.

Подача заявки на докторантуру, пошук викладацької посади та вступ до передових лабораторій, таких як OpenAI, залежать від публікацій, які отримують увагу.

Люди з промисловості, потрапивши до великих лабораторій, зневажають наукові статті, але все ще використовують кількість публікацій, рівень конференцій та показники цитувань для відбору тих, хто за дверима.

Дисертація потрапила в складне становище: її достовірність у поширенні знань під питанням, але її цінність у боротьбі за таланти повністю не зникла.

Тож фраза «Велика лабораторія вже не читає статті» звучить трохи вищезано й надмірно самовпевнено. Бо ті, хто справді має право не читати статті, зазвичай вже перейшли через той поріг завдяки самим статтям.

Звичайно, не всі студенти є добре продуманими академічними злодіями.

Один дослідник з вищого навчального закладу жартома сказав, що був би радий, якби його студенти вже вміли писати статті з надмірними твердженнями або навіть фальшиві.

Хтось прагне стати академічним шахраєм, а хтось ще бореться з LaTeX.

Посилання для довідки:

https://x.com/MathewShen42/status/2084465434506768867

https://x.com/kellerjordan0/status/2084721463089902074

https://sai.science/blog/how-much-science-is-verifiable

https://x.com/mengyer/status/2085134204786921886

Цей матеріал зі сторінки WeChat «Machine Heart» (ID: almosthuman2014), автор: Machine Heart