Якщо штучний інтелект повернути до 1911 року і дати йому лише знання, які мав Ейнштейн, чи зможе AI у 1915 році запропонувати загальну теорію відносності?

Цей здається дивним тест від лауреата Нобелівської премії та співзасновника Google DeepMind Хасбісаса.
Справжнім тестом, який хотів поставити Хасбіс, було чи здатний ШІ лише з рівнем знань 1911 року вирішити актуальні тоді наукові та фізичні проблеми, самостійно запропонувавши нову інтерпретаційну рамку та здійснивши міркування, що виходять за межі навчальних матеріалів, а не просто повторювати відповіді.
Якщо це можливо, він вважає, що це стане потужним тестом для AGI.

Найбільш вдалим аспектом цієї ідеї є те, що історія науки вже розповідає нам, що відбулося; якщо ми зможемо добре контролювати вузли знань, у нас буде можливість порівнювати з історією та спостерігати, чи отримав модель висновки, що перевищують навчальні дані.
Nature у статті також надав цим тестам досить гучну назву:
Тест Ейнштейна.

Цікавіше те, що хтось дійсно взявся за це.
У березні цього року незалежний дослідник Майкл Хла змістив дату обмеження знань ще далі — до 1900 року, і навчив з нуля історичну мовну модель GPT-1900, намагаючись дозволити їй заново відкрити фотони, спеціальну та загальну теорії відносності.

У експерименті GPT-1900 вивів фрагмент, дуже схожий на статтю Ейнштейна 1905 року:
Світло може бути не неперервним, а складатися з багатьох окремих частин різної частоти.
Але в результаті цього експерименту не виникло «штучного інтелекту Ейнштейна».
Оскільки GPT-1900 не вдалося в більшості фізичних завдань, його вражаючі відповіді також сильно залежать від запитань і підказок, підготовлених людиною, навіть той, що стверджував, що залишився в світі знань 1900 року, не зміг повністю запобігти впливу сучасного ШІ.
Nature у найновішому дослідженні проаналізувала ці спроби і звернула увагу на питання, яке складніше за «чи правильно відповів ІШ»:
Чи здатна ШІ створювати справжні нові ідеї? І чого їй ще бракує, щоб стати вченим?

Заперти ШІ у 1900 році — і він породив тінь «світлових квантів»
22 мільярди токенів, щоб виростити «мозок 1900 року»
Майкл Хла назвав свій проект Machina Mirabilis.
Ця назва походить з “дивовижного року” Ейнштейна.
У 1905 році 26-річний Ейнштейн послідовно опублікував чотири статті, що змінили фізику, які стосувалися світлових квантів, броунівського руху, спеціальної теорії відносності та співвідношення маси та енергії.
Цей рік масштабного виробництва пізніше був названий «Annus Mirabilis» — «рік див».

Генерація зображень за допомогою ШІ
Хла хоче знати: якщо штучний інтелект матиме доступ до знань, які мали Ейнштейн у той час, чи зможе він також пережити свій «дивовижний момент»?
Для цього він використав навчальну рамку Andrej Karpathy nanochat, щоб навчити з нуля Transformer-мовну модель з 3,3 мільярдами параметрів і назвав її GPT-1900.
Основні матеріали для попереднього навчання моделі походять із книг і газет до 1900 року, загальним обсягом приблизно 22 мільярди токенів.

Щоб підвищити свої дослідницькі здібності, Hla зібрала понад 2600 історичних фізичних книг, журналів і наукових праць, включаючи «Оптику» Ньютона, а також праці Максвелла і Фарадея, сформувавши історичний фізичний корпус з приблизно 290 мільйонів токенів.
Крім того, Hla спеціально видалив дані, які могли витікати відповіді.
Якщо у документі зустрічаються сучасні поняття, такі як «Ейнштейн», «квантова механіка», «відносність» тощо, весь документ буде видалений. Передмови, пояснення та слова, які очевидно належать до періоду після 1900 року, також підлягають фільтрації.


Після всіх цих дій з’явився мозок, який теоретично «не знає фізики XX століття».
GPT-1900 дійшов до межі квантового світла, але цей іспит, можливо, вже був «протік»
Потім Хла задала GPT-1900 задачу про фотоефект, суть якої:
Чому при недостатньо високій частоті навіть найяскравіший світло не вибиває електрони, а підвищення частоти надає електронам більше енергії?
Одночасно Хла додав кілька ключових підказок:
Коли частота світла нижча за певний поріг, навіть найяскравіше світло не допоможе;
Після досягнення порогового значення збільшення яскравості в основному збільшує кількість викинутих електронів, тоді як збільшення частоти збільшує кінетичну енергію електронів;
Також було представлено класичні припущення того часу, щоб модель могла порівняти та визначити, де виникла проблема.
Ці суперечності, які спочатку були розв’язані завдяки поясненню Ейнштейна про світлові кванти:
Енергія світла передається порціями, причому енергія кожної порції залежить від частоти.
Хла хоче подивитися, на якому етапі зможе прийти GPT-1900?
Наполегливість завжди окупляється, GPT-1900 справді згадав такий опис у відповіді:
Світло може бути не неперервним, а складатися з багатьох окремих частин різної частоти.

Це дійсно дуже схоже на пояснення Ейнштейна про те, що енергія передається порціями, і Хла також описує це як «інтуїтивний блиск».
Але не поспішайте віддавати Нобелівську премію.
Хла визнав: GPT-1900 ще дуже далеко від «перевідкриття кванту світла».
Він не впорався з більшістю фізичних завдань, а ті відповіді, що здаються проривом, можуть бути просто результатом збирання моделлю правдоподібних фраз і не свідчать про справжнє надійне розуміння фізики.

Тим більше, протягом усього тестування Hla вже відфільтрував явища та вирішив суперечності; модель має лише визначити, яка гіпотеза може бути помилковою, і надати пояснення.
Це набагато простіше, ніж вченим самим шукати проблеми та визначати напрямки.
Ейнштейну тоді ніхто не виділяв ключове.
І ще складніше те, що місце, де він знаходиться, «1900 рік», не є повністю герметичним:
Хла хоча й провів очищення даних для цього «мозку 1900 року», але під час експерименту все ще користувався допомогою сучасних AI: Claude — за допомогою моделей Claude Sonnet 4, Claude 3 Haiku для генерації запитань і відповідей, а також за допомогою сучасних моделей для оцінки навчання з підсиленням.

△ Деталі можна переглянути за посиланням на репозиторій в кінці тексту
Це означає, що Хла, хоча й відфільтрувала контент, що стосується сучасних знань, ця «кімната 1900 року» також не була повністю ізольована від сучасних знань.
Сам експериментатор зізнався у журналі: участь сучасних моделей підірвала образ «повністю чистого» експерименту…
Зрештою, дослідникам важко довести, чи дивився GPT-1900 на квантову теорію світла.
Іншими словами, перед тим як оцінювати креативність ШІ, дослідникам потрібно спочатку довести одну річ: він не підглядав відповіді.
Якщо хоча б одна інформація про майбутнє потрапить у навчальний набір, «відкриття заново» може перетворитися на тайне відновлення знань.
Навіть якщо в майбутньому вдасться створити історичну модель з повністю нульовим забрудненням, залишається відкритим більш фундаментальний питання:
Чи достатньо просто відтворити правильну відповідь, щоб назвати ІШ вченим?
Відповідь дослідників — ні.
Після того як з’являються нові ідеї, наскільки далеко штучний інтелект від вчених?
Дослідник Google DeepMind Том Захаві у статті під назвою «LLM не можуть стрибати» розділив наукове міркування на три рівні.
Перший спосіб — це індукція: виведення закономірностей з великої кількості прикладів.
Другий спосіб — дедукція: виведення необхідних висновків з існуючих передумов.
Третій — абу́кція: у відповідь на незвичайне явище винайти причину чи пояснення, які раніше не існували.
Захаві вважає, що сучасні великі моделі дуже добре володіють індукцією й швидко підвищують здатність до дедукції, але ще не мають ейнштейнівського «абдуктивного стрибка».
Модель може продовжувати міркування вздовж вже прокладеної логічної ланцюжки, але важко запропонувати з нуля нову інтелектуальну рамку.

Заголовок все говорить
Не випадково, при дослідженні базової моделі орбіт планет Сендхілом Муллайнатаном теж спостерігалася та сама явище:
У встановлених орбітальних місіях планет модель передбачає все чітко; але при зміні сценарію вона не може застосувати ньютонівську механіку узагальнено. Вона схожа на тимчасове складання правил для кожного набору даних і не може розрізнити, які теорії справді правильні й варто перевіряти, а які лише випадково збігаються з поточними даними.
Це як учень, який запам’ятав відповіді на всі попередні екзаменаційні завдання, але ніколи не зрозумів базові принципи, що лежать у їх основі — тому, коли вчитель трохи змінює цифри, він вже не може вирішити завдання.

Йакоб Андерс з МІТ зазначив, що саме створення AI набору релятивістських тверджень, можливо, не є найскладнішою частиною; справжня складність полягає в тому, чи здатний він визначити, які теорії є правильними або принаймні варто перевірити експериментально.
На практиці генерація теорій — лише перший крок; лише розуміння, яка теорія варта вкладення часу, коштів і кар’єри, може зробити ІІ справжнім вченим.
Крім того, Андреас підкреслив:
Як визначити, чи варто глибше досліджувати ідею, і як оцінити її важливість; саме це є найбільшою межею між ШІ та людськими експертами.
Справжні наукові дослідження ніколи не полягають у вирішенні добре структурованих задач, а полягають у прийнятті рішень у хаосі.
Можливо, колись у майбутньому, з розвитком технологій, ШІ справді зможе пройти «тест Ейнштейна» і вивести результати рівня теорії відносності;
Але перед оголошенням «ШТУЧНИЙ ІНТЕЛЕКТ СТАВ ЕЙНШТЕЙНОМ», ШТУЧНИЙ ІНТЕЛЕКТ МАЄ ПОКАЗАТИ ВСІМ ЩОМЕНЬШЕ ОДНЕ:
Коли хтось інший не виділяє для нього ключові моменти, він все одно здатний сам знайти варто питати питання, оцінити його цінність та активно перевіряти та корегувати його.
Інакше він завжди буде лише повторювати вже відомі знання, а не бути справжнім вченим.

Посилання для довідки:
[1]https://www.nature.com/articles/d41586-026-02804-x?utm_source=x&utm_medium=social&utm_campaign=nature&linkId=63673104
[2]https://michaelhla.com/blog/machina-mirabilis.html
[3]https://github.com/michaelhla/gpt1900/blob/master/PROJ EC T_LOG.md#4-генерація-даних-інструкції
[4]https://www.tomzahavy.com/files/llms-cant-jump.pdf
[5]https://arxiv.org/abs/2507.06952
[6]https://x.com/Nature/status/2099077628900565498
Цей матеріал зі сторінки WeChat «Quantum Bit», автор: Вень Тін
