Новий документ пропонує кінцеве навчання для генеративних моделей за допомогою експлоративного моделювання

У 2012 році AlexNet завершила епоху перемогою, яка була вражаючою. До цього для розпізнавання зображень потрібно було вручну проектувати багатошарові процеси витягування ознак; AlexNet довела справу, яку пізніше багато разів підтверджували: поклавши всю задачу на навчання моделі від початку до кінця, майже завжди вдається обійти людські ретельно розроблені багатоетапні конвеєри.

Від класифікації зображень до виявлення об’єктів і до сегментації зображень — за кожним стрибком глибокого навчання стоїть одне й те саме: дайте йому навчитися цього за один раз.

Єдиним полем, яке завжди є винятком, є генеративні моделі.

Сьогодні найпотужніші та найбільш масштабовані генеративні моделі (незалежно від того, чи це авторегресивні чи дифузійні моделі) не є кінцем до кінця.

Під час навчання вони вчаться передбачати лише «один крок», а під час висновку їм потрібно повторно розгорнути цей крок сотні або тисячі разів, як у рекурентній мережі.

Для навчання та виведення використовуються різні методи вибірки. Ця розривна щілина викликає стару проблему: помилка на кожному кроці передається на наступний, вхід поступово відхиляється від розподілу, з яким стикалися під час навчання, і помилки накопичуються. У науковій літературі це називається «суперечливістю експозиції» (exposure bias).

Іншими словами, найважливіший досвід глибокого навчання — «кінцівка до кінцівки краще» — протягом багатьох років не зміг справді застосуватися до генеративних моделей.

А недавно стаття з UIUC та Гарвардського університету намагається додати останній шматочок пазлу.

Автор назвав цю нову парадигму Explorative Modeling (експлоративне моделювання), а модель скорочено позначається як XM. Її ідея проста до майже наївності, але веде до сміливого висновку: крім параметрів і даних, генеративні моделі мають ще третю вісь, яку можна масштабувати.

Веб-сайт проекту: https://explorative-modeling.github.io

Адреса статті: https://arxiv.org/abs/2607.27372

Репозиторій коду: https://github.com/alexiglad/XM

Щоб зрозуміти, що саме розв’язує ця стаття, спочатку потрібно зрозуміти, у чому полягає складність генерації.

У звичайному навчанні з вчителем (наприклад, класифікації) кожен вхід має майже завжди лише один правильний відповідь, і моделі достатньо навчитися однозначному відображенню.

Але генерація відрізняється. Коли ви просите модель «згенерувати собаку», правильна відповідь може мати нескінченну кількість варіантів. Ці допустимі вихідні дані — це окремі mode (піки) у розподілі даних. Генерація складна саме тому, що потрібно одночасно захопити всі ці mode.

Проблема полягає в тому, що при навчанні основних генеративних моделей використовується втрата реконструкції (наприклад, квадратична похибка). Коли вхідні дані випадковим чином співставляються з багатьма різними допустимими цілями, оптимальним розв’язком для втрати реконструкції буде середнє значення цих цілей. А для більшості даних середнє значення взагалі не лежить на многовиді даних, а потрапляє між кількома модами, не схоже ні на одну з них.

На малюнку зі статті це дуже наочні: модель, що прямує напряму з кінця до кінця без будь-яких трюків, спрогнозує три хмари розсіяних точок як одну точку посередині, фотографію собаки перетворить на нерозбірливу пляму, а речення — зведеться до повторення слова «the» до кінця. Це й є «розмиття режимів» (mode blurring), тобто оптимальний розв’язок — це саме той варіант, який найменше схожий на справжні дані.

Як сучасні моделі це обходять? Відповідь — розбити процес «генерації» на частини. Авторегресивні моделі передбачають один елемент за раз, дифузійні — видаляють трохи шуму за раз; кожен малий крок має мету, зведену майже до одного режиму, тому функція втрат реконструкції не намагається брати середнє значення.

Цей процес «розбиття та генерації» є причиною того, чому дифузія та авторегресія можуть створювати якісні зразки, але саме він заважає моделі працювати в режимі кінця до кінця.

Автор ставить ключове питання: у генеративній моделі є лише дві речі, які можна розібрати — як генерувати та як навчати.

Якщо розбиття генерації знищує кінцевий результат, чому б не розбити навчання?

Explorative Modeling розбирає сам навчальний цикл.

Його механізм можна описати одним реченням: на кожному кроці навчання модель більше не генерує лише один зразок, щоб намагатися досягти мети, а генерує K кандидатів, а потім для навчання та зворотного поширення градієнта вибирає лише той, що найближчий до реальних даних. У статті це реалізовано у вигляді циклу for з 3–5 рядків — настільки просто, що викликає підозри (Алгоритм 1).

Чому це вирішує невизначеність режиму?

Змініть сценарій життя: вгадайте, куди впадуть дартси. Якщо вам дозволено зробити лише один прогноз, ваша оптимальна стратегія — вгадати середнє положення всіх дартсів, але це часто місце, де взагалі немає багато дартсів. Однак, якщо вам дозволено зробити K спроб, і зараховується лише найближча з них, оптимальна стратегія миттєво змінюється: ви розподілите свої спроби, щоб кожна з них охоплювала різну групу місць падіння.

Те саме стосується й моделі. Коли їй дозволяється дослідити K кандидатів, різні вхідні шуми кожен «займають» свій власний режим, а не збираються всі в центрі для усереднення. Скільки разів відбувається дослідження, стільки режимів модель зможе стабільно захопити.

Автор надав цій довгий час ігнорованій здатності назву: генеративна виразність (generative expressivity), і зазначив, що вона визначається самою метою навчання, і незалежно від того, наскільки великою буде кількість параметрів і даних, вона не зросте сама по собі.

Це також пояснює дивне явище, яке вже давно спостерігали в галузі: чому найкращі сьогоднішні моделі так сильно залежать від технології «керування» (guidance).

Так зване класифікатор-вільне керування суттєво полягає у відштовхуванні передбачення від цього розмитого середнього значення. Але якщо модель сама по собі не розмита, навіщо її відштовхувати? Керування корисне саме через залишки хвороби, що залишилися від розмитості моди.

Стаття також наводить два напрямки дослідження: Forward і Reverse. Перший фіксує реальну мету і шукає найближчий варіант у власних генераціях, що спрямовано на «повноту» (покриття всіх режимів); другий фіксує генерацію і шукає найближчий варіант у реальних даних, що спрямовано на «точність» і майже не додає обчислювальних витрат, але може призвести до зменшення до декількох режимів. Вони доповнюють один одного і можуть використовуватися разом.

Найбільш значущим висновком цієї статті є те, що «дослідження» було підтверджено як справжня вісь масштабування.

Автор застосував дослідження до моделей дифузії/потоку, моделей Jumpy та маскованих дифузійних мовних моделей і однозначно спостерігав поступове покращення продуктивності на трьох модальностях: зображеннях, відео та мові. Ще важливіше — вигода зростає з масштабом: чим більше масштаб, тим сильніше ефект.

Цифри, наведені в статті: із зростанням обсягу даних вигода від дослідження зростає з 7% до 36%; із збільшенням розміру моделі — з 13% до 23%; коли обчислювальні потужності збільшуються втричі, ефективність зростає більше ніж у два рази.

Щодо ефективності, було досягнуто збільшення ефективності FLOP у 4,1 рази, ефективності зразків у 6,2 рази та ефективності параметрів на 47%. У генерації зображень він підняв найкращу наразі рецептуру RAE до FID 1,43 без керування на ImageNet, наближаючись до найкращих показників у галузі.

Велика модель, яка досліджує 5 режимів, навіть перевершує XLarge-модель з на 47% більшими параметрами, але без дослідження.

Цей напрямок має велике значення. Автор пояснює: у малих масштабах модель в основному обмежується параметрами та даними, а генеративна виразність ще не є обмеженням; але коли параметри та дані збільшуються до рівня, коли вони більше не є обмеженням, генеративна виразність стає все більш очевидним справжнім обмеженням. І саме це є тим, що можна безпосередньо масштабувати.

Враховуючи, що поточне навчання справжніх базових моделей вимагає обчислювальних ресурсів, які приблизно на чотири порядки перевищують найбільші експерименти, описані в цій статті, автори вважають, що наведені в статті цифри, ймовірно, є лише нижньою межею вигоди при більшому масштабі.

Що відбудеться, якщо винести дослідження на край? Відповідь повертається до початкової загадки: генеративні моделі нарешті стали енд-ту-енд.

Автор використовує XM як самостійну енд-ту-енд модель для завдань керування роботами. У задачах імітації поведінки (Behavior Cloning) їхня експлоративна політика досягає та навіть перевищує результати Diffusion Policy, які вимагають 100 прямих проходів, за допомогою лише одного прямого проходу; у моделюванні світу з орієнтацією на ціль, експлоративна модель світу досягає кращого середнього результату, використовуючи від 16 до 256 разів менше обчислювальних ресурсів, ніж Diffuser.

Джерело цієї різниці очевидне: дифузійні моделі обмінюють виразність на генерацію за сотні кроків під час виведення, тоді як енд-ту-енд XM переносить цю вартість на дослідження під час навчання, тому виведення потребує лише одного прямого проходу. «Обробка багатьох режимів» — це та сама справа: або повільно розбирати її під час виведення, або одноразово дослідити її під час навчання; у цій статті обрано другий підхід.

Перший автор цієї статті Алексі Гледстоун не є незнайомцем. Ще в липні 2025 року його робота Energy-Based Transformers (EBT) викликала значний інтерес у соціальних мережах.

Ця робота стверджує, що вперше «перевершила» криві масштабування стандартного прямого Transformer у кількох вимірах і намагається поширити «мислення системи 2» на будь-який режим. Дивіться матеріал MachineHeart: «Нова парадигма прийшла! Нова енергетична модель зламала межі масштабування Transformer++, швидкість масштабування під час навчання зросла на 35%».

Експлоративне моделювання узгоджується з його звичним підходом: обидва підходи ставлять запитання — «чи може модель за допомогою певного пошуку чи дослідження зробити те, чого не може зробити за один прямий прохід». Ця стаття базується на іншій теорії, розробленій ним та його співавторами (Йілун Ду та Хен Цзі) — Mode Forcing. У статті відкрито зазначається, що завдяки цій теорії більшість результатів XM спочатку були передбачені теоретично, а потім підтверджені експериментально — що є рідкістю в галузі глибокого навчання, де прийнято «спочатку запускати експерименти, а потім пояснювати результати».

Автор також відверто визнав обмеження: ідея best-of-K сама по собі не є новою — раніше її багато разів використовували; їхнім справжнім внеском є розуміння того, що цей простий цикл насправді робить: він без розбиття процесу генерації безпосередньо збільшує виразність генерації.

Крім того, авторегресивні мовні моделі наразі залишаються найскладнішою проблемою, а чисті енд-ту-енд Forward XM ще занадто витратні для дуже багатомодальних розподілів (наприклад, генерація зображень), що залишається для подальших досліджень.

Протягом багатьох років ми звикли керувати генеративними моделями за допомогою двох регуляторів: робити їх більшими та годувати більшою кількістю даних.

Третій регулятор, запропонований у цій статті, досить простий: дати моделі кілька спроб і залишити лише найкращу. Але якщо виявлені тенденції вірні, то зі збільшенням масштабу перші два регулятори рано чи пізно досягнуть своєї межі, тоді як третій лише починається.

Посилання для довідки

https://x.com/AlexiGlad/status/2083230922196107288

Цей матеріал надійшов із微信-каналу «Machine Heart» (ID: almosthuman2014), автор: Panda