Бувший дослідник ядра в OpenAI: Дослідження людино-штучного інтелекту може бути замінене протягом двох років

Ой, чули?

У людей-дослідників залишилося не більше двох років добрих днів.

Через два роки дослідження ШІ людьми будуть такими ж звичними, як гра в шахи сьогодні.

Ти, звичайно, все ще можеш робити це, але взагалі нікому це не цікаво, як ти це робиш.

Це останній спірний твердження Джеррі Творека, колишнього лідера моделі висновків OpenAI.

Він приєднався до OpenAI у 2019 році і залишився там на сім років. Коли підсилене навчання не вдавалося масштабувати, саме він уперто тримався за це і вивів це на новий рівень; саме під його керівництвом були створені дві потужні моделі — o1 та o3.

«Ми хочемо створити AGI.» Це був весь план, який Ілля представив на загальній зустрічі, коли приєднався до OpenAI у 2019 році. Сім років потому він вирішив розпочати власну справу.

Ще жахливіше те, що це не він один так каже. Зараз найпопулярнішим внутрішнім жартом серед дослідників ШІ є такий:

У нас залишилося лише кілька днів роботи — поки ще можна працювати, працюйте, а потім всі разом вийдемо на пенсію і відпочинемо.

Всі переказують це як чорний гумор. Але кожен, хто розповідає жарт, добре це розуміє.

Ця жартівливість, напевно, і є реальністю.

А це ще тільки закуска. Упродовж усієї інтерв’ю він один за одним випускав такі заяви:

• Агент дійсно креативний, але це надзвичайно погана, масова креативність — ідеї різноманітні, але загалом жахливі.
• Світом справжніх людей, які від тренування до розгортання впровадили передову модель, може бути лише тридцять–п’ятдесят, а всі інші просто допомагають їм.
• Припускати, що Transformer — це оптимальний розв’язок, майже неможливо
• За ті сім років у OpenAI справжніх спроб замінити базову архітектуру було лише три-чотири.
• Світ не обов’язково має обертатися завдяки нашій роботі — цей передумовий заснований на помилці

Ось відредагована версія, насолоджуйтесь.

Ця цифра за два роки не має нічого спільного з бенчмарком і не має нічого спільного з хешрейтом.

Він рахує, скільки роботи в цьому дослідженні все ще виконується людьми.

А цю роботу давно розрізали навпіл.

Одна частина — це генерація ідей, розуміння, куди рухатися. Інша частина — це робота, перетворення ідей у працюючий код та отримання даних.

А та частина, що стосується виконання робіт, вже майже повністю передана агенту.

У квітні цього року Твороук заснував компанію Core Automation із девізом: створити найбільш автоматизовану AI-лабораторію у світі.

У них повний цикл експерименту був скорочений з місяця до одного дня. Ефективність зросла втридцять разів!

Проте агент поки що не може прийняти цю пропозицію. Причина в тому, що—

Вони абсолютно належать до видів з високою креативністю.

Але вони витрачають креативність у надзвичайно поганому, масовому стилі. Ідеї дійсно різноманітні, але загалом вони дуже погані.

Так слухати, ця частина з пропозиціями здається ще стабільною.

Насправді, людей, хто здатен давати хороші ідеї, залишилося дуже мало.

У інтерв’ю ведучий розкрив, що один із дослідників OpenAI поділився з ним інформацією —

Насправді, у всьому світі лише 30–50 людей розуміють, як навчати та розгортати передову модель від початку до кінця.

Всі інші працюють на підтримку цих десятків мозків, включаючи більшість штатних працівників найкращої компанії.

Творек не заперечував.

Він також вважає, що будь-яка топ-команда працює саме так: кілька осіб визначають напрямок, а за ними рухається ціла гучна машина виконання.

Щоб зрозуміти, наскільки ці десятки людей затребувані, достатньо подивитися на його список вакансій.

Співзасновник Core Automation Рохан Аніл, раніше з Anthropic, ще раніше з Google DeepMind.

Анмол Гулаті, який працював над Gemini у DeepMind, також був приваблений. Навіть Джулія Вільягра, колишній керівник з кадрів у OpenAI, перейшла разом з ними.

Всі лабораторії ловлять людей з одного й того ж ставка. А в цьому ставку всього кілька десятків риб.

Отже, ця цифра за два роки не має ніякого відношення до всього людства.

Йдеться про цих кілька десятків людей — скільки ще вони зможуть триматися.

Оскільки людей залишилося лише кілька десятків, то чим є остання стіна перед ШІ?

Відповідь Творока — лише одне слово: Transformer.

На його думку, це майже неможливо є оптимальним рішенням.

Спочатку, модель не може продовжувати навчатися після розгортання. Як би ви багато з нею не спілкувалися, вона не стане сильнішою — у наступній діалозі вона залишиться тією ж самою. Вікно контексту також не витримує: він каже, що, працюючи з Codex протягом двадцяти хвилин, йому доводиться зжимати його.

По-друге, якщо спробувати виправити це шляхом постійної дрібної настройки, ви зрозумієте, що це не лише надзвичайно непродуктивно, а й призводить до катастрофічного забування: вивчивши нове, ви забуваєте старе.

Отже, протягом цих кількох років більшість роботи галузі навколо Transformer зводилася до того, щоб зробити його дешевшим, а не сильнішим.

Але те, чого справді хоче Творек, не знаходиться в самій архітектурі.

Він хоче модель, яка може продовжувати навчатися під час тестування — модель, яка постійно розвивається завдяки взаємодії з користувачами та даним користувачів. Зміна архітектури — це лише засіб досягнення цього.

Ці істини ніхто в індустрії не знає. Але чому, минуло стільки років, Transformer все ще стійко тримається на своєму місці?

Причина проста до абсурду — навіть не намагалися.

За сім років у OpenAI справжніх спроб замінити базову архітектуру було лише три або чотири.

Процес такий.

Дослідник спочатку проводить невеликий експеримент з перевіркою, після чого запускає його щонайменше на три місяці. Лише коли результати виглядають задовільно, він дозволяє собі масштабувати.

А так зване збільшення означає, що вам потрібно переконати майже десять осіб, які мають повноваження життя і смерті, а потім ці десять осіб вкладуть три-шість місяців у вашу безодню.

Або вас роздавить кінетична енергія, яку Transformer вже зібрав у сніжну кулю, або вас частково поглинають, перетворюючи на гвинтик у ньому.

Сім років, три-чотири рази. Ось уся виробнича потужність найсильнішої у світі лабораторії штучного інтелекту в галузі архітектурних інновацій.

«Джарі, візьми цю потужність і спали її»

Він сам уже стикався з такою ж точно мертвою точкою в OpenAI. І відкрив її одне речення.

Тоді та серія напівмертвих експериментів вирвала з себе трохи «ознак життя». Не можна сказати, що це було добре, але принаймні з’явився підтекст.

Саме в цей момент його знайшов Якуб Пачоцкі, який пізніше став головним науковим співробітником OpenAI.

«Джарі, усі ці GPU тобі, подивися, чи зможеш розгорнути свої результати ще більше й сильніше.»

«Тепер у тебе є ці GPU.» Коли він повторив це речення, у o1 ще не було імені

Це витягнуло його з парадоксу—

Ви повинні спочатку отримати результат, щоб мати право вимагати обчислювальну потужність.

Але спочатку тобі потрібно мати цю обчислювальну потужність, щоб отримати результат.

Творек сказав, що більшість передових напрямків застрягли в цьому парадоксі. Та прихована боротьба за потужність у лабораторіях, в кінцевому підсумку, — це пошук шляху назовні.

А експорт іноді просто залежить від того, що скаже керівництво Клікніть Впевненість.

Досить того, щоб хтось згори сказав: «Я хочу, щоб у тебе був гідний обсяг обчислювальних потужностей, щоб ти можув би добре це зробити».

Як тільки відкриєш шлюз, далі зупинити не вдасться.

Підсилене навчання з цього вузла розширилося на кілька порядків.

А потім o1 вийшов із кокону — цей шлях, який багато хто вважав вмерлим для моделей міркувань, він зміг оживити.

Сто тисяч доларів — це як експерт

А цього разу йому більше не треба чекати, поки хтось скаже.

Найбільш витратним етапом усього ланцюга є перетворення абстрактних ідей у працюючий код. І саме це зараз агенти роблять найкраще.

Наприклад, Core Automation вже використовувала цю стратегію для роботи з ядром GPU.

Зокрема, вони передали ядро QR-розкладання програмному агенту, який працював чотири тижні, витративши близько 100 000 доларів США на виклики, і в результаті швидкість цього ядра була збільшена в шістдесят разів.

Ця робота належить до інженерії нижчого рівня продуктивності: йдеться про те, як швидше виконувати матричні обчислення на графічному процесорі, і зазвичай це вимагає висококваліфікованих експертів, які вручну налаштовують кожен рядок коду.

А таких експертів у всьому світі не кілька.

Зараз сто тисяч доларів США можуть замінити одного. Його не потрібно переконувати, і не потрібно три-шість місяців.

Сім років тривала перешкода була так просто подолана.

Навіть найскладніша архітектура почала розслаблюватися, тому керма в руках десятків людей не залишаться довго.

На завершення інтерв’ю ведучий прямо запитав у нього, що людям залишиться робити, коли цей день настане.

Для цього Творек описав дві картинки.

Перша — давня Греція.

Люди збираються на площі, спокійно розмовляють цілий день про філософію, а потім йдуть тренуватися, їдять оливки і п’ють вино.

Він сам посміхнувся, щойно закінчив опис, і визнав, що це, мабуть, просто проекція його власних бажань.

«Давайте зустрінемося на площі, а потім поговоримо.» — він привів точні слова, якими описав повсякденне життя людей після епохи AGI, і сам посміхнувся

Друга — це старша школа, або університет.

Він вважає, що людина повинна зберігати прагнення до «вищого». Продовжувати жадібно вивчати нове та напружено тренувати тіло й розум.

Це трохи схоже на професійний спорт: немає жодної економічної причини змушувати тебе потіти і лити кров, але людська гідність закликає дотягнутися до того, що називається «великим».

Ми повинні знайти різні способи зробити це.

У наступному світі більше не буде таких речей, як «якщо ти цього не зробиш, світ розвалиться». Світ продовжить рухатися на вже побудованих нами інфраструктурних основах.

«Ми повинні продовжувати вчитися.» Він подав це як обов’язок, а не як розвагу.

Тоді він спокійно відкрив свої карти.

Ми повинні працювати, щоб цей світ функціонував. Це припущення зовсім не обов’язкове.

«Багато людей отримують свою самоцінність з роботи.» Він визнав, що це найскладніший бар’єр, який потрібно подолати, навіть для нього самого.

Чесно кажучи, після того як я послухав усе, найбільш тривожним було не те два роки.

Він сам це розуміє — він ще більше прискорює цей зворотний відлік.

Річ, яку він збирається створити, за визначенням здатна вчитися та ставати сильнішою сама, не потребуючи постійного нагляду з боку людей. Коли вона буде створена, позиції десятків людей зникнуть ще швидше.

А ще він сказав ще жорсткіше: першим, кого засудять, буде він сам.

Якщо ти не найбільша лабораторія з найбільшою потужністю обчислень, ти помреш дуже погано.

На той момент Core Automation існувала лише чотири місяці, а її бухгалтерський дохід дорівнював нулю.

Він сказав, що з моменту заснування бізнесу майже щотижня хтось приходив і казав йому: «Джарі, занадто пізно, цю драбину до небес уже забрали».

Його відповідь була лише однією фразою його власної заклинання.

Люди в нашій компанії найбільше люблять казати, що все це проблема навичок.

Перекладається так: якщо провалився до кінця, не звинувачуйте загальну ситуацію — винуватий тільки ви, бо ваші техніки занадто погані.

Не скажеш, але ці слова в цьому інтерв’ю справді мають певний відтінок.

Знову зверніться до початкового популярного мему.

У нас залишилося лише кілька днів роботи, тому скористайтесь можливістю і дійте зараз.

Невідомо, чи це була радість, чи засмученість у його тоні.

Бо для тих, хто це каже, ці дві емоції насправді є однією і тією ж.

Творек сказав, що ритм цієї роботи надзвичайно виснажує, і за всі ці роки це було дуже-дуже втомливо.

Але якщо ми справді віримо, це найважливіший період у нашій кар’єрі.

Тоді, мабуть, це дуже варте цього.

Джерела:

https://x.com/MTSlive/status/2092387349623935322

Цей матеріал надійшов із офіційного аккаунту WeChat «Новий розум», автор: АСІ, редактор: Моїсей