NVIDIA інвестувала 5 мільярдів доларів у SSI Ілі Сутскевера, перша модель очікується цього тижня

Лабораторія «Безпечний суперінтелект» (Safe Superintelligence, SSI), заснована Іллею Суцкевером, може на цьому тижні представити свою першу потужну модель!

Внутрішні експерти активно намікають, що SSI запустить свою першу революційну велику модель.

Відомий інвестор і партнер a16z Мартін Касадо збуджений і прямо намікає, що недавно дізнався про «найважливішу нову модель цього року».

У середовищі миттєво розгорівся ажіотаж, і всі уваги зосередилися на SSI Іллі.

Причина проста: a16z є одним із ключових інвесторів за SSI. Хоча хтось і припускає, що Casado міг бачити наступну модель OpenAI — Astra.

Але чутки про прорив «неосновних великих компаній» поширюються широко.

Відомий спостерігач технологій Ендрю Керран ще більш ентузіастично зазначив, що цей великий прорив виник не від головних гігантів (наприклад, OpenAI або Google), а від незалежної лабораторії, що викликає відчуття «дуже справжнього».

Найбільш вражаючим є спостерігач штучного інтелекту Ден МакТір, який прямо заявив: «Ілля справді створив суперінтелект, правила гри змінилися!»

На початку місяця інвестор Гевін Бейкер прямо сказав у подкасті:

SSI сказали, що випустять свою модель у серпні.

Якщо ви вважаєте це лише теорією, подивіться, куди йдуть реальні гроші.

27 липня цього року NVIDIA раптово оголосила про довгострокову стратегічну співпрацю з цією таємничу компанією, що не має доходів та продуктів, і планує протягом наступних 12 місяців збільшити потужність обчислень SSI в 10 разів.

З’явилася ще одна потужна інформація: ці інвестиції становлять 5 мільярдів доларів США, і NVIDIA надала SSI виключний доступ до наступного покоління системи Vera Rubin!

Чому Хуан Женсюнь готовий вкласти такі великі кошти?

У прес-релізі NVIDIA зазначила, що вирішила зробити величезну ставку після того, як отримала «рідкісний доступ» до своїх строго захищених дослідницьких результатів.

Що бачить Хуан Ренсюнь? Поєднання з сьогоднішніми розслідуваннями дає відповідь.

Щоб зрозуміти, наскільки захопливій є нова модель SSI, ми повинні спочатку зрозуміти, як працюють сучасні ІО (наприклад, ChatGPT, Claude).

На поточному етапі моделі ШІ, незалежно від кількості параметрів, суттєво зберігають знання у вагах під час етапу попереднього навчання. Після завершення навчання їх «мозок» заморожується.

Щоб дозволити моделям обробляти нову інформацію, великі компанії безумно конкурують за «вікно контексту» (Context Window), піднімаючи його з 100k до мільйонів.

Це схоже на іспит з відкритими підручниками — мозок моделі не став розумнішим, просто ви дозволили йому брати з собою на іспит все більше й більше «підсказок» (контексту).

Навіть такі моделі висновування, як o1 від OpenAI, які зосереджені на «обчисленні під час тестування», суттєво просто витрачають більше часу на міркування на чернетці (використовуючи більше токенів); їхні з’єднання в нейронній мережі, їхні «нейрони» залишаються нерухомими.

Але SSI цього разу представила нову архітектуру, засновану на навчанні під час тестування (Test-Time Training, TTT).

Що це означає?

Коли ця модель читає довгий документ, який ви їй надаєте, вона не впихає документ у «шпаргалку», а справді «вивчає» його, генеруючи оновлення градієнта та змінюючи структуру свого «мозку».

Після прочитання він перетворився на надзвичайно дрібний, але абсолютно новоеволюціонізований ІІ.

Йому більше не потрібен великий контекстний вікно, оскільки він перетворює прочитане на власну справжню «внутрішню знання».

Він більше не обмежений монополією на обчислювальні ресурси під час попереднього навчання; невелика, але високоефективна модель, яка може постійно адаптуватися та розвиватися на робочому місці, здатна легко перемогти гігантські системи, побудовані на масштабних обчислювальних ресурсах, але не здатні до гнучкості.

Наразі в галузі конкурують «як довго модель може міркувати», а Ілля робить ставку на «чи може модель змінити себе».

Поглянувши назад на останні два роки, стан SSI «без продуктів, без публікацій» викликав у зовнішнього середовища сумніви, чи не потрапили вони в скрутне становище.

Але якщо з’єднати всю хронологію, ви побачите, що Ілля постійно грає у велику гру.

Ілля неодноразово доносив до громадськості ключову ідею: ера попереднього навчання (Pretraining), яку ми добре знаємо, скоро закінчиться.

На конференції NeurIPS 2024 року він зробив цей дивовижний прогноз.

У 2025 році у подкасті Дваркеша Пателя він ще далі зазначив: «Ми переходимо від ери масштабування до ери досліджень».

Ілля вважає, що весь індустріальний напрямок був відведений від правильного шляху словами «AGI» і «попереднє навчання». Люди не народжуються зі знаннями.

Його справжній суперінтелект — це не величезна машина, яка на виході з заводу запам’ятала всі дані мережі; а «надзвичайно розумний, наповнений безмежною допитливістю 15-річний геній».

Цей 15-річний хлопчик спочатку може нічого не знати, але якщо ти просто поставиш його на будь-яку посаду, він через постійні спроби, помилки та навчання швидко засвоїть програмування, медицину, право або будь-яку іншу невідому навичку.

Він додав: люди самі по собі не є «AGI з заводу», а залежать від постійного навчання.

Справжній суперінтелект повинен працювати так само: саме розгортання є процесом навчання, який постійно еволюціонує завдяки реальним відгукам, а не «завершується» після одноразового попереднього навчання.

Ця ідея безпосередньо визначає стратегію SSI: не прагнути до короткострокових продуктів, не випускати проміжні моделі, а зосереджуватися лише на «прямому шляху до безпечного суперінтелекту», зосереджуючи дослідження на ефективному постійному навчанні та відповідності.

Для досягнення цієї мети «метанавчання» (meta-learning) — єдиний розв’язок — модель має не лише засвоїти навички, а й засвоїти «методи набуття навичок».

Це ідеально пояснює, чому SSI дуже скромний. Якщо ви будуєте новий вид, який повністю змінює існуючу парадигму, ви не будете писати блоги про це, поки парадигма ще не завершена.

Але папір не може приховати вогонь, сліди були закладені давно.

У липні 2024 року вчені Ю Сунь та інші опублікували оригінальну статтю про TTT.

Найважливіше, що співзасновник Stellar та інвестор SSI Джед МакКалеб співавтором статті, яка прямо стверджує

Довгий контекст мовного моделювання — це зовсім не проблема архітектури, а проблема неперервного навчання!

Однакові напрямки досліджень, інвестори, які особисто беруть участь у спільному публікуванні статей, і теперішні розслідування — усі вказують на одну й ту саму справу: SSI перетворила TTT з академічної ідеї з лабораторії на справжній бізнес-інструмент.

Зараз усі очі звернені на серпень.

Незалежно від того, чи це тестова версія, доступна лише невеликій групі гіків, чи захоплююче публічне випускання, якщо перша модель SSI справді отримає здатність «навчання під час тестування» та «оновлення ваг у реальному часі», вся логіка індустрії ШІ буде повністю спростована.

Великі компанії, що накопичують обчислювальні потужності в центрах обробки даних, бізнес-моделі, що сплачуються мільйонами токенів, навіть дискусії щодо відкритого вагового коефіцієнта — все це зазнає впливу з нижчого рівня.

Це підтверджує одну річ: змагання з ШІ ще не дійшло до фінальної стадії, де перемагає лише фінансова та обчислювальна потужність. Справжні технологічні стрибки все ще приховані в головах тих, хто наважується порушити загальноприйняті уявлення.

Цього разу Ілля Суцкевер знову стоїть на перепутьці історії. Раніше саме його рядок коду дозволив глибокому навчанню відновити життя; зараз, можливо, саме він亲自 завершить «епоху попереднього навчання» великих моделей.

Чи зможе Ілля вдруге стати божеством? Якщо ШІ справді може «еволюціонувати під час використання», наскільки далеко ми від повної втрати контролю?

Джерела:

https://x.com/hakmgpt/status/2091855200713638146

https://x.com/daniel_mac8/status/2091891607641440598

https://x.com/AndrewCurran_/status/2091890441465499995

https://x.com/martin_casado/status/2091650951736361073

https://aimidday.com/ssis-first-model-reportedly-trains-itself-while-it-thinks/

Цей матеріал надійшов із微信-каналу «Новий розум», автор: АСІ Апокаліпсис; редактор: Девід