Сьогодні, скориставшись захоплюючим виступом Старого Марка, я заповню викопані раніше ями щодо Jev, Strata та Atlas — трьох речей у світі ШІ, які, на мою думку, цікаві. Я зв’язую їх усіх через сцену з фільму — «Термінатор»! Уявіть, що T-800 відправлено назад у 1984 рік, щоб знайти і вбити Сару Коннор! Для цього йому потрібні три базові функції: розуміння простору, миттєве прийняття рішень та робота без інтернету (у 1984 році не було «Тінь» для підключення). Дивовижно, але саме ці три функції відповідають Atlas, Jev та Strata. 1. Спочатку — Atlas від професора Лі Фейфей — розуміння простору. Коли Шварценеггер (T-800) входить у кімнату, він одним поглядом розуміє, що за дверима, під столом і т.д. Atlas зараз робить саме це: за кілька зображень передбачає, як виглядатиме сцена з іншого кута. LLM передбачає наступне слово. Відеомоделі (наприклад, Seedance) генерують кадри вздовж часової осі. Atlas передбачає новий кут огляду. Зараз багато відеомоделей називають себе «моделями світу». Кілька місяців тому Лі Фейфей класифікувала їх на три категорії: рендерери, симулятори, планувальники. Симулятор може стати рендерером, але планувальник обов’язково базується на потужному симуляторі. T-800 одним поглядом розуміє, що є в кімнаті — це симулятор. Розрахунок того, що станеться, якщо стрибнути, або куди попаде куля — також симулятор. Вибір дій — переслідувати, утікати чи збити машину — найбільш ймовірно потребує планувальника. Рендерери тут майже не потрібні. Мета Atlas — створити найпотужніший симулятор, а потім перейти до планувальника. Їхній шлях виглядає так: Статичний 3D-простір (зараз) → динамічний (4D) → редагований → інтерактивний → симулятор як планувальник (фінал) Це лише перший крок довгого шляху, але без цього неможливо створити Термінатора — одного LLM недостатньо. 2. Тепер Jev — миттєве прийняття рішень. Пам’ятаєте сцену? T-800 у мотелі чує постук у двері — і в його полю зору миттєво з’являється список варіантів відповідей. Вибирає один — і відповідає. Навіть не формулює фрази. (Я пам’ятаю, вибрав найгрубішу…) Ось що таке Jev: не потрібно, щоб LLM генерував текст чи мислив через ланцюжок мислення (COT). Просто вибирає з готових опцій і вказує ступінь впевненості. Jev TypeSafe працює саме так: не генерує текст, а лише вибирає з обмеженого набору варіантів і надає калібровану ймовірність. Варіант з ймовірністю 0.97 → негайно висилається. Найвищий — лише 0.60 → не висилати, передати більш повільному, але розумнішому великому моделю. У демонстраційному відео TypeSafe перевіряють, чи є рахунок фальшивим: традиційний LLM витрачає 8 секунд, а Jev — лише 0.1 секунди. Швидко — бо не генерує текст, а лише виконує завдання з вибором. Точний — завдяки технології RLCD (Reinforcement Learning for Calibrated Decisions) — підсилене навчання для каліброваних рішень. Архітектура ще не опублікована, але я припускаю, що це все ще Transformer-основа, просто повністю видалено генераційний компонент. Це можна розглядати як ASIC для LLM у конкретному контексті: не спить, не пише код — лише приймає частотні рішення. Всю ланцюжкову логіку традиційного LLM стиснуто до одного питання з вибором — швидкість і вартість на один-два порядки нижчі. Це нагадує систему 1 з книги Денеля Канемана «Швидке мислення, повільне мислення». Традиційний LLM — це система 2. Якщо б T-800 думав з такою швидкістю як сучасний LLM — виконав би будь-яке завдання з фільму як черепаха (я раптом подумав про Слова з «Зоопарку»…). Тоді Jev і з’явився — другий шматок пазлу для Термінатора складено. 3. Останнє: Strata — локальний запуск великих моделей. У 1984 році інтернет існував, але був надзвичайно повільним, доступним лише у військових та академічних колах. А ще хмар не було — нема «Теня», куди підключитися! Тож T-800 повинен мати локальну модель всередині себе. Strata дозволяє запускати модель Qwen3.8-Flash-Next з 125 мiliardами параметрів на споживчому GPU з 12 ГБ VRAM та 64 ГБ ОЗП. Чародейство полягає у квантуваннi: параметри стискаються з 16-байтових до 2–3-байтових — об’єм скорочується у кратне число раз. Найчастотншi 20% експертiв (копiї) залишаються у VRAM, всi експерти — у 64 ГБ ОЗП, а ще 30 ГБ великої таблицi пошуку (посiбник пiд час навчання) — на SSD. Повнiстю автономно, безпечно щодо даних. Звичайно, продуктивнiсть через стиск знизилася, читання довгих документiв повiльне — але геймерський комп’ютер тепер може запускати моделi з бiльш нiж 100 мiliardами параметрiв! Це перехiд вiд нульового до реального стану. Точнi характеристики GPU, ОЗП та ЦП T-800 нам невiдомi — але Strata дозволяє запускати бiльшi моделi на обмежених апаратних ресурсах. Це базовано на MOE (наразi лише Qwen, але пiдхiд унiверсальний для MOE-моделей). Таким чином, ми все ближче до ери «Теня» та Термiнатора! @drfeifei @theworldlabs @typesafeai P.S. Хто-небудь замовив Roadster? У 2028 роцi заберете мене на пробну поїздку? Будь ласка!
