Конкуренція на ринку AI-чіпів переживає глибокі зміни. OpenAI випустила чіп Jalapeño, спеціалізований на інференсі LLM, NVIDIA поєднує GPU з Groq LPU для гетерогенних обчислень, а Google розділила навчання та інференс на два чіпи: TPU 8t і TPU 8i. Ці три напрямки відображають різні вимоги до апаратних ресурсів для навчання та інференсу: навчання зосереджене на матричних обчисленнях та масштабному з’єднанні, тоді як інференс вимагає більшої пропускної здатності HBM, більшого об’єму SRAM та коротших мережевих шляхів. Зі збільшенням розриву між конфігураціями чіпів для цих двох типів завантажень, FLOPS більше не є єдиним критерієм оцінки, а вартість токену стає новою координатою конкуренції в AI-апаратному забезпеченні.

Автор статті, джерело: Leiphone

Вартість токенів стає новим показником конкуренції на ринку апаратного забезпечення великих моделей

Ембодімент інтелекту, проникає у кухню, заповнену димом

Роботизована робота при мільйоні переглядів

Бувший віце-президент Covariant AI, Zhoupu Shuzhong, прямо охарактеризував роль LPU як заповнення прогалини Vera Rubin у сфері низькочастотного декодування.

Конструкція чіпа Groq також майже повністю зосереджена на цьому. Набір стойок LPX містить 256 LPU, що разом дають лише 128 ГБ SRAM, об’єм яких не можна порівнювати з HBM у стойках GPU, але загальна пропускна здатність SRAM може досягати 40 ПБ/с.

Цей дизайн зосереджений на “близькості”. HBM може містити багато станів моделі, але знаходиться далі від обчислювальних одиниць; SRAM дуже дорогий і складний у масштабуванні об’єму, але дані знаходяться всередині чіпа, забезпечуючи надзвичайно високу пропускну здатність та дуже низьку затримку доступу.

Кожен крок обчислень обмежений, а часте отримання даних і розміщення їх ближче до АЛУ безпосередньо впливає на час очікування наступного токена.

Groq також додатково зменшив динамічний контроль апаратного забезпечення. LPU — це архітектура детермінованого виконання, у якій планування інструкцій переважно виконується програмно заздалегідь. Кожен чіп одночасно виступає як процесор і маршрутизатор; компілятор одночасно планує обчислювальні та мережеві ресурси, навіть виключаючи такі механізми, як традиційний апаратний контроль потоків і віртуальні канали.

Ціна також очевидна: така архітектура не така універсальна, як GPU, а вбудований SRAM не може вмістити повний стан великої моделі. Тому NVIDIA не дозволила Groq 3 самостійно запускати всю модель, а замість цього створила більш складну гетерогенну систему.

Попереднє заповнення виконується на GPU, велика частина Decode переноситься на LPU; Attention у Decode може знову повернутися на GPU. GPU і LPU зберігають власні KV Cache, основна обмінна інформація між ними — draft Tokens, а обчислення та комунікація оптимізуються за допомогою micro-batch. Оскільки LPU є синхронною областю, а GPU та зовнішні KV Cache належать асинхронній системі, NVIDIA навіть додає FPGA як асинхронний міст між ними.

Ця структура добре ілюструє, наскільки далеко зайшли розподіл обов’язків між AI-чіпами. Вона розбиває не лише «чіпи для навчання» і «чіпи для висновків», а навіть різні частини одного Decode можуть виконуватися на різних архітектурах.

Однак дані, представлені NVIDIA, також визначають межі цього підходу: коли бізнес зосереджений лише на загальній пропускній здатності і може дозволити собі вищу затримку, Rubin GPU залишається ефективним; зі зростанням вимог до швидкості токенів на одного користувача LPX поступово набуває переваги, а після використання більшої кількості LPU загальна ефективність пропускної здатності знижується.

Тому поява Groq 3 не означає, що GPU вигнані з інференсу. Вона показує інше: одному GPU важко одночасно забезпечувати високу пропускну здатність та надзвичайно низьку затримку; коли різні апаратні засоби працюють у своїх сильніших діапазонах, система легше розтягує криву продуктивності.

Google розмістив цей розріз на більш високому рівні.

Навчання та висновки, дві різні рецепти чіпів

Google в цій поколінні TPU 8 одночасно створила TPU 8t і TPU 8i,t для навчання,i для висновку. Ця класифікація заснована на конфігурації пам’яті чіпа.

На живій демонстрації Hot Chips TPU 8t використовує 6 наборів HBM, тоді як TPU 8i використовує 8. Google пояснив, що для висновку на одиницю обчислень потрібно більше HBM, а також більший відсоток SRAM, тому 8i виділив більше ресурсів на SRAM, об’єм пам’яті та пропускну здатність.

Ця різниця варта уваги. Якщо AI-чіпи зводяться лише до порівняння матричних обчислювальних потужностей, то версія для висновків не мала б причин витрачати стільки площі чіпа та ресурсів упаковки на пам’ять. Таке проектування TPU 8i свідчить про те, що Google бачить обмеження в постачанні даних.

Під час навчання великий пакет дозволяє розподілити витрати на зчитування ваги на багато токенів; під час декодування кожен раз генерується мало токенів, але ваги та KV Cache все ще часто доступуються. Тому кількість пропускної здатності HBM, необхідна на один FLOPS, відрізняється для цих двох типів завдань.

Google навіть впровадила цю різницю в мережеву топологію. Раніше для TPU використовували 3D Torus, який краще підходить для навчання і зосереджений на загальній пропускній спроможності великих кластерів. TPU 8i підтримує BoardFly, і шляхи мережі коротші: максимальна кількість стрибків у BoardFly становить 7 hops, а у 3D Torus — до 16 hops.

Для навчання після кількох додаткових мережевих стрибків зазвичай ще залишається великий обсяг матричних обчислень, і час зв’язку може бути розподілений. Часове вікно обчислень на кожному кроці декодування коротке, і кілька мережевих затримок легше прямо потрапляють у інтервали між токенами.

MoE ще більше підкреслив цю проблему. MoE дозволяє одному токену активувати лише частину експертів, що з точки зору обчислювальних витрат є вигідним, але маршрутизатор направляє токени до різних експертів. Коли ці експерти розташовані на різних чіпах, зменшення обчислень супроводжується зростанням комунікації All-to-All.

Тому TPU 8i також додав Collective Acceleration Engine, який виконує частину колективних операцій на I/O Die, розташованому біля інтерфейсу мережі. Дані не потрібно спочатку переносити до Compute Die, а потім виконувати операції через HBM — це дозволяє скоротити частину внутрішнього переміщення даних у чіпі.

Розподіл ресурсів для тренувальної версії TPU 8t явно зміщений на інший бік. Тренування вимагає великої кількості FLOPS, а також величезної області масштабування для синхронізації параметрів і градієнтів. Superpod TPU 8t може масштабуватися до 9600 чіпів, маючи близько 2 ПБ спільного HBM та 121 EFLOPS FP4 агрегованої обчислювальної потужності. Google також ввів для нього мережу Virgo, щоб створити спеціалізовану архітектуру для підключення тренувань у більш широкому масштабі.

Google також згадав практичну проблему проектування чіпів: темне кремній.

Обмежені площа чіпа та бюджет потужності. Якщо на одному чіпі одночасно розмістити велику кількість ресурсів для матричних обчислень, необхідних для навчання, а також більше SRAM, HBM та мереж з низькою затримкою, необхідних для висновків, то під час виконання будь-якого одного типу завантаження частина схем завжди залишатиметься не використаною.

Оскільки обидві задачі вимагають різного співвідношення ресурсів, пряміше зробити дві окремі чіпи.

Від FLOPS до токеноміки

Поклавши три маршрути разом, різниця насправді очевидна.

OpenAI робить Jalapeño, спеціалізуючи чіпи на рівні висновку LLM, але зберігаючи гнучке планування Prefill і Decode на однорідному апаратному забезпеченні; NVIDIA продовжує розбивати нижче, розподіляючи різні етапи одного висновку між GPU і Groq LPU; Google розрізає вгору, перетворюючи навчання і висновок безпосередньо на дві окремі TPU.

За цими шляхами не стоїть ніякого таємничого нового обчислювального принципу — змінюється співвідношення ресурсів. Під час навчання бажано вкласти більше транзисторів у матричні обчислення та масштабну інтерконектність, оскільки великий Batch дозволяє розподілити витрати на перенесення даних. Для висновку з низькою затримкою потрібна більша пропускна здатність HBM, більший обсяг SRAM, краща локальність KV Cache та коротші мережеві шляхи, оскільки багато часу витрачається на очікування даних.

Коли вимоги до «рецептури чіпа» для двох типів навантаження все більше розходяться, використання одного універсального чіпа для обслуговування обох призводить до все більш помітних втрат ефективності.

Тому саме це причина, чому ключові цифри в цьому циклі конкуренції обладнання змінюються. FLOPS все ще важливі, але поряд з’являються Tokens/s/user, TBT, TTFT, Tokens/kW, пропускна здатність HBM та затримка мережі.

Вони описують одне й те саме: потужність вже розміщена, чи зможе система постійно подавати дані та якомога швидше виводити згенеровані токени.

OpenAI, NVIDIA та Google ще не визначили свою межу, і саме ця межа, ймовірно, продовжуватиме змінюватися.

Навчання та висновок можна розділити, Prefill і Decode можна розділити, а внутрішній Attention у Decode та інші обчислення також можна поділити далі. Чим докладніше розділити, тим легше підвищити ефективність окремих етапів, але планування ресурсів, переміщення KV Cache та міжапаратна комунікація стануть складнішими.

Тоже наступний етап конкуренції в сфері AI-чіпів, можливо, більше не полягає лише у створенні потужнішого чіпа.

Складніше вирішити: які завдання варто виконувати окремо на окремому чіпі, а які залишити в тій самій апаратній платформі, щоб зменшити загальну вартість токенів системи.