Зі збільшенням масштабів AI-центри обробки даних, обговорення на ринку про переваги NVIDIA змінюється. Зовнішні ЗМІ TechCrunch відзначають, що раніше інвестори більше уваги приділяли питанню, чи не зменшать хмарні провайдери конкурентоспроможність GPU за рахунок власних чіпів, але після останнього фінансового звіту ринок почав звертати увагу на інше питання: хто зможе ефективно запустити всю AI-систему.
Фокус конкуренції зміщується на систему
Стаття вважає, що розгортання обчислювальних потужностей ШІ прагне до більш високої потужності та більших кластерів, і одного лише GPU недостатньо, щоб пояснити конкурентну ситуацію. Чим більший центр обробки даних, тим складнішою стає взаємодія між даними, сховищем, мережею та обчисленнями. GPU залишається ключовим компонентом, але ефективність все більше визначається системними можливостями, що знаходяться поза GPU.
Це також є ядром зміни сьогоднішньої історії NVIDIA. Навіть за умови, що такі великі хмарні провайдери, як Amazon і Google, продовжують розвивати власні чіпи, NVIDIA продовжує створювати більш повний інфраструктурний набір навколо GPU. У статті це описується так: якщо GPU — це двигун, то решта систем — це весь автомобіль.
Vera Rubin охоплює більше етапів
TechCrunch зазначає, що NVIDIA розробляє архітектуру Vera Rubin. Ця архітектура включає не лише GPU Rubin, але й CPU Vera, а також системи рівня стелажів для зберігання, мережі та інших компонентів. Стаття вважає, що суть цих продуктів полягає в тому, що вони не відповідають безпосередньо за генерацію токенів, а зводять до мінімуму втрати продуктивності поза GPU.
При цьому Vera CPU описується як важливий елемент планування даних. Джейсон Гарді, віце-президент з технологій зберігання NVIDIA, зазначив, що пам’ять, яку може вмістити один сервер або одна обчислювальна платформа, обмежена, тому правильне надсилання даних на GPU у відповідний час стає ключовим для ефективності системи.
Дані стають новим полем битви
Стаття посилається на Харді, який зазначив, що в деяких відповідних операціях прискорення, забезпечуване Vera CPU, може досягати приблизно 3 разів. Це означає, що такі апаратні ресурси, як флеш-пам’ять, можуть бути використані більш ефективно, а також зменшитися системні обмеження.
У статті також зазначається, що подібні проблеми існують не лише в системі NVIDIA. Раніше OpenAI, представляючи чіп Jalapeño, також визначила зменшення переміщення даних та затримок зв’язку як ключові цілі. Їхній підхід полягає в тому, щоб максимально тримати повний навантаження всередині одного взаємопов’язаного системного середовища, щоб зменшити втрати, пов’язані з передачею між модулями.
За думкою TechCrunch, це свідчить про те, що конкуренція в сфері інфраструктури ШІ входить у нову фазу. Компанії борються не лише за потужність процесорів, а й за те, як рухаються дані, як синхронізуються сховища та як мережі уникнути заторів. Іншими словами, рівень конкуренції зміщується з питання «хто має потужніші GPU» на питання «хто зможе забезпечити більш ефективну роботу цілої системи».
Стаття вважає, що ця зміна не означає, що NVIDIA вже забезпечила собі перемогу. Вона все ще стикається з конкуренцією з боку інших виробників чіпів та великих хмарних провайдерів. Але на поточному етапі NVIDIA все ще випереджає інших у системній інтеграції та управлінні, що є ключовою причиною перегляду ринком її переваг у сфері ШІ.