Яку проблему вирішують CPO? Кластери для навчання та висновування штучного інтелекту не є лише обмеженими обчислювальними ресурсами, а й фундаментально обмежені мережевою пропускною здатністю. Коли кластери GPU зростають до десятків або сотень тисяч GPU, одночасно виникають три бар’єри: 1. Бар’єр пропускної здатності: кожна нова генерація GPU (H100 → B200 → Rubin) потребує значно більшої пропускної здатності I/O на чіп, щоб забезпечити постійне живлення обчислень. Пропускна здатність інтерконектів має зростати швидше, ніж обчислювальна потужність у FLOPS (операціях з рухомою комою на секунду — одиниця вимірювання обчислювальної потужності комп’ютера для складних математичних операцій), інакше GPU залишатимуться бездіяльними, чекаючи на дані. 2. Бар’єр потужності: Концепція центру обробки даних штучного інтелекту потужністю в гігаватт, яку описав Дженнсен Хуанг з Nvidia, передбачає об’єкти, що споживають гігаватт або більше електроенергії, причому кожен ватт, витрачений на пересилання бітів між чіпами, — це ватт, що не витрачається на обчислення. Традиційні електричні/оптичні сигнали споживають багато енергії лише на передачу даних всередину та зовні пакету. 3. Бар’єр дальньості: мідні інтерконекти (NVLink, сліди PCIe) стають втратними та енергоємними за межами кількох метрів при швидкостях сигналізації, необхідних для штучного інтелекту (100G+ на канал). Оптика не має такого обмеження за відстанню, але перетворення між електричною та оптичною доменами вимагає енергії та додає компоненти. Co-packaged optics — це розв’язання для всіх трьох проблем одночасно: замість перетворення даних у світло на краю плати, оптичний двигун розміщується якомога ближче до напівпровідникового чіпа, що генерує дані. Це означає розміщення на тій самій підложці пакету, що й комутаційний ASIC або сам GPU.
twoeraserheads 🇨🇦Поділитися
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.