Какую проблему решают CPO? Кластеры для обучения и инференса ИИ не только ограничены вычислительной мощностью, но и фундаментально ограничены сетевыми возможностями. По мере масштабирования GPU-кластеров до десятков или сотен тысяч GPU одновременно возникают три барьера: 1. Барьер пропускной способности: каждое новое поколение GPU (H100 → B200 → Rubin) требует значительно большей пропускной способности I/O на чип, чтобы обеспечить непрерывную подачу данных для вычислений. Пропускная способность межсоединений должна расти быстрее, чем вычислительная мощность в FLOPS (операций с плавающей запятой в секунду — единица измерения вычислительной мощности компьютера для сложных математических операций), иначе GPU будут простаивать, ожидая данные. 2. Барьер энергопотребления: концепция центра обработки данных ИИ мощностью в гигаватт, описанная Джесеном Хуаном из Nvidia, предполагает объекты, потребляющие гигаватт и более энергии; каждый ватт, затраченный на передачу битов между чипами, — это ватт, не потраченный на вычисления. Традиционные электрические/оптические сигналы потребляют огромное количество энергии просто для передачи данных внутрь и наружу корпуса. 3. Барьер дальности: медные межсоединения (NVLink, следы PCIe) становятся потерями и энергозатратными на расстояниях более нескольких метров при скоростях передачи, необходимых для ИИ (100 Гбит/с и более на канал). Оптика не имеет такого ограничения по расстоянию, но преобразование между электрической и оптической областями требует энергии и добавляет дополнительные компоненты. Co-packaged optics (CPO) решает все три проблемы одновременно: вместо преобразования данных в свет на краю платы оптический модуль размещается как можно ближе к кремнию, генерирующему данные — то есть на том же подложке, что и коммутационный ASIC или сам GPU.
twoeraserheads 🇨🇦Поделиться
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.