CPOs 解決了什麼問題? AI 訓練和推論叢集不僅受計算能力限制,更根本地受到網路限制。當 GPU 叢集擴展至數萬甚至數十萬個 GPU 時,三道壁壘同時出現: 1. 帶寬壁壘:每一代新的 GPU(H100 → B200 → Rubin)都需要顯著增加每顆晶片的 I/O 帶寬,以確保計算資源不閒置。互連帶寬的增長速度必須快於計算 FLOPs(每秒浮點運算次數,用於衡量電腦處理複雜數學運算的能力),否則 GPU 將因等待資料而閒置。 2. 功耗壁壘:正如 NVIDIA 的黃仁勳所描述的吉瓦級 AI 數據中心概念,設施的功耗將達到一吉瓦或更高,而每一瓦用於在晶片間傳輸資料的電力,都是未能用於計算的電力。傳統的電氣/光學信號傳輸在將資料送入或送出封裝時,消耗大量電力。 3. 距離壁壘:在 AI 所需的信號速度(每通道 100G+)下,銅質互連(NVLink、PCIe 走線)在數公尺之外會出現嚴重損耗且耗電。光學傳輸雖無此距離限制,但電氣與光學領域之間的轉換會消耗電力並增加元件。 共封裝光學技術(Co-packaged optics)同時解決了這三個問題:不是在電路板邊緣將資料轉換為光信號,而是將光學引擎盡可能靠近產生資料的矽晶片放置,即與交換 ASIC 或 GPU 本身位於同一封裝基板上。
