CPO giải quyết vấn đề gì? Các cụm đào tạo và suy luận AI không chỉ bị giới hạn bởi khả năng tính toán mà còn bị giới hạn về mặt mạng lưới căn bản. Khi các cụm GPU mở rộng lên hàng chục hoặc hàng trăm nghìn GPU, ba rào cản xuất hiện đồng thời: 1. Rào cản băng thông: Mỗi thế hệ GPU mới (H100 → B200 → Rubin) đòi hỏi băng thông I/O nhiều hơn đáng kể trên mỗi chip để duy trì nguồn dữ liệu cho quá trình tính toán. Băng thông kết nối phải tăng nhanh hơn tốc độ tính toán FLOPs (số phép toán dấu phẩy động mỗi giây, đơn vị dùng để đo sức mạnh xử lý của máy tính đối với các phép toán phức tạp), nếu không, các GPU sẽ bị chờ đợi dữ liệu. 2. Rào cản công suất: Khái niệm trung tâm dữ liệu AI quy mô gigawatt, như mô tả bởi Jensen Huang của Nvidia, hình dung các cơ sở tiêu thụ một gigawatt hoặc nhiều hơn điện năng, và mỗi watt tiêu tốn để truyền bit giữa các chip là một watt không dùng để tính toán. Việc truyền tín hiệu điện/quang truyền thống tiêu tốn rất nhiều công suất chỉ để đưa dữ liệu vào và ra khỏi một gói. 3. Rào cản khoảng cách: Các kết nối đồng (NVLink, đường dẫn PCIe) trở nên suy hao và tốn nhiều điện năng khi vượt quá vài mét ở tốc độ tín hiệu mà AI yêu cầu (100G+ mỗi kênh). Quang học không có nhược điểm khoảng cách này, nhưng việc chuyển đổi giữa miền điện và quang học tốn công suất và thêm các linh kiện. Quang học tích hợp đóng gói (Co-packaged optics) là giải pháp đồng thời cho cả ba vấn đề này: thay vì chuyển đổi dữ liệu thành ánh sáng ở mép bo mạch, bạn di chuyển động cơ quang càng gần càng tốt với chip silicon đang tạo ra dữ liệu. Điều đó có nghĩa là đặt trên cùng một nền tảng gói với ASIC chuyển mạch hoặc GPU chính.