Cerebras ทดสอบโมเดล Kimi K2.6 ด้วยความเร็วเพิ่มขึ้น 29 เท่าในงานข้อความยาว

ข่าวจาก ME News เมื่อวันที่ 20 พฤษภาคม (UTC+8) ตามข้อมูลจาก Beating บริษัทชิปขนาดวัสดุซิลิคอนระดับวเฟอร์ Cerebras ประกาศเปิดใช้งานโมเดลขนาดใหญ่ที่มีพารามิเตอร์ล้านล้านตัวชื่อ Kimi K2.6 ในการทดสอบเชิงธุรกิจ โดยการรวมชิปอย่างสมบูรณ์บนวเฟอร์ซิลิคอนขนาด 12 นิ้ว ซึ่งช่วยขจัดความล่าช้าจากการเชื่อมต่อแบบบอร์ดแบบดั้งเดิมอย่างสิ้นเชิง ผลการทดสอบจากหน่วยงานภายนอก Artificial Analysis แสดงให้เห็นว่าความเร็วในการสร้างข้อมูลอยู่ที่ 981 tokens/s รวดเร็วกว่าบริการคลาวด์ GPU ทั่วไปถึง 6.7 เท่า ในงานข้อความยาวที่มีอินพุต 10,000 token และเอาต์พุต 500 token เวลาตอบสนองรวมลดลงจาก 163.7 วินาทีของอินเทอร์เฟซทางการของ Kimi เหลือเพียง 5.6 วินาที เพิ่มความเร็วขึ้นถึง 29 เท่า เนื่องจากน้ำหนักโมเดลถูกกระจายไปยังวเฟอร์หลายชิ้นเพื่อส่งค่าการกระตุ้นแบบสตรีมมิ่ง การสื่อสารระหว่างชั้นทำงานอย่างสมบูรณ์บนเครือข่ายผ้าทอภายในวเฟอร์ ทำให้แบนด์วิดธ์การสื่อสารทางกายภาพสูงกว่า NVLink ในสถาปัตยกรรม NVL72 ของ NVIDIA มากกว่า 200 เท่า ร่วมกับการปรับแต่งการคำนวณแบบกระจาย Kimi K2.6 ใช้การจัดเก็บน้ำหนักแบบดั้งเดิม 4-bit (4 บิต) โดยไม่สูญเสียข้อมูล และใช้เลขทศนิยมแบบจุดลอยตัว 16-bit (16 บิต) เพื่อรักษาความแม่นยำขณะคำนวณ โดยใช้เคอร์เนลโอเปอเรเตอร์แบบกำหนดเองและการถอดรหัสแบบคาดการณ์เพื่อให้สามารถทำงานแบบเรียลไทม์ได้ (ที่มา: BlockBeats)