ByteDance เปิดแหล่งรหัสแบบจำลองหลายมิติขนาด 3 พันล้านพารามิเตอร์ชื่อ Lance ที่ฝึกบน GPU A100 จำนวน 128 ตัว

ข่าวจาก ME News เมื่อวันที่ 19 พฤษภาคม (UTC+8) ตามการติดตามของ Beating บริษัท ByteDance Research ได้เปิดแหล่งที่มาของโมเดลขนาดใหญ่แบบหลายโมดัลแบบเนทีฟชื่อ Lance ซึ่งเป็นโมเดลขนาดเล็กที่มีพารามิเตอร์ที่เปิดใช้งานเพียง 3B และสามารถรองรับการเข้าใจ การสร้าง และการแก้ไขภาพและวิดีโอภายในกรอบเดียว ปัจจุบัน โมเดลแบบรวมหลักๆ ขึ้นอยู่กับการขยายขนาดพารามิเตอร์หรือใช้สถาปัตยกรรมข้อความเป็นภาพ แต่ Lance ได้พิสูจน์แนวทางการประสานงานด้วยพลังการคำนวณต่ำมาก ทีมวิจัยได้ฝึกโมเดลตั้งแต่เริ่มต้นโดยสิ้นเชิง และลดงบประมาณการคำนวณทั้งหมดในช่วงการฝึกให้เหลือเพียง 128 GPU A100 เพื่อแก้ไขความขัดแย้งภายในระหว่างโมดัลและงานต่างๆ Lance ได้ใช้การแยกทางออกสองแบบในสถาปัตยกรรม: - ใช้สถาปัตยกรรมแบบผสมผสานผู้เชี่ยวชาญสองทาง (MoE) เพื่อจัดการกับลำดับหลายโมดัลที่ซ้อนทับกัน โดยแยกเส้นทางการคำนวณระหว่างการเข้าใจและการสร้าง ขณะเดียวกันก็แชร์บริบทพื้นฐาน - นำการเข้ารหัสตำแหน่งแบบหมุนที่รับรู้โมดัลมาใช้ เพื่อลดสัญญาณรบกวนระหว่างโทเค็นภาพและวิดีโอที่ไม่เหมือนกันโดยตรง การบีบอัดพลังการคำนวณอย่างรุนแรงไม่ได้ลดขีดจำกัดประสิทธิภาพลง ในขณะที่มีพารามิเตอร์ที่เปิดใช้งานเพียง 3B เท่านั้น Lance สามารถแสดงผลการสร้างและแก้ไขภาพและวิดีโอได้ดีที่สุดในเกือบทุกการทดสอบมาตรฐานเมื่อเทียบกับโมเดลแบบรวมแบบเปิดแหล่งที่มาอื่นๆ และผ่านการประสานงานแบบหลายงานเพื่อพิสูจน์แนวทางต้นทุนต่ำที่สามารถรักษาทั้งการสร้างและการเข้าใจเชิงความหมายไว้ได้แม้จะมีพารามิเตอร์น้อย (ที่มา: BlockBeats)