วิธีการฝึกอบรม TST ของ Nous Research สร้างความขัดแย้งเนื่องจากมีความคล้ายคลึงกับงานก่อนหน้า

ข่าว ME วันที่ 14 พฤษภาคม (UTC+8) ตามการติดตามของ Beating Nous Research ได้เปิดตัวแนวทางการฝึกล่วงหน้าแบบใหม่สำหรับโมเดลขนาดใหญ่ชื่อว่า Token Stacking Training (TST) แนวทางนี้ใช้การบีบอัดและรวมคำที่อยู่ติดกันในช่วงเริ่มต้นของการฝึก ซึ่งสามารถลดเวลาการฝึกล่วงหน้าได้ 2 ถึง 3 เท่าภายใต้ปริมาณการคำนวณเท่าเดิม TST ประกอบด้วยสองขั้นตอน ในช่วง 20% ถึง 40% แรกของการฝึก โมเดลจะไม่อ่านคำทีละคำ แต่จะ “แพ็ก” คำที่อยู่ติดกันแล้วคำนวณค่าเฉลี่ยเพื่อป้อนเข้า และในส่วนเอาต์พุตจะทำนายว่าคำใดบ้างที่อยู่ในแพ็กถัดไป (โดยไม่คำนึงถึงลำดับภายใน) จากนั้น โมเดลจะกลับไปใช้การคาดการณ์คำถัดไปแบบปกติ เนื่องจากไม่มีการเปลี่ยนแปลงสถาปัตยกรรมพื้นฐาน โมเดลที่ได้จึงมีพฤติกรรมการให้บริการเหมือนกับโมเดลทั่วไปอย่างสมบูรณ์ วิธีนี้ได้รับการพิสูจน์แล้วบนโมเดล MoE ที่มีพารามิเตอร์สูงสุดถึง 10 พันล้านตัว แก่นแท้ของแนวทางนี้คือ “แลกข้อมูลเพื่อแลกพลังการคำนวณ” โดยเร่งความเร็วในการใช้ข้อมูลฝึกเพื่อประหยัดเวลาการคำนวณ หากในอนาคตข้อความคุณภาพสูงหมดลง คุณสมบัติในการใช้ข้อมูลอย่างรวดเร็วอาจกลายเป็นจุดอ่อน นอกจากนี้ ไม่กี่ชั่วโมงหลังจากเผยแพร่เอกสารวิจัย มีผู้อ่านระบุว่ากลไกของ TST มีความคล้ายคลึงอย่างมากกับงานก่อนหน้าที่เผยแพร่ในปี 2024 ชื่อ “Beyond Next Token Prediction” ทีมผู้เขียนจึงยอมรับบน Hugging Face ว่าเป็น “การวิจัยที่เกิดขึ้นพร้อมกันโดยบังเอิญ (convergent research)” และสัญญาว่าจะอัปเดตเอกสารเพื่อเพิ่มการอ้างอิงที่เกี่ยวข้อง (ที่มา: BlockBeats)