Google DeepMind เพิ่งเผยแพร่เอกสารวิจัยที่อาจเปลี่ยนวิธีที่โมเดลภาษาประมวลผลข้อความอย่างเงียบๆ เทคนิคนี้เรียกว่า “recirculation” ซึ่งนำค่าการกระตุ้นจากชั้นที่ลึกกว่าของ transformer กลับมาผสมกับชั้นที่ตื้นกว่าระหว่างการให้บริการ เอกสารนี้ ซึ่งร่วมเขียนกับนักวิจัยจากมหาวิทยาลัยเท็กซัสที่ออสติน แสดงให้เห็นว่าการเชื่อมต่อแบบวนซ้ำแบบเบาๆ นี้ให้ผลลัพธ์ที่ดีเทียบเท่า และในบางกรณีดีกว่า การปรับแต่งแบบเต็มรูปแบบ ไม่จำเป็นต้องฝึกใหม่ ไม่ต้องผ่าตัดโครงสร้างหลัก
การรีไซเคิลทำหน้าที่อะไรจริงๆ
การรีไซเคิลทำลายการไหลแบบทางเดียวของการประมวลผลของ transformer ค่าการกระตุ้นบางส่วนที่คำนวณได้ในชั้นที่ลึกกว่าของโมเดลจะถูกส่งกลับไปยังชั้นที่ตื้นกว่าระหว่างการสร้างโทเค็น โมเดลจึงได้รับโอกาสในการพิจารณาตัวแทนภายในของตนเองอีกครั้ง ซึ่งช่วยให้มันสามารถปรับปรุงสิ่งที่เอกสารเรียกว่า “สถานะความเชื่อ” ของมันผ่านหลายขั้นตอน
ความแตกต่างหลักจากวิธีการเดิมๆ เช่น การกระตุ้นแบบ chain-of-thought หรือสถาปัตยกรรม transformer แบบวนซ้ำ คือ recirculation ไม่ต้องการโทเค็นการให้เหตุผลเพิ่มเติมหรือความลึกของสถาปัตยกรรมที่เพิ่มขึ้น มันเป็นการปรับเปลี่ยนแบบเสริมที่ใช้กับวิธีการสรุปผล ไม่ใช่การดีไซน์ใหม่ของโมเดลโดยตรง
ตัวเลขเหล่านี้ยากที่จะมองข้าม
ทีม DeepMind ได้ทดสอบการรีไซเคิลบนครอบครัวโมเดล Gemma3 รวมถึงรุ่นที่มีพารามิเตอร์ 1B, 4B และ 12B การรีไซเคิลพื้นฐานช่วยลดค่า perplexity ลงประมาณ 8.5% บนชุดข้อมูลการสร้างแบบจำลองภาษาเก้าชุด โดยไม่เพิ่มความล่าช้าใดๆ ระหว่างการสร้าง
การรีไซเคิลแบบปรับตัวถูกผลักดันต่อไป ทำให้ค่าเพล็กซิลิตี้เฉลี่ยลดลง 23% บนชุดข้อมูลเดิมทั้งเก้าชุด ในบริบทเดียวกัน การปรับแต่งแบบเต็มรูปแบบสามารถลดได้เพียง 21.6% เท่านั้น ในงานด้านการให้เหตุผล ผลลัพธ์ของเกณฑ์ GSM8K เพิ่มขึ้น 21% เมื่อใช้การรีไซเคิลแบบปรับตัว
มีการแลกเปลี่ยนกัน การประมวลผลแบบล่วงหน้า ซึ่งเป็นขั้นตอนที่โมเดลประมวลผลคำสั่งเริ่มต้น จะกลายเป็นแบบอนุกรมภายใต้การหมุนเวียน ทำให้ต้นทุนเบื้องต้นในการประมวลผลคำสั่งเพิ่มขึ้น
ทำไมชุมชนปัญญาประดิษฐ์จึงให้ความสนใจ
เอกสารที่มีรหัส arXiv:2608.17981 ได้รับการจำลองซ้ำอย่างอิสระแล้ว การดำเนินการบน GitHub ยืนยันถึงผลลัพธ์ที่ดีขึ้นบนโมเดลภายนอกตระกูล Gemma รวมถึง Llama 3.2 1B การอภิปรายได้แพร่กระจายไปยังชุมชนวิจัยบน X และแพลตฟอร์มสื่อเทคโนโลยีจีน
การรีไซเคิลทำงานที่ระดับการเปิดใช้งาน ซึ่งอยู่ใต้พื้นผิวการสร้างโทเค็น ทำให้มันเสริมสร้างกับเทคนิคการกระตุ้น เช่น การให้เหตุผลแบบห่วงโซ่ของความคิด ซึ่งใช้โทเค็นเอาต์พุตและเพิ่มความล่าช้า