นักวิจัยหลักคนก่อนของ OpenAI: การวิจัยมนุษย์กับปัญญาประดิษฐ์อาจถูกแทนที่ภายในสองปี

เฮ้ ได้ยินข่าวไหม?

วันดีๆ ของนักวิจัยมนุษย์เหลืออีกไม่เกินสองปี

หลังจากสองปี มนุษย์จะศึกษา AI ราวกับที่มนุษย์เล่นหมากรุกในวันนี้

คุณยังสามารถสั่งซื้อได้ แต่ไม่มีใครสนใจเลยว่าคุณสั่งซื้อแบบไหน

นี่คือข้ออ้างล่าสุดที่ Jerry Tworek ซึ่งเคยเป็นผู้นำโมเดลการให้เหตุผลของ OpenAI ได้เสนอ

เขาเข้าร่วม OpenAI ในปี 2019 และอยู่มาตลอดเจ็ดปี ณ ขณะนั้น การเรียนรู้แบบเสริมแรงไม่สามารถขยายขนาดได้เลย แต่เขาติดแน่นและผลักดันจนสำเร็จ ทั้งรุ่น O1 และ O3 ซึ่งเป็นอาวุธหลักสองรุ่น ล้วนถูกพัฒนาโดยเขาเป็นผู้นำทีม

“เราต้องการสร้าง AGI” นี่คือแผนทั้งหมดที่ Ilya นำเสนอในการประชุมพนักงานทั้งหมดเมื่อเขาเพิ่งเข้าร่วม OpenAI ในปี 2019 หลังจากเจ็ดปี เขาก็ออกมาทำธุรกิจของตัวเอง

น่ากลัวกว่านั้น คำพูดนี้ไม่ได้ถูกพูดโดยเขาคนเดียว ตอนนี้แอบแฝงภายในกลุ่มนักวิจัย AI ที่ได้รับความนิยมมากที่สุดคือ

เรามีวันทำงานสุดท้ายเหลืออยู่อีกไม่กี่วัน 趁着ยังสามารถทำงานได้อยู่ ให้รีบทำให้เสร็จ แล้วเราจะพักผ่อนร่วมกันอย่างเต็มที่

ทุกคนเล่าเรื่องนี้กันเป็นความขบขันสีดำ แต่ทุกคนที่เล่าเรื่องนั้นรู้ดีในใจของตัวเอง

ความขบขันนี้ คงเป็นความจริงอย่างแน่นอน

และนี่ยังเป็นเพียงของเริ่มต้นเท่านั้น ในระหว่างการสัมภาษณ์ทั้งหมด เขาพูดคำพูดแบบนี้ต่อเนื่องกันไป

• ตัวแทนมีความคิดสร้างสรรค์จริง แต่เป็นความคิดสร้างสรรค์ที่คุณภาพต่ำมาก ยัดเยียดจำนวนมาก ความคิดหลากหลายแต่โดยทั่วไปแล้วแย่มาก
• ทั่วโลกที่แท้จริงที่สามารถนำโมเดลขั้นสูงจากขั้นตอนการฝึกฝนไปสู่การนำไปใช้งานจริง มีเพียงประมาณสามสิบถึงห้าสิบคน เท่านั้น ส่วนที่เหลือทั้งหมดต่างก็ช่วยเหลือพวกเขา
• การสมมติว่า Transformer เป็นคำตอบที่ดีที่สุดนั้นแทบเป็นไปไม่ได้
• ในช่วงเจ็ดปีที่อยู่ที่ OpenAI จำนวนครั้งที่จริงจังพยายามเปลี่ยนโครงสร้างพื้นฐาน มีเพียงสามถึงสี่ครั้ง
• โลกไม่จำเป็นต้องหมุนไปตามการที่เราต้องไปทำงาน สมมติฐานนี้ไม่ได้ถูกต้องตั้งแต่แรก

นี่คือเวอร์ชันที่จัดเรียงแล้ว โปรดเพลิดเพลิน

ตัวเลขนี้สองปี ไม่มีความเกี่ยวข้องกับคะแนนประสิทธิภาพ หรือกำลังการคำนวณ

เขาจำนวนว่าในงานวิจัยนี้ยังเหลืองานใดบ้างที่มนุษย์ยังต้องทำ

และงานนี้ถูกแบ่งออกเป็นสองส่วนตั้งแต่ก่อนหน้านี้แล้ว

ส่วนหนึ่งคือการคิดแผน ให้ชัดเจนว่าควรเดินทางไปทางไหน อีกส่วนคือการลงมือทำ แปลงความคิดให้เป็นโค้ดที่ทำงานได้แล้วดึงข้อมูลกลับมา

ส่วนส่วนที่เกี่ยวกับการทำงานนั้น ได้ถูกมอบหมายให้กับ Agent ไปแล้วโดยพื้นฐาน

Tworek ได้ก่อตั้งบริษัทชื่อ Core Automation ในเดือนเมษายนปีนี้ โดยมีสโลแกนว่า การสร้างห้องปฏิบัติการ AI ที่อัตโนมัติที่สุดในโลก

ที่นั่น ระยะเวลาทั้งหมดของหนึ่งการทดลองถูกลดจากหนึ่งเดือนเหลือเพียงหนึ่งวัน เสริมประสิทธิภาพขึ้นถึงสามสิบเท่า!

อย่างไรก็ตาม สำหรับส่วนการให้คำแนะนำนี้ ตัวแทนยังไม่สามารถรับได้ เนื่องจาก—

They definitely belong to the most creative species.

แต่พวกมันกำลังใช้ความคิดสร้างสรรค์อย่างสิ้นเปลืองในรูปแบบที่คุณภาพต่ำมากและสะสมอย่างมากมาย ความคิดมีหลากหลาย แต่โดยทั่วไปแล้วก็แย่มาก

ฟังดูแล้ว ส่วนที่เสนอความคิดดูเหมือนยังคงมั่นคง

แต่คนที่จริงๆ แล้วสามารถให้คำแนะนำได้ ก็เหลืออยู่ไม่กี่คน

ในการสัมภาษณ์ ผู้ดำเนินรายการเปิดเผยว่า มีนักวิจัยภายใน OpenAI ได้เปิดใจกับเขาไว้—

ทั่วโลกมีคนที่เข้าใจอย่างแท้จริงว่าจะฝึกและปรับใช้โมเดลขั้นสูงอย่างไร อาจมีเพียงสามสิบถึงห้าสิบคน

ทุกคนที่เหลือต่างช่วยงานสมองเหล่านี้ประมาณสิบกว่าคน รวมถึงพนักงานประจำส่วนใหญ่ในบริษัทที่เก่งที่สุด

Tworek ไม่โต้แย้ง

เขายังรู้สึกว่าทีมชั้นนำทุกทีมก็หมุนไปในลักษณะเดียวกัน ไม่กี่คนกำหนดทิศทาง ขณะที่ตามหลังคือเครื่องจักรการดำเนินการที่ส่งเสียงดังก้อง

รู้หรือไม่ว่าคนประมาณสิบคนนี้มีความต้องการสูงแค่ไหน แค่ดูรายชื่อผู้ที่เขาจ้างก็พอ

รohan Anil ผู้ร่วมก่อตั้ง Core Automation ซึ่งเคยทำงานที่ Anthropic และก่อนหน้านั้นที่ Google DeepMind

Anmol Gulati ซึ่งเคยทำงานกับ Gemini ที่ DeepMind ก็ถูกดึงตัวมาเช่นกัน แม้แต่ Julia Villagra หัวหน้าฝ่ายทรัพยากรบุคคลของ OpenAI ก็ตามไปด้วย

ห้องปฏิบัติการทั้งหมดต่างก็จับคนจากสระเดียวกัน และสระนี้มีปลาอยู่แค่ไม่กี่สิบตัวเท่านั้น

ดังนั้นตัวเลขนี้สองปี จึงไม่มีความเกี่ยวข้องกับมนุษยชาติทั้งหมด

พูดถึงคนประมาณสิบคนนี้ พวกเขาจะยังทนได้อีกนานแค่ไหน

เมื่อมนุษย์เหลือเพียงไม่กี่สิบคน กำแพงสุดท้ายที่ขวางทาง AI คืออะไร?

คำตอบของ Tworek มีเพียงคำเดียว คือ Transformer

ในมุมมองของเขา สิ่งนี้แทบเป็นไปไม่ได้ที่จะเป็นวิธีแก้ปัญหาที่ดีที่สุด

ก่อนอื่น โมเดลไม่สามารถเรียนรู้ต่อหลังจากการนำไปใช้งานแล้ว คุณจะคุยกับมันมากแค่ไหน มันก็จะไม่แข็งแกร่งขึ้น การสนทนาครั้งถัดไปก็ยังเป็นมันตัวเดิมๆ หน้าต่างบริบทก็ไม่สามารถรองรับได้ เขาบอกว่าเมื่อใช้ Codex ต่อเนื่องประมาณยี่สิบนาที ก็ต้องบีบอัดข้อมูลหนึ่งครั้ง

นอกจากนี้ หากต้องการชดเชยโดยการปรับเล็กน้อยอย่างต่อเนื่อง จะพบว่าไม่เพียงแต่มีประสิทธิภาพต่ำมาก แต่ยังเกิดการลืมอย่างหายนะ คือเรียนรู้สิ่งใหม่แล้วลืมสิ่งเก่า

ดังนั้นในช่วงไม่กี่ปีที่ผ่านมา งานส่วนใหญ่ที่อุตสาหกรรมทั้งหมดทำเกี่ยวกับ Transformer จริงๆ แล้วคือการทำให้มันถูกลง ไม่ค่อยมีใครจริงจังกับการทำให้มันแข็งแกร่งขึ้น

สิ่งที่ Tworek ต้องการจริงๆ นั้น ไม่ได้อยู่ที่โครงสร้างเอง

เขาต้องการโมเดลที่สามารถเรียนรู้ต่อได้ในช่วงทดสอบ คือโมเดลที่สามารถเติบโตต่อไปเรื่อยๆ จากการโต้ตอบของผู้ใช้และข้อมูลของผู้ใช้ การเปลี่ยนสถาปัตยกรรมเป็นเพียงวิธีการไปสู่สิ่งนั้น

หลักการเหล่านี้ไม่มีใครในอุตสาหกรรมไม่รู้ แต่ทำไมผ่านมากี่ปีแล้ว Transformer ยังยืนหยัดอยู่อย่างมั่นคง?

เหตุผลเบื้องหลังนั้นง่ายจนดูไร้สาระ—แทบไม่ได้ลองเลย

ในช่วงเจ็ดปีที่อยู่ที่ OpenAI มีเพียงสามถึงสี่ครั้งเท่านั้นที่พยายามเปลี่ยนโครงสร้างพื้นฐานอย่างจริงจัง

ขั้นตอนเป็นดังนี้

นักวิจัยเริ่มต้นด้วยการทดลองยืนยันขนาดเล็ก หลังจากเขียนเสร็จแล้วต้องรันอย่างน้อยสามเดือน เมื่อผลลัพธ์ดูน่าพอใจจึงกล้าขยายขนาด

และที่เรียกว่าการขยาย规模 คือคุณต้องใช้ปากพลิ้วของคุณโน้มน้าวคนประมาณสิบคนที่มีอำนาจตัดสินใจ จากนั้นคนเหล่านี้จะลงทุนสามถึงหกเดือนเข้าไปในหลุมลึกไร้จุดสิ้นสุดของคุณ

สุดท้ายแล้ว ไม่ก็ถูกแรงเหวี่ยงที่ Transformer สะสมไว้ตั้งแต่ก่อนหน้านี้บดขยี้ หรือไม่ก็ถูกดูดซับไปบางส่วน กลายเป็นสกรูตัวหนึ่งบนตัวมัน

เจ็ดปี สามถึงสี่ครั้ง นี่คือกำลังการผลิตทั้งหมดของห้องปฏิบัติการ AI ที่แข็งแกร่งที่สุดในโลก ในด้านนวัตกรรมสถาปัตยกรรม

"จาเร นำพลังการขุดเหล่านี้ไปใช้"

เขาเคยเจอกับสถานการณ์ที่เหมือนกัน完전히ใน OpenAI และสิ่งที่เปิดทางออกให้เขาคือประโยคหนึ่ง

ในขณะนั้น การทดลองชุดนั้นที่แทบจะไม่มีชีวิตชีวา ก็เริ่มแสดงสัญญาณของชีวิตขึ้นมาบ้าง ไม่ถึงกับดีนัก แต่ก็เริ่มมีทิศทางแล้ว

ในเวลานั้นเอง จาคูบ แพคอสกี ซึ่งต่อมาได้รับตำแหน่งหัวหน้านักวิทยาศาสตร์ของ OpenAI ได้หาเขา

"จาเร คุณเอา GPU เหล่านี้ทั้งหมดไปเลย ดูว่าคุณสามารถขยายผลลัพธ์ที่คุณมีให้ใหญ่ขึ้นและรุนแรงขึ้นอีกไหม"

“ตอนนี้คุณถือ GPU เหล่านี้อยู่” เขาพูดซ้ำประโยคนี้ขณะที่ o1 ยังไม่มีชื่อ

ประโยคนี้ช่วยดึงเขาออกจากความขัดแย้ง

คุณต้องแสดงผลลัพธ์ก่อนจึงจะมีสิทธิ์ขอพลังการคำนวณ

แต่คุณต้องมีพลังการคำนวณนั้นก่อนจึงจะได้ผลลัพธ์

ทวอเรกกล่าวว่า ทิศทางขั้นสูงส่วนใหญ่ติดอยู่กับปริศนานี้ การต่อสู้ลับๆ เพื่อแย่งชิงพลังการคำนวณในห้องปฏิบัติการ ที่สุดแล้วก็คือการตามหาทางออก

而出口，有时候就是领导层那么一 จุดจุด Confidence.

只要有人从上面发话，说我希望你能有一笔像样的算力配额去狠狠搞它。这就足够了。

เมื่อเปิดประตูขึ้นแล้ว ด้านหลังก็ควบคุมไม่อยู่

การเรียนรู้แบบเสริมแรงเริ่มต้นจากจุดนี้และเพิ่มขึ้นหลายระดับของขนาด

จากนั้น o1 ก็คลอดออกมาอย่างน่าอัศจรรย์ ทำให้เส้นทางของโมเดลการให้เหตุผล ซึ่งถูกหลายคนตัดสินว่าล้มเหลว กลับกลายเป็นประสบความสำเร็จ

หนึ่งแสนดอลลาร์สหรัฐ คุ้มค่ากับผู้เชี่ยวชาญ

และครั้งนี้ เขาไม่ต้องรอใครสั่งอีกแล้ว

ขั้นตอนที่ใช้เงินมากที่สุดบนโซ่ทั้งหมดคือการแปลงความคิดที่เป็นนามธรรมให้เป็นโค้ดที่สามารถทำงานได้จริง และนี่เองคือสิ่งที่เอเจนต์ในปัจจุบันทำได้ยอดเยี่ยมที่สุด

ตัวอย่างเช่น Core Automation เคยใช้กลยุทธ์นี้ในการเจาะลึกแกนของ GPU

โดยเฉพาะอย่างยิ่ง พวกเขาส่งเคอร์เนล QR decomposition ให้ตัวแทนโปรแกรมรันเป็นเวลาสี่สัปดาห์ ใช้ค่าใช้จ่ายในการเรียกใช้งานประมาณหนึ่งแสนดอลลาร์สหรัฐ และสุดท้ายก็เร่งความเร็วของเคอร์เนลนี้ให้เร็วขึ้นหกสิบเท่า

งานนี้เป็นงานด้านวิศวกรรมประสิทธิภาพระดับพื้นฐาน ซึ่งต้องปรับแต่งให้การคำนวณเมทริกซ์หนึ่งชุดทำงานเร็วขึ้นบนการ์ดจอ โดยทั่วไปต้องพึ่งผู้เชี่ยวชาญจำนวนน้อยมากในการปรับแต่งทีละบรรทัด

แต่ผู้เชี่ยวชาญแบบนี้ทั่วโลกมีไม่กี่คน

ตอนนี้ด้วยเงินสิบหมื่นดอลลาร์สหรัฐก็สามารถแทนที่ได้แล้ว มันไม่ต้องถูกโน้มน้าว ไม่ต้องรอสามถึงหกเดือน

อุปสรรคที่คั่งค้างมานานเจ็ดปี ก็ถูกทะลุผ่านไปแล้ว

แม้แต่โครงสร้างที่ยากที่สุดก็เริ่มคลายตัวแล้ว ดังนั้นพวงมาลัยที่อยู่ในมือของคนราวๆ หลายสิบคนก็จะไม่สามารถจับไว้ได้นานอีกต่อไป

ในตอนท้ายของการสัมภาษณ์ ผู้ดำเนินรายการได้ชี้ให้เห็นเรื่องนี้และถามเขาว่า เมื่อวันนั้นมาถึงจริงๆ แล้วมนุษย์จะเหลืออะไรให้ทำ

สำหรับเรื่องนี้ ทวอเรกได้อธิบายภาพสองภาพ

รูปแรกคือกรีกโบราณ

ทุกคนมาพบกันที่จัตุรัส คุยกันอย่างช้าๆ เกี่ยวกับปรัชญาทั้งวัน แล้วไปออกกำลังกาย รับประทานมะกอกและดื่มไวน์

เขาหัวเราะทันทีหลังบรรยายเสร็จ และยอมรับว่าคงเป็นเพียงการสะท้อนความปรารถนาของตัวเขาเอง

“เราเจอกันที่จัตุรัส แล้วคุยกัน” เขาพูดคำพูดต้นฉบับเกี่ยวกับชีวิตประจำวันของมนุษย์หลังยุค AGI แล้วหัวเราะเองก่อน

ใบที่สองคือมัธยมปลาย หรือมหาวิทยาลัย

เขาเชื่อว่ามนุษย์ควรรักษาความพยายามที่จะแสวงหาความยอดเยี่ยมอยู่เสมอ เรียนรู้สิ่งใหม่ๆ อย่างไม่อิ่มเอม และฝึกฝนทั้งร่างกายและสมองให้ถึงขีดสุด

มันคล้ายกับกีฬาอาชีพ ไม่มีเหตุผลทางเศรษฐกิจใดที่บังคับให้คุณต้องเหงื่อตกและเลือดไหล แต่ความภาคภูมิใจในตัวเองของมนุษย์คือการพยายามคว้าสิ่งที่เรียกว่า “ความยิ่งใหญ่”

เราต้องหาวิธีต่างๆ ในการทำสิ่งนี้

ในโลกถัดไป จะไม่มีสิ่งที่ว่า “ถ้าคุณไม่ทำ โลกนี้จะพัง” อีกต่อไป โลกจะดำเนินต่อไปบนโครงสร้างพื้นฐานที่เราได้สร้างไว้แล้ว

“เราควรเรียนรู้ต่อไปเรื่อยๆ” เขาพูดเรื่องนี้ราวกับเป็นหน้าที่ ไม่ใช่ความบันเทิง

จากนั้นเขาก็เปิดไพ่ล่างอย่างสงบ

เราต้องทำงานเพื่อให้โลกนี้ดำเนินไป สมมติฐานนี้ไม่จำเป็นต้องเป็นจริง

“หลายคนได้ค่าของตัวเองมาจากงาน” เขายอมรับว่านี่คืออุปสรรคที่ยากที่สุดที่ต้องข้ามผ่าน แม้แต่สำหรับตัวเขาเอง

พูดตามตรง หลังจากฟังครบทั้งหมด สิ่งที่ทำให้รู้สึกขนลุกที่สุดไม่ใช่สองปี

เขาเองก็รู้ว่าเขากำลังเหยียบคันเร่งให้กับนาฬิกานับถอยหลังนี้

สิ่งที่เขาต้องการสร้างนั้น นิยามคือสามารถเรียนรู้และพัฒนาตัวเองได้โดยไม่ต้องมีคนมาคอยให้ข้อมูลอีกต่อไป เมื่อสร้างเสร็จ ตำแหน่งของคนหลายสิบคนจะหายไปเร็วขึ้น

และเขายังมีอีกหนึ่งประโยคที่รุนแรงกว่านั้น คือคนแรกที่เขาตัดสินคือตัวเขาเอง

ถ้าคุณไม่ใช่ห้องปฏิบัติการที่มีกำลังการประมวลผลและขนาดใหญ่ที่สุด คุณจะล้มเหลวอย่างย่อยยับ

ในขณะที่พูดถึงเรื่องนี้ Core Automation เพิ่งก่อตั้งมาได้สี่เดือน และมีรายได้ในบัญชีเป็นศูนย์

เขาบอกว่าตั้งแต่เริ่มต้นธุรกิจ แทบทุกสัปดาห์จะมีคนมาพูดกับเขาว่า “จาเร ช้าเกินไปแล้ว บันไดที่จะขึ้นสู่สวรรค์ถูกดึงขึ้นไปแล้ว”

คำตอบของเขามีเพียงคำขวัญประจำตัวของเขาเท่านั้น

คนในบริษัทของเราชอบพูดว่า ทุกอย่างเป็นปัญหาทักษะ

สุดท้ายแล้ว อย่าโทษสภาพแวดล้อมโดยรวม ให้โทษตัวเองที่เทคนิคแย่เกินไป

อย่าพูดก็ได้ คำพูดนี้เมื่อใช้ในบทสัมภาษณ์ครั้งนี้ กลับมีความหมายบางอย่างที่น่าสนใจ

กลับไปดูประโยคแม่แบบที่เริ่มต้นอีกครั้ง

เรามีวันทำงานสุดท้ายเหลืออยู่อีกไม่กี่วัน ให้รีบทำให้เต็มที่ตอนนี้ยังทำได้

เราไม่สามารถรู้ได้ว่าท่าทางนั้นเต็มไปด้วยความตื่นเต้น หรือความโศกเศร้า

เพราะสำหรับคนที่พูดคำนั้น สองอารมณ์นั้นแท้จริงแล้วเป็นสิ่งเดียวกัน

Tworek กล่าวว่า จังหวะงานนี้ใช้พลังงานมากมาก ทำงานมานานหลายปี แทบจะเหนื่อยมากจนไม่ไหว

แต่ถ้าเรายังเชื่อจริงๆ นี่คือช่วงเวลาที่สำคัญที่สุดในอาชีพการงานของเราทั้งหมด

นั่นน่าจะคุ้มค่ามากเลยทีเดียว

ข้อมูลอ้างอิง:

https://x.com/MTSlive/status/2092387349623935322

บทความนี้มาจาก微信号 “ซินจีหยวน” โดยผู้เขียน: ASI Revelation และบรรณาธิการ: โมเสส