ชิป Jalapeño ของ OpenAI ทำงานมีประสิทธิภาพดีกว่า Blackwell ของ NVIDIA

ผู้เขียน: SemiAnalysis

แปลโดย: 深潮 TechFlow

คำแนะนำจาก Shenchao: ข้อมูลการทดสอบชิปการประมวลผลแบบพัฒนาเองชิ้นแรกของ OpenAI ชื่อ Jalapeño ถูกเปิดเผย ซึ่งมีประสิทธิภาพการใช้พลังงานเหนือชิปแฟลกชิพปัจจุบันของ NVIDIA อย่าง Blackwell อย่างชัดเจน และใกล้เคียงกับรุ่นถัดไปอย่าง Rubin สำหรับบริษัท AI ที่กำลังเผชิญกับข้อจำกัดด้านพลังงานในศูนย์ข้อมูล ชิปนี้อาจเปลี่ยนแปลงโครงสร้างตลาดการประมวลผลได้ แต่ยังคงเป็นคำถามว่าชิปรุ่นแรกนี้จะสามารถสั่นคลอนระบบนิเวศ CUDA ของ NVIDIA ได้จริงหรือไม่

ในสองปีที่ผ่านมา OpenAI ได้พัฒนา “Jalapeño” ชิปสำหรับการประมวลผลอย่างเงียบๆ และเพิ่งเปิดเผยที่งาน Hot Chips ข่าวลือเกี่ยวกับการผลิตชิปสำเร็จมีมานานแล้ว แต่ตอนนี้เราได้รับรายละเอียดเพิ่มเติม OpenAI ได้เชิญเราเข้าดูชิป เข้าห้องปฏิบัติการเพื่อยืนยันความจริงของมัน และทำการทดสอบประสิทธิภาพด้วยชุด InferenceX ของเรา

ในเดือนมิถุนายนปีนี้ OpenAI เปิดเผยโครงการชิปร่วมกับ Broadcom ซึ่งถูกออกแบบขึ้นตั้งแต่เริ่มต้นโดยเฉพาะสำหรับการให้บริการ LLM การออกแบบเริ่มขึ้นในช่วงกลางปี 2024 และใช้เวลาเพียงประมาณ 16 เดือนตั้งแต่การรับพนักงานทีมแรกจนถึงการผลิตชิป ซึ่งเป็นวงจรการพัฒนา ASIC ที่เร็วมาก

โดยทั่วไปแล้วชิปรุ่นแรกมักไม่มีความสามารถในการแข่งขัน แต่ OpenAI กลับทำในทางตรงกันข้าม โดยสามารถเอาชนะชิปทั้งหมดที่เราทดสอบจาก NVIDIA, AMD และ Google บนโมเดลโอเพ่นซอร์สชั้นนำหลายตัว และอยู่ในตำแหน่งผู้นำอุตสาหกรรม OpenAI ประสบความสำเร็จได้จากการออกแบบที่ประสานกันอย่างสุดยอดระหว่างซอฟต์แวร์และฮาร์ดแวร์ น่าประหลาดใจที่ OpenAI ไม่ได้มุ่งเน้นไปที่การปรับแต่งเฉพาะด้านใดด้านหนึ่งของการประมวลผลโมเดล แต่เน้นการพัฒนาชิปแบบสากลที่สามารถให้ประสิทธิภาพสูงในทุกสถานการณ์

บทความนี้จะเจาะลึกรายละเอียดสถาปัตยกรรม รายละเอียดซอฟต์แวร์ และผลลัพธ์ด้านประสิทธิภาพของ Jalapeño บน InferenceX

ทุกคนพูดว่าชิปของ OpenAI ถูกออกแบบมาเฉพาะสำหรับโมเดลของ OpenAI แต่นั่นผิด เพราะ OpenAI ได้พัฒนาชิปทั่วไปสำหรับการประมวลผล AI

เส้นเวลาเป็นเรื่องที่บ้ามาก ซึ่งแสดงให้เห็นว่าข้ออ้างเรื่อง “การเร่งการออกแบบชิปด้วย AI” นั้นเป็นความจริง แม้เส้นเวลาจะเร็วมาก แต่ OpenAI ได้ใช้เงินจำนวนมาก ตัดสินใจออกแบบอย่างเป็นรูปธรรม และทีมงานมีความแข็งแกร่งมาก จึงไม่น่าแปลกใจ

พิจารณาจากสเปกเพียงอย่างเดียว มันก็เป็นคู่แข่งที่แข็งแกร่งทันที:

และใช้ HBM4 ทำให้มันเพียงพอที่จะเทียบเคียงกับ GPU รุ่นแฟลกชิพของ NVIDIA และ AMD:

สื่อหลายแห่งรายงานเกี่ยวกับชิปนี้โดยอิงตามคำพูดแบบไม่เป็นทางการของ OpenAI ที่อ้างว่าชิปนี้จะปรับแต่งโมเดลของพวกเขาในวิธีที่ชิปอื่นๆ ทำไม่ได้ ซึ่งเป็นเรื่องผิด Jalapeño เป็นชิปการประมวลผลแบบทั่วไปที่สามารถรันโมเดลและงานต่างๆ ได้หลากหลาย รวมถึงการทดสอบมาตรฐาน InferenceX ของเรา—ซึ่งเราได้รันการทดสอบนี้ร่วมกับวิศวกรของ OpenAI ในห้องปฏิบัติการ อย่างเป็นกันเอง OpenAI ยังแสดงให้เราดูว่าชิปของพวกเขาสามารถรันเกม Doom ได้ โดยเกมนี้ถูกย้ายมาใช้งานบนชิปของพวกเขาด้วยคำสั่งของ Codex เท่านั้น

ด้านล่างคือผลลัพธ์ประสิทธิภาพต่อวัตต์ที่สำคัญที่สุดของเรา โดยพิจารณาจากปริมาณโทเค็นที่ประมวลผลได้ต่อการใช้พลังงานทั้งหมดหนึ่งเมกะวัตต์ Jalapeño โดดเด่นเหนือชิปอื่นๆ ทั้งหมด โดยไม่ได้ใช้การพยากรณ์โทเค็นหลายตัว (MTP) ในขณะที่ชิปอื่นๆ ในกราฟล้วนอยู่ในการตั้งค่าที่ดีที่สุดของ SKU แต่ละตัวและเปิดใช้งาน MTP ทั้งหมด

Jalapeño ในทุกสถานการณ์แทบทั้งหมด มีประสิทธิภาพต่อวัตต์เหนือ Blackwell โดยไม่ได้ปรับแต่งเฉพาะจุดใดจุดหนึ่งบนกราฟ มันไม่เพียงแต่แสดงประสิทธิภาพยอดเยี่ยมในสถานการณ์ที่ต้องการความล่าช้าต่ำ แต่ยังโดดเด่นในสถานการณ์ที่ต้องการปริมาณการผ่านข้อมูลสูง การเปรียบเทียบที่เป็นธรรมกว่าคือการดูผลลัพธ์การพยากรณ์ต่อโทเค็นเดียว Jalapeño ทำคะแนนเหนือคู่แข่งทุกรายอย่างห่างไกล ในสถานการณ์ที่มีการเชื่อมต่อพร้อมกันต่ำ Jalapeño แสดงความตอบสนองที่น่าทึ่งบนโมเดล DeepSeek R1 โดยมีจำนวนการเชื่อมต่อพร้อมกันเท่ากับ 1 ให้ได้มากกว่า 700 โทเค็นต่อผู้ใช้ต่อวินาที

ที่น่าอัศจรรย์คือ สิ่งทั้งหมดนี้ทำได้ด้วยการพยากรณ์แบบ token เดียว (STP) โดยไม่มีการถอดรหัสแบบคาดการณ์ หรือการแยกการเติมล่วงหน้าและการถอดรหัส นอกจาก DeepSeek R1 แล้ว เรายังเห็นโมเดลอื่นๆ อีกหลายตัว เช่น Kimi-K2.5 และ GPT-OSS ที่สามารถทำได้ประมาณ 1,400 token ต่อผู้ใช้ต่อวินาที ในโมเดลทั้งหมด เราได้ยืนยันว่าผลการประเมิน GSM8k ของ Jalapeño เทียบเท่ากับชิปของ NVIDIA

มีข้อควรระวังบางประการ ประการแรก ข้อมูลทั้งหมดมาจาก OpenAI เราได้ตรวจสอบการทำงานของ InferenceX ด้วยตนเองในห้องปฏิบัติการ แต่ไม่ได้รันชุดมาตรฐาน InferenceX แบบเต็มรูปแบบ รวมถึงไม่ได้เห็นผลลัพธ์ของ AgentX AgentX เป็นชุดมาตรฐานหลักที่เราใช้เปรียบเทียบประสิทธิภาพของชิป เนื่องจากชุดข้อมูลของมันมีบริบทยาวพิเศษและลักษณะหลายรอบ ซึ่งสามารถสะท้อนพฤติกรรมแคชภายใต้ภาระงานการผลิตจริง โครงสร้างที่แสดงผลดีบน 8k1k อาจแสดงผลแย่กว่าบน AgentX เพราะภาระงานการผลิตจริงจะทดสอบส่วนประกอบต่างๆ เช่น ตัวจัดเส้นทาง กลไกแคชคำนำหน้า การจัดการแคช และโครงสร้างพื้นฐานการถ่ายโอน การทดสอบ 8k1k แบบรอบเดียวไม่ครอบคลุมสิ่งเหล่านี้ สำหรับข้อมูลเพิ่มเติม กรุณาอ่านบทความเกี่ยวกับ AgentX ของเรา

AgentX - InferenceXv3: กำแพง CUDA ยังคงทนต่อการอนุมานตัวแทนได้อยู่ไหม?

ที่สอง เราเชื่อว่าการเปรียบเทียบกับ Blackwell นั้นไม่สมบูรณ์และไม่เป็นธรรมนัก คู่แข่งที่แท้จริงของ Jalapeño คือชิปเช่น Rubin ที่ใช้ HBM4 เช่นกัน ระบบ Vera Rubin ได้เริ่มจัดส่งให้ลูกค้าแล้ว ในขณะที่ Jalapeño ของ OpenAI ยังมีเพียงตัวอย่างทางวิศวกรรม และยังต้องใช้เวลาอีกสักพักก่อนจะผลิตในปริมาณมาก

ดังนั้น ประสิทธิภาพควรเปรียบเทียบกับ Rubin แทนที่จะเป็น Blackwell ในแง่หนึ่ง เราคาดการณ์ไว้แล้วว่าชิปแบบกำหนดเองอย่าง Jalapeño จะมีประสิทธิภาพเหนือกว่า Blackwell ประสิทธิภาพต่อวัตต์ของ Vera Rubin NVL72 สูงกว่า GB200 NVL72 ถึง 5.4 เท่า ซึ่งเราได้เขียนไว้ในบทความวิเคราะห์การเปิดตัวประสิทธิภาพของ NVIDIA และ CoreWeave เมื่อเดือนที่แล้ว เราจะเปรียบเทียบ Jalapeño กับข้อมูลประสิทธิภาพของ Vera Rubin ในเดือนกรกฎาคมในภายหลัง

Vera Rubin NVL72 เทียบกับ GB200 NVL72? การวิเคราะห์ TCO และสถาปัตยกรรม

ثالثly โมเดลที่ใช้ในการทดสอบไม่ได้อยู่ในระดับนำของแหล่งเปิดเผย NVIDIA และ AMD ได้เปิดเผยผลลัพธ์ของโมเดลที่ใหญ่กว่าผ่าน AgentX เช่น DeepSeek V4 Pro และ Kimi K3 ยิ่งโมเดลมีขนาดใหญ่และเผยแพร่ใหม่เท่าใด การรันบนชิปใหม่ก็ยิ่งซับซ้อนมากขึ้น อย่างไรก็ตาม โมเดลที่ OpenAI รันบน Jalapeño ก็ไม่ได้เล็กนัก

เป้าหมายการออกแบบของ OpenAI คือประสิทธิภาพต่อวัตต์ เหตุผลก็คือ OpenAI ปัจจุบันถูกจำกัดโดยพลังงานไฟฟ้าของศูนย์ข้อมูล ไม่ใช่งบประมาณหรือพื้นที่ห้องเซิร์ฟเวอร์ ดังนั้นจำนวนโทเค็นต่อเมกะวัตต์จึงมีความสำคัญอย่างยิ่ง ที่ Computex 2026 ฮวง เหรินซวิน กล่าวว่า ประสิทธิภาพต่อวัตต์ ความน่าเชื่อถือ และอายุการใช้งานยาวนานคือคุณสมบัติหลักของ GPU ในอนาคต เขาพูดว่า: “ถ้าคุณมีพลังงาน 1 กิกาวัตต์ ปริมาณข้อมูลที่ผ่านได้ต่อวัตต์คือรายได้” เขายังกล่าวเพิ่มเติมว่า การเลือกสถาปัตยกรรมที่ไม่เหมาะสมเพียงเพราะชิปถูกกว่านั้นไม่มีความหมาย

NVIDIA ยังเน้นจุดนี้ในการบรรยายเรื่อง Vera ที่ Hot Chips 2026 โดยแสดงกราฟรายได้เดียวกัน: “ศูนย์ข้อมูลในปัจจุบันถูกจำกัดด้วยพลังงาน” พลังงานมีความสำคัญอย่างยิ่งและขับเคลื่อนรายได้

ผู้ให้บริการไม่สามารถเพิ่มกำลังไฟฟ้าเป็นเมกะวัตต์ได้ง่ายๆ ระยะเวลาในการเพิ่ม GPU และเพิ่มความจุของกริดมีความแตกต่างกันอย่างมาก ขีดจำกัดด้านพลังงานของศูนย์ข้อมูลถูกจำกัดโดยหลายปัจจัย เช่น การเชื่อมต่อสาธารณูปโภค โครงสร้างพื้นฐาน ความสามารถในการระบายความร้อน และการออกแบบ UPS/เครื่องปั่นไฟสำรอง การล่าช้าของกริดมักเกิดขึ้นบ่อยกว่าความคืบหน้าของฮาร์ดแวร์และการก่อสร้าง ทำให้เกิดความต้องการด้านกำลังไฟฟ้าหลังมิเตอร์ นั่นคือ การสร้างเครื่องกังหันก๊าซและเครื่องปั่นไฟในสถานที่เองของศูนย์ข้อมูล กำลังไฟฟ้าเหล่านี้ตั้งอยู่หลังมิเตอร์ของสาธารณูปโภค และไม่พึ่งพากริดสาธารณะ ทำให้ผู้ให้บริการสามารถจ่ายไฟให้กับสถานที่ได้โดยไม่ต้องรอการเชื่อมต่อกริดและการอัปเกรดของสาธารณูปโภค นี่คือเหตุผลที่ Colossus 2 ของ xAI พึ่งพาพลังงานหลังมิเตอร์อย่างหนัก ในขณะที่การเชื่อมต่อกริดจริงยังล่าช้าอย่างมาก สำหรับข้อมูลเพิ่มเติมโปรดดูแบบจำลองพลังงานของเรา

ดังที่เราเขียนในโพสต์บน X tok/s/MW สามารถลดรูปเป็นจำนวนโทเค็นต่อจูล โดยที่วัตต์คือจูลต่อวินาที ดังนั้น tok/s/MW จึงแสดงถึงประสิทธิภาพของระบบและความสามารถในการแปลงพลังงานเป็นโทเค็น

ในด้านนี้ Jalapeño ยังเหนือกว่า Rubin แม้จะเปรียบเทียบกับ Rubin ก็ตาม ผลลัพธ์ของ Jalapeño จาก OpenAI ที่ส่งออก token throughput ต่อเมกะวัตต์ STP นั้นสูงกว่าผลลัพธ์ MTP ของ Vera Rubin ผลลัพธ์นี้ถูกเปิดเผยโดย NVIDIA และ CoreWeave ในเดือนกรกฎาคม และยังสูงกว่าผลลัพธ์ MTP ของ GB200 ในปี 2025 อย่างมาก เช่นเดียวกับที่เราได้กล่าวไว้ในบทความเกี่ยวกับ Vera Rubin การเปรียบเทียบระหว่าง VR กับผลลัพธ์ GB200 ปี 2025 เกิดขึ้นเพราะทั้งสองอยู่ในขั้นตอนเริ่มต้นที่คล้ายกัน การเปรียบเทียบกับ GB200 ปี 2025 ยังช่วยรักษาความสุกงอมของซอฟต์แวร์ให้คงที่ ตามเหตุผลนี้ เราจึงเปรียบเทียบผลลัพธ์สามประเภท ได้แก่ ผลลัพธ์ล่าสุดของ Vera Rubin ในเดือนกรกฎาคม 2026 ผลลัพธ์ GB200 ปี 2025 และผลลัพธ์ Jalapeño ปัจจุบัน การเปรียบเทียบนี้มีเหตุผลอย่างยิ่ง เพราะเป็นข้อมูล Rubin ที่ดีที่สุดที่เปิดเผยต่อสาธารณะ และ OpenAI เพิ่งเริ่มผลิตชิปของตนเองหลังจาก Rubin ทั้ง OpenAI และ Rubin ยังไม่สมบูรณ์เต็มที่ ดังนั้นประสิทธิภาพยังคงสามารถพัฒนาต่อไปได้

ในแง่ของประสิทธิภาพ/ต้นทุนการครอบครองทั้งหมด Vera Rubin และ Jalapeño แข่งขันกันอย่างเสมอภาค โดยผลิตจำนวนโทเค็นต่อเหรียญสหรัฐใกล้เคียงกันอย่างมาก อย่างไรก็ตาม ดังที่ได้กล่าวไว้ก่อนหน้านี้ ผลลัพธ์ของ Jalapeño ยังไม่ได้ใช้การถอดรหัสแบบคาดการณ์ ในขณะที่ผลลัพธ์ของ Vera Rubin ใช้การถอดรหัสแบบคาดการณ์ ซึ่งสามารถลดต้นทุนต่อโทเค็นได้ประมาณ 3-5 เท่า เมื่อ Jalapeño นำการถอดรหัสแบบคาดการณ์มาใช้ ต้นทุนในการให้บริการโทเค็นของมันจะมีประสิทธิภาพสูงกว่า แน่นอนว่าข้อได้เปรียบบางส่วนของ TCO มาจากการหลีกเลี่ยงกำไรสูงของ NVIDIA และหันไปใช้กำไรที่ต่ำกว่า (แต่ยังสูงอยู่) ของ Broadcom แต่นี่ไม่ใช่เหตุผลทั้งหมด ตัวอย่างเช่น โครงการ ASIC ด้าน AI ของ Meta และ Microsoft ได้ลงทุนนานกว่าแต่ยังไม่สามารถนำไปใช้งานจริงได้ ซึ่งแสดงให้เห็นว่าต้นทุนเป็นเพียงส่วนหนึ่งของสมการเท่านั้น สำหรับการแยกแยะ TCO แบบเต็มรูปแบบของ Jalapeño โปรดดูที่ SemiAnalysis AI Cloud TCO Model

ในเชิงสถาปัตยกรรม OpenAI เลือกที่จะไม่แยกการเตรียมล่วงหน้า (prefill) และการถอดรหัส (decode) ไปยังกลุ่มชิปที่ต่างกัน แบบจำลองร่างและแบบจำลองหลักใช้ชิปและโครงสร้างการเชื่อมต่อเดียวกัน แนวคิดการออกแบบนี้แลกเปลี่ยนประสิทธิภาพเชิงทฤษฎีบางส่วน เพื่อแลกกับความสะดวกในการดำเนินงานจริง แรงจูงใจอยู่ที่องค์ประกอบของภาระงานเปลี่ยนแปลงไปตามเวลา ตัวอย่างเช่น อัตราส่วนระหว่างอินพุต การเขียนแคช การอ่านแคช และโทเค็นเอาต์พุตได้เปลี่ยนแปลงอย่างมีนัยสำคัญ การเปลี่ยนแปลงนี้เกิดขึ้นหลังจากเราผ่านสามยุคของแบบจำลอง ได้แก่ ความรู้ การให้เหตุผล และเอเจนต์ ดังที่เราได้กล่าวถึงในบทความล่าสุด ดังนั้น หากกำหนดจำนวนชิปที่ไม่เหมือนกันสำหรับชิปสำหรับการเตรียมล่วงหน้าและชิปสำหรับการถอดรหัสไว้ล่วงหน้า จะส่งผลให้เกิดประสิทธิภาพต่ำลงตามเวลาที่ผ่านไป OpenAI จึงเลือกใช้กลุ่มชิปแบบเหมือนกันในสถาปัตยกรรมนี้ และมุ่งมั่นให้ชิปทำงานได้ดีในทุกภารกิจ

และมันก็ทำได้จริง โดยบน Kimi K2.5 (ซึ่ง Cursor Composer 2.5 ใช้โมเดลนี้) Jalapeño สามารถทำได้ใกล้เคียง 700 tok/s/user ความเร็วนี้เร็วกว่าชิปอันดับสองที่ 100 tok/s/user มากกว่า 9 เท่า

บน GPT-OSS อีกครั้งคือการชนะอย่างถล่มทลาย ค่าผ่านทางการโต้ตอบต่อเมกะวัตต์ของ Jalapeño ใกล้เคียงกับสองเท่าของจุดผ่านทางสูงสุดของ GB200 และมากกว่า 50 เท่าของจุดการประมวลผลพร้อมกัน 1 ของ GB200 จุด Jalapeño ที่มีการประมวลผลพร้อมกันสูงกว่าใช้ EP8

ผลลัพธ์เหล่านี้น่าประทับใจ! แต่เราต้องตั้งข้อสังเกตว่า: พวกมันเป็นเพียง 8k1k ซึ่งมีความยากในการปรับแต่งต่ำกว่ามาก และยังไม่มีข้อมูลการรัน AgentX ตามที่เราได้กล่าวไว้ในบทความ AgentX ภาระงานแบบหลายรอบและบริบทยาวจะสร้างแรงกดดันต่อส่วนต่างๆ ของสแต็กการให้บริการมากขึ้น เช่น ตัวจัดเส้นทางและแคชคำนำหน้า การแสดงประสิทธิภาพที่ดีในภาระงานตัวแทนต้องการการปรับปรุงเพิ่มเติม โปรดอ่านบทความ AgentX เพื่อทราบข้อมูลเพิ่มเติม

AgentX - InferenceXv3: คุ้มกัน CUDA จะยังคงรักษาตำแหน่งในกระบวนการอนุมานของตัวแทนได้หรือไม่?

ผลทั้งหมดเหล่านี้มาจากขั้นตอน A0 ของ Jalapeño ซึ่งเริ่มโครงการเพียง 9 เดือนเท่านั้น แต่ขั้นตอน B0 ขณะนี้อยู่ในโรงงานผลิตชิปแล้ว! การปรับปรุงในขั้นตอน B0 เพิ่มประสิทธิภาพต่อวัตต์ขึ้นประมาณ 25% เมื่อเปรียบเทียบกับชิป A0 รุ่นก่อนหน้า โดยเฉพาะอย่างยิ่ง ขั้นตอน B0 สามารถบรรลุ 13.4 PFLOPs ด้วย MXFP4 บนชิปที่มีขนาดแมสก์เดียว ชิปนี้ผลิตด้วยเทคโนโลยี TSMC N3P ในทางตรงกันข้าม ชิปคำนวณ Rubin เพียงชิปเดียวสามารถบรรลุ 17.5 PFLOPs ด้วย Dense Rubin NVFP4 ในขนาดที่คล้ายกันและบนโหนดเดียวกัน

พิจารณาว่า TDP ของ Jalapeño มีเพียง 700W เทียบกับ Rubin ที่อยู่ที่ 900-1150W ต่อชิปการคำนวณ ผลงานนี้จึงน่าประทับใจยิ่งขึ้น เนื่องจาก Jalapeño ออกแบบมาสำหรับการให้บริการเชิงตรรกะมากกว่าการฝึกอบรม OpenAI จึงไม่จำเป็นต้องเพิ่ม TDP เพื่อเพิ่ม FLOPs สูงสุด ซึ่งเข้าใจได้ แต่อย่างไรก็ตาม ผลลัพธ์ข้างต้นแสดงให้เห็นว่า Jalapeño ให้ FLOPs สูงสุดเชิงทฤษฎีที่น่าประทับใจ

เมื่อเปรียบเทียบโดยตรงกับอุปกรณ์เร่งความเร็วอื่นๆ Jalapeño มีแบนด์วิดธ์ HBM ต่อวัตต์สูงที่สุด และ FLOPs ต่อวัตต์สูงที่สุด ระดับนี้เทียบเท่ากับการตั้งค่า Rubin Max-Q ที่ 1800W

Jalapeño จะใช้ HBM4 และจะเป็นหนึ่งในชิปที่นำเทคโนโลยีนี้มาใช้ตั้งแต่เนิ่นๆ หลังจาก Nvidia และ AMD แม้แต่ยังนำหน้าโปรเจกต์ TPU และ Trainium ที่มีอยู่แล้ว หนึ่งในหลักการออกแบบหลักของ Jalapeño คือการใช้แบนด์วิดธ์ของ HBM ให้เต็มประสิทธิภาพ ดังนั้นการยอมรับ HBM ที่ไม่ใช่ระดับสูงสุดจะขัดแย้งกับเป้าหมายนี้ ทำให้แบนด์วิดธ์หน่วยความจำต่อแพ็กเกจสูงถึง 15.4 TB/s ซึ่งสูงกว่าอุปกรณ์เร่งความเร็วทั้งหมดที่ใช้ HBM3E ที่วางขายอยู่ในปัจจุบัน แบนด์วิดธ์ 15.4 TB/s บ่งชี้ว่า HBM4 ของมันสามารถบรรลุอัตราการส่งข้อมูลที่ขาเชื่อมต่อได้ถึง 10 Gbps ซึ่งสูงกว่าเล็กน้อยจากอัตรา 9.6 Gbps ของ HBM4 ใน Rubin ของ Nvidia HBM น่าจะจัดหาโดย Samsung

OpenAI ได้ทำการผลิต Jalapeño ในเดือนพฤศจิกายน 2025 โดยเฉพาะอย่างยิ่งเป็นการผลิตแบบ CoWoS ไม่ใช่เพียงแค่ชิปบนสุด หลังจากการผลิตในเดือนพฤศจิกายน 2025 และใช้เวลาเพียง 3 เดือนในการปรับแต่งบนซิลิคอนจริง OpenAI ได้รับผลลัพธ์ที่ยอดเยี่ยมด้วย Jalapeño ซึ่งยิ่งน่าประทับใจยิ่งขึ้นเมื่อพิจารณาว่าทีมงานเริ่มต้นจากศูนย์ในส่วนของซอฟต์แวร์สแต็ก

ในขณะเดียวกัน การผลิตชิป CoWoS ของ Rubin แล้วเสร็จในเดือนตุลาคม 2025 เร็วกว่าหนึ่งเดือน แต่ผลลัพธ์เบื้องต้นเพียงอย่างเดียวที่เราเห็นในขณะนี้มาจากการทดสอบต้นแบบของ CoreWeave Nvidia ไม่ได้อนุญาตให้เราทดสอบและเผยแพร่ผลการเปรียบเทียบเช่นเดียวกับ OpenAI ซึ่งบ่งชี้ว่าซอฟต์แวร์ชิปของพวกเขายังไม่สมบูรณ์ โดยพิจารณาจากความสามารถของ OpenAI ในการรันโมเดลใหม่ได้อย่างรวดเร็วบนชิปของตนเอง แนวป้องกันของ CUDA อาจได้หายไปแล้ว

พวกมันยังห่างไกลจากความเหมาะสมสูงสุด และเราสามารถเห็นได้ว่า Jalapeño โดยรวมให้ข้อมูลที่ดีกว่า เราไม่ได้คิดว่าฮาร์ดแวร์ของ Nvidia แย่กว่า แต่เป็นเพราะการพัฒนาซอฟต์แวร์ของ Jalapeño ก้าวหน้าเร็วกว่าของ Nvidia นี่แสดงให้เห็นพลังของการออกแบบร่วมกันระหว่างฮาร์ดแวร์และซอฟต์แวร์ ซึ่งเป็นพื้นที่หลักที่ทีม ASIC ของห้องปฏิบัติการชั้นนำสามารถก้าวข้ามผู้ผลิตชิปเชิงพาณิชย์ที่มีความ成熟มากกว่า ซึ่งดูเหมือนขัดกับสัญชาตญาณ แต่การเริ่มต้นจากศูนย์อาจทำให้ OpenAI ได้รับประโยชน์ เพราะสามารถตัดสินใจออกแบบสถาปัตยกรรมใหม่โดยไม่ต้องกังวลเรื่องความเข้ากันได้ย้อนหลังหรือเวอร์ชันซอฟต์แวร์เก่า

แม้ว่า OpenAI จะมีต้นแบบ Jalapeño แล้ว แต่การผลิตเชิงพาณิชย์มีแผนจะค่อยๆ เพิ่มขึ้นในปี 2027 โดยผลผลิตส่วนใหญ่ถูกจัดไว้สำหรับปลายปีหน้า สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับจำนวนหน่วยและราคาเฉลี่ยต่อหน่วย โปรดดูที่ SemiAnalysis Accelerator Model

สามารถกล่าวได้ว่า OpenAI Jalapeno เป็น ASIC ขนาดใหญ่จริงๆ

เมื่อเทียบกับเวลาของ Rubin ความเร็วของ Jalapeño นั้นน่าประหลาดใจมาก ดังที่แสดงไว้ก่อนหน้านี้ แม้ว่า Rubin จะเริ่มก่อน แต่ผลลัพธ์ของ Jalapeño ยังดีกว่า Rubin

โครงสร้าง Jalapeño

ในเชิงสถาปัตยกรรมลึก หน่วยประมวลผลเมทริกซ์ของชิปนี้ใช้รูปแบบค่าตัวเลข MXFP และอาร์เรย์พัลส์ที่เก็บน้ำหนัก คล้ายกับ TPU แต่เมื่อเปรียบเทียบโดยตรงกับ TPU มันรองรับรูปร่าง/มิติที่เล็กกว่า ซึ่งหมายความว่ามันจะไม่เกิดการลดลงอย่างฉับพลันของประสิทธิภาพที่ไม่ปกติเหมือนกับการคูณเมทริกซ์ที่รูปร่างไม่ตรงกันบนอาร์เรย์พัลส์ขนาดใหญ่กว่า

มันยังมีแกนสเกลาร์ 64 บิตและแกนเวกเตอร์ FP32/INT32 OpenAI ยังลงทุนในการออกแบบสำรองในระดับแทร็ก และมีการกู้คืนผลผลิตในระดับแกนและช่องทาง พวกเขาอ้างว่าการช่วยเหลือด้วย AI ในการออกแบบชิปช่วยลดพื้นที่ SIMD ลง 8% และพื้นที่แมทริกซ์เอ็นจินลดลง 10% แม้ว่าพวกเขาจะไม่ได้ระบุเงื่อนไข PVT (กระบวนการ/แรงดัน/อุณหภูมิ) อย่างชัดเจน แต่ก็ระบุว่าโมดูลที่ช่วยด้วย AI ปรับปรุงเวลาและกำลังไฟฟ้าเมื่อเทียบกับโมดูลเริ่มต้น

การออกแบบสถาปัตยกรรม Jalapeño มุ่งเน้นการกำจัดการถ่ายโอนหน่วยความจำของ KVCache และน้ำหนัก รวมถึงความล่าช้าและค่าใช้จ่ายที่คงที่ เพื่อให้สามารถเข้าใกล้พลังการคำนวณ/แบนด์วิดธ์สูงสุดดั้งเดิมได้มากกว่าอุปกรณ์เร่งความเร็วอื่นๆ แม้ในกรณีที่มีขนาดกลุ่มเล็กหรือรูปร่างเล็ก

แกนและ HBM ถูกแบ่งออกเป็นหลายชิ้น โดยแต่ละชิ้นของแกนจะมีมุมมองแบบท้องถิ่นที่มีความล่าช้าต่ำต่อชิ้น HBM ของตนเอง การซิงโครไนซ์ระหว่างชิ้นส่วนจะดำเนินการผ่านเครือข่ายการรวมกลุ่มเฉพาะที่มีแบนด์วิดธ์สูง โครงสร้างหน่วยความจำที่เรียบง่ายนี้ทำให้ Jalapeño มีข้อได้เปรียบเชิงศักยภาพอย่างมากเมื่อเทียบกับ GPU เนื่องจาก GPU ต้องผ่านระบบหน่วยความจำที่ซับซ้อน ทำให้เกิดความล่าช้าที่ต้องกระจายหรือซ่อนไว้บนรูปร่างขนาดใหญ่

การเลือกนี้เป็นไปได้ เพราะการซิงโครไนซ์ระหว่างแกนสามารถจำกัดไว้ที่การสื่อสารแบนด์วิดธ์สูงที่จำกัดและรู้จักได้ เช่น การสื่อสารแบบเทนเซอร์พาราเลลล์ที่สามารถทับซ้อนกับการคำนวณได้

นอกจากนี้ยังมี NoC ทั่วไปเพิ่มเติมสำหรับการสื่อสารทั่วไปและการเข้าถึงเครือข่ายขยาย โดยรวมแล้ว OpenAI ใช้พลังงานน้อยลงอย่างมากและได้รับการปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญเมื่อเทียบกับ Nvidia และ Google ผ่านระบบ NOC และหน่วยความจำที่ได้รับการลดความซับซ้อน

ในระดับแกนหลัก OpenAI อธิบายถึงแกนแบบเรียงลำดับไม่ตามลำดับ (OoO) ที่มีแคช L1 ซึ่งแตกต่างอย่างมากจากโมเดลที่พบในอุปกรณ์เร่งความเร็วอื่นๆ ที่มักใช้หน่วยความจำแคชที่จัดการโดยซอฟต์แวร์ พร้อมการสนับสนุน DMA แบบอะซิงโครนัส ข้อโต้แย้งที่นี่คือ สิ่งนี้ทำให้ Jalapeño หลีกเลี่ยงค่าใช้จ่ายคงที่ เช่น ความล่าช้าจากบาร์เรียร์ ซึ่งในอุปกรณ์เร่งความเร็วอื่นๆ เช่น GPU จะต้องซ่อนหรือกระจายค่าใช้จ่ายเหล่านี้โดยเพิ่มปริมาณงานต่อแกน ทำให้ยากขึ้นในการเข้าถึงแบนด์วิดธ์/พลังการประมวลผลสูงสุดแบบดั้งเดิม

ค่าใช้จ่ายคือ Jalapeño จึงต้องพึ่งการล่วงหน้าข้อมูลที่ดีเพื่อให้แน่ใจว่าคำขอหน่วยความจำมาถึงทันเวลา ซึ่งยากต่อการคาดการณ์และวิเคราะห์ อย่างไรก็ตาม ด้วยการใช้ Codex เพื่อดึงข้อมูลการติดตามรายละเอียดในกรอบที่เหมาะสม การค้นหาเคอร์เนลที่มีการล่วงหน้าข้อมูลที่ดีที่สุดสำหรับรูปร่างที่กำหนดอาจแทบไม่ต้องการการแทรกแซงจากมนุษย์ เราเชื่อว่านี่คือเหตุผลที่ OpenAI สามารถรัน DeepSeek R1, Kimi K2.5 และ GPT-OSS ได้อย่างรวดเร็วเช่นนี้

แกนยังรองรับมิติเมทริกซ์ที่ “เล็กกว่า” ซึ่ง (ขึ้นอยู่กับขนาดเล็กเพียงใด) ควรทำให้มันมีความยืดหยุ่นมากขึ้นต่อโมเดลและมิติของแบทช์ต่างๆ รวมถึงไม่อ่อนไหวต่อการจัดเรียงมิติเมทริกซ์ ค่าใช้จ่ายในการเติมเต็ม และประสิทธิภาพต่ำของการแบ่งส่วน เช่น ชิป TPU, Trainium และ Etched มีอาร์เรย์พัลส์ขนาดใหญ่มาก ซึ่งอาจต้องการแบทช์ขนาดใหญ่หรือมิติของโมเดลที่หารลงตัวเพื่อหลีกเลี่ยงประสิทธิภาพต่ำจากการแบ่งส่วน

ด้วย Jalapeño OpenAI มุ่งเน้นการกำจัดความล่าช้าคงที่ในระบบ เพื่อให้ใกล้เคียงกับประสิทธิภาพ roofline ให้มากที่สุดในทุกพื้นที่ของเส้นโค้ง Pareto ทฤษฎีแล้ว สิ่งนี้อาจสร้างข้อได้เปรียบเทียบกับ GPU ได้ที่จุดการทำงานหลายจุด:

ประสิทธิภาพสูงสุดสำหรับการให้บริการแบบหน่วงเวลาต่ำ/ปริมาณน้อยนั้นดีกว่า GPU อย่างมาก GPU ถูกจำกัดโดยค่าใช้จ่ายคงที่ เช่น หน่วงเวลาในการเริ่มต้น หน่วงเวลาของแบร์รีเออร์ และหน่วงเวลาของระบบหน่วยความจำ

แม้ในปริมาณมากหรือบริบทยาว ก็ยังมีศักยภาพที่จะเข้าใกล้ roofline ของฮาร์ดแวร์มากขึ้น

นี่มาพร้อมกับคำเตือน: แม้ว่าจะมีขีดจำกัดประสิทธิภาพเชิงทฤษฎี แต่เคอร์เนลจริงอาจยากต่อการบรรลุประสิทธิภาพนั้น ดังนั้นวิธีการของมันดูเหมือนว่า:

ออกแบบประสิทธิภาพสูงสุดสำหรับรูปแบบงานทั้งหมด

ให้ Codex รับผิดชอบงานหนัก และค้นหาเคอร์เนลที่ใช้ในการบรรลุขีดจำกัดนี้

ทีม OpenAI ได้เปิดใช้งานงานโหลด InferenceX บน Jalapeño ด้วยความเร็วในการหมุนเวียนที่สูงมาก

เราจึงรู้สึกมั่นใจในวิธีการนี้

หาก Jalapeño ประสบความสำเร็จ จะส่งสัญญาณที่ชัดเจน

ความหลงใหลของอุตสาหกรรมต่อโมเดลการเขียนโปรแกรมและคอมไพเลอร์ทั่วไปที่สมบูรณ์แบบ จะถูกทำลายโดยโมเดล AI ขั้นสูง

OpenAI เขียนเคอร์เนล Jalapeño เหมือนเขียนแอสเซมบลี

แต่ละเคอร์เนลประกอบด้วยโค้ดที่ปรับแต่งด้วยมือ บางส่วนประมาณ 3,000 บรรทัด

ยังมีการตรวจสอบความถูกต้องและการสนับสนุน sanitizer แบบกำหนดเอง

งานแกนกลางในระยะเริ่มต้นเป็นแบบที่มีมนุษย์เข้ามาเกี่ยวข้อง ไม่ใช่อัตโนมัติเต็มรูปแบบ

ต่อมาเปลี่ยนไปใช้เวอร์ชันภายในที่มีขนาดใหญ่ขึ้นของ Codex

OpenAI วางแผนที่จะขายเวอร์ชันนี้ให้กับลูกค้าองค์กร

ระบบ引擎ภายในชื่อว่า “Teacup”

ที่น่าสนใจคือ OpenAI ก่อนหน้านี้ไม่มีการใช้งานอินทรีย์ MLA ภายใน

จนกว่าพวกเขาจะใช้ InferenceX ในการทดสอบประสิทธิภาพของ DeepSeek

Codex สามารถเขียนเคอร์เนลที่ใช้งานได้และมีประสิทธิภาพอย่างรวดเร็ว โดยไม่ต้องให้ทีมวิศวกรรมเคอร์เนลเข้ามาเกี่ยวข้อง

นี่แสดงถึงความสามารถในการพัฒนาซอฟต์แวร์พิพิธภัณฑ์

OpenAI ใช้ Gluon ในการเขียนโปรแกรมให้กับ Jalapeño

Gluon เป็นภาษาโปรแกรมหลักของ OpenAI

Gluon ถูกสร้างขึ้นบน Triton และรักษาโมเดลการเขียนโปรแกรม SPMD (Single Program Multiple Data) ของ Triton

แต่มันเปิดเผยการจัดระเบียบการเขียนโปรแกรมพื้นฐาน

ตัวอย่างเช่นสำหรับ NVIDIA GPU มันมี API ที่แมปไปยังคำสั่ง PTX

รวมถึงคำสั่ง MMA, คำสั่ง TMA, และกลไก mbarrier

สิ่งที่ Gluon ให้มาอย่างเป็นเอกลักษณ์ที่สุดคือการจัดวาง

โดยทั่วไป การจัดวางจะกำหนดการจับคู่ระหว่างทรัพยากรฮาร์ดแวร์กับองค์ประกอบเทนเซอร์

ตัวอย่างเช่น รีจิสเตอร์ที่ 5 ของ Warp 9 ตรงกับองค์ประกอบเทนเซอร์ที่แถวที่ 6 คอลัมน์ที่ 7

การจัดวางแบบนามธรรมของ Gluon ใช้ Linear Layouts

นี่คือพีชคณิตการจัดวางที่ OpenAI คิดค้นขึ้น

Linear Layouts ได้รับการกำหนดอย่างเป็นทางการทางคณิตศาสตร์ว่าคืออะไร

และให้เครื่องมือสำหรับการจัดวางการดำเนินการ

สิ่งนี้รองรับฟีเจอร์หลายอย่าง เช่น การเปลี่ยนแปลงโครงสร้างที่พิสูจน์ได้ถูกต้อง

ยังมีการสวิซซิงหน่วยความจำที่ดีที่สุด

ในโมเดลการเขียนโปรแกรมของ Jalapeño โปรแกรม Gluon ทุกโปรแกรมจะถูกแมปไปยังเธรดถาวร

เราเชื่อว่านี่บ่งชี้ว่า Jalapeño เหมาะกับรูปแบบการเขียนโปรแกรมแกนอย่างยั่งยืน

แต่ละโปรแกรมจะดำเนินการบนหลาย tile โดยโปรแกรมเมอร์เป็นผู้จัดสรรงาน ไม่ใช่ตัวจัดการงานของฮาร์ดแวร์

OpenAI ได้กล่าวถึง TensorInfo

มันเป็นการจัดเรียงแบบเข้ารหัสอย่างชัดเจน

นี่อาจเป็นชุดเค้าโครงที่ออกแบบมาสำหรับ Jalapeño

มันจะถูกขับเคลื่อนโดย Linear Layouts

สุดท้าย แต่ละคอร์จะมีหน่วยการดึงข้อมูลล่วงหน้าและการแยกหน่วยเรียงลำดับแบบไม่เป็นระเบียบ

ตัวอย่างเช่น ผู้ใช้สามารถเขียนโปรแกรมรอข้อมูลที่ดึงล่วงหน้า

ข้อมูลนี้ถูกล็อกโดย semaphore

ความขัดแย้งของโชคชะตาคือ โมเดล OpenAI เช่น GPT 5.6 Sol ปัจจุบันทำงานบน NVIDIA GPU

它们ถูกใช้ในการออกแบบชิป ซึ่งเป็นภัยคุกคามที่แท้จริงต่อแนวป้องกันของ CUDA

GPU ของ NVIDIA กำลังเร่งความเร็วให้กับผู้สืบทอดรายต่อไปแบบเรียลไทม์

เมื่อเปรียบเทียบข้ามช่วงเวลา เราสามารถเห็นความเร็วในการพัฒนาของ Jalapeño ได้

ในเวลาไม่ถึงสองสัปดาห์ ปริมาณการประมวลผลของบางสถานการณ์การโต้ตอบเพิ่มขึ้นกว่าสองเท่า

แต่ละ tarball ที่เราได้รับจากทีม Jalapeño ล้วนบรรจุโลกที่น่าอัศจรรย์

ไม่เพียงแต่ประสิทธิภาพของแกนหลักจะดีขึ้น ทีม Jalapeño ยังเปิดใช้งาน TP32 ภายใน 8 วัน

ขยายจากโครงสร้าง TP8 ก่อนหน้าให้ครอบคลุมนอกเหนือจากระบบเดียว เพื่อให้สามารถรันโมเดลขนาดใหญ่ได้ในระดับชั้นเครื่อง

ความเร็วในการพัฒนานี้น่าประทับใจจริงๆ

เพื่อตรวจสอบประสิทธิภาพก่อนรันบนฮาร์ดแวร์จริง OpenAI ยังมีตัวจำลองชื่อ “chilisim”

ความแม่นยำอยู่ภายใน 5% ของฮาร์ดแวร์ที่ทดสอบจริง โดยใช้บัส trace ความกว้างคงที่

ความสามารถในการติดตามบน A0 มีจำกัด แต่ได้รับการปรับปรุงอย่างมากบน B0

สิ่งนี้อาจเป็นผลมาจากข้อมูลการดำเนินงานจริงของชิป A0

วิศวกรแสดงให้เห็นการรันโมเดลภายในผ่าน Codex CLI

มันมีชื่อเล่นว่า “Raiku” หรือ “5.3 Codex Spark” โดย TPOT อยู่ที่ 1.2 มิลลิวินาที

ทีมยังแสดงให้เห็นการสาธิตที่เขียนโดย Codex ทำงานโดยตรงบนชิป

รวมถึง Doom ที่ 36 FPS และการจำลองพลศาสตร์ของของไหล FP32

ยังมีการมองเห็นการลากเมาส์ “Liquid Light”

ในด้านโมเดล โครงการ megakernel ภายใน OpenAI มีชื่อเล่นว่า “gigakernel”

มันถูกสร้างขึ้นรอบๆ megakernel เดียว ซึ่งวนลูปบนอุปกรณ์เพื่อลดภาระของ CPU และเวลาเริ่มต้น

ทีมงานยังคงดำเนินการพัฒนาstrategies สำหรับการทดสอบต่อไป

ภายในมีความสนใจเป็นพิเศษเกี่ยวกับการประสานงานการใช้งาน 1 ล้านครั้ง

ก่อนหน้านี้เราได้กล่าวว่า OpenAI ไม่ได้ใช้การแยก prefill-decode บนชิปเหล่านี้

สิ่งนี้ทำให้เราประหลาดใจ เพราะประสิทธิภาพของ GPU จาก NVIDIA และ AMD ได้รับประโยชน์อย่างมากจาก PDD

แม้แต่บนฮาร์ดแวร์ที่เหมือนกัน

มาเจาะลึกกันว่าทำไมทีม Jalapeño ถึงทำเช่นนี้

เมื่อโหลดงานคงที่ การแยก prefill-decode ดูน่าดึงดูด

Prefill และ decode มีแรงกดที่ต่างกันต่อฮาร์ดแวร์

กำหนดแต่ละขั้นตอนไปยังสระที่ปรับแต่งแยกกัน เพื่อเพิ่มประสิทธิภาพภายใต้อัตราการป้อนข้อมูลและเอาต์พุตที่เลือก

แต่ปริมาณการผลิตจะไม่คงที่ในสัดส่วนนี้

ความยาวของลำดับการป้อนข้อมูลและเอาต์พุต ความพร้อมใช้งานแบบขนาน อัตราการเข้าถึงแคช อัตราการยอมรับการคาดการณ์ และเป้าหมายความล่าช้าเปลี่ยนแปลงตลอดทั้งวัน

เมื่ออุปกรณ์ถูกแบ่งเป็นกลุ่ม prefill และ decode ความต้องการ prefill ที่มากเกินไปจะทำให้ชิป decode ว่างเปล่า และคำขอจะถูกคิว

แต่หากมีความต้องการถอดรหัสมากเกินไป ก็จะตรงข้าม

ผู้ดำเนินการต้องคาดการณ์การแยกที่ถูกต้องอย่างต่อเนื่องและจัดเตรียมความจุสำรองสำหรับทั้งสองด้าน

และปรับสมดุลระบบซึ่งสัดส่วนที่ต้องการเปลี่ยนแปลงอยู่ตลอดเวลา

ในระบบเดียวกัน ทรัพยากรบางอย่างอาจถูกใช้งานไม่เต็มที่ในช่วงเวลาเฉพาะ

แต่ยังสามารถใช้อุปกรณ์แต่ละเครื่องเพื่อให้บริการคำขอถัดไปได้

ในระบบแยกส่วน ชิปทั้งชิ้นอาจถูกทิ้งไว้ไม่ใช้งานเพียงเพราะอยู่ในสระที่ผิด

การใช้งานในท้องถิ่นดูดีกว่า แต่การใช้งานแบบทั่วโลกอาจแย่มาก

การแยกยังจะทำลายความใกล้เคียง

prefill worker สร้าง KV cache ขนาดใหญ่ที่ decode worker ต้องการทันที

ระบบต้องส่งสถานะนี้ข้ามเครือข่ายก่อนที่การสร้างจะสามารถดำเนินต่อไปได้

สิ่งนี้เพิ่มการใช้งานแบนด์วิธ การซิงโครไนซ์ การรอคิว และพื้นที่ความล้มเหลวอีกแห่งหนึ่ง

ต้นทุนยังเพิ่มขึ้นตามความยาวของลำดับการป้อนเข้า เนื่องจาก KV cache กำลังขยายตัว

อย่างไรก็ตาม การหลีกเลี่ยงการเคลื่อนย้าย KV ส่วนใหญ่เป็นการปรับปรุงการใช้พลังงานและหน่วงเวลา

การย้าย KV บางส่วนสามารถเพิ่มการใช้งานฮาร์ดแวร์ แต่ต้องแลกด้วยการใช้พลังงานและหน่วงเวลาต่อคำขอ

Clusters ที่สามารถแลกเปลี่ยนกันได้สามารถถ่ายโอนความจุระหว่างคำขอที่ไวต่อความล่าช้าและชุดงานที่เน้นปริมาณการดำเนินการ

การแบ่งแบบคงที่จะทำให้ฮาร์ดแวร์ที่ไม่ได้ใช้งานเมื่อการรวมกันของปริมาณการจราจรเปลี่ยนแปลง

นอกจากนี้ การเปลี่ยนความยาวของบริบทจะปรับสมดุลระหว่าง attention กับ FFN

อัตราส่วนฮาร์ดแวร์คงที่ใดๆ จะมีประสิทธิภาพสูงเฉพาะใกล้จุดการออกแบบ

ข้อจำกัดเดียวกันนี้ยังใช้กับการถอดรหัสการเดิมพันด้วย แบบจำลองร่างต้องให้ token ที่เสนอโดยมีความล่าช้าต่ำมากต่อตัวตรวจสอบ การแยกทั้งสองออกเป็นสระเฉพาะต่างหากจะเปลี่ยนวงจรการถอดรหัสที่เชื่อมโยงอย่างแน่นหนาให้เป็นโปรโตคอลแบบกระจาย การสื่อสารและการประสานงานเพิ่มเติมอาจกินเวลาที่ประหยัดได้จากการใช้แบบจำลองร่าง การวางแบบจำลองทั้งสองบนอุปกรณ์เดียวกันและโครงสร้างที่มีความล่าช้าต่ำเท่านั้นจึงจะรักษาความใกล้ชิดที่ทำให้การเดิมพันมีความคุ้มค่า

อย่างไรก็ตาม ในสถานที่ที่มีความต้องการเพียงพอ คงที่ และสามารถคาดการณ์ได้ การแยกการเชื่อมต่อยังคงชนะได้ โดยเฉพาะเมื่อ GPU แบบดั้งเดิมต้องการปริมาณใหญ่และแบ่งเป็นชุดเพื่อให้ได้การผ่านข้อมูลที่ดี แต่นี่ไม่ใช่ของฟรี

ระบบ Jalapeño ประกอบด้วยชั้นหน่วยรั้วที่มีชั้นโฮสต์ CPU และชั้น ASIC ชั้นโฮสต์มีถาด CPU โฮสต์ชื่อ “Katsu” จำนวน 16 ถาด แต่ละ Katsu จับคู่กับถาด ASIC หนึ่งถาดทางด้านขวาที่เรียกว่า “Vindaloo” โฮสต์แต่ละตัวติดตั้ง CPU AMD EPYC ระดับ Turin สองตัว พร้อม DRAM 1.5TB, SSD E1.S 2 ตัว และ SSD M.2 2 ตัวต่อหนึ่งชั้น แต่ละถาดยังมีเครือข่ายหน้าจอ 400G (2x200G) ถาด Katsu แต่ละถาดเชื่อมต่อกับถาด Vindaloo แต่ละถาดผ่านสาย DAC PCIe ภายนอก 8 เส้น สายเหล่านี้ถูกจัดเรียงในแนวระนาบที่ด้านหน้าของชั้น การออกแบบระดับระบบทำร่วมกับ Celestica

ชั้น ASIC ประกอบด้วยถาด Vindaloo 16 ถาด และถาดสวิตช์ขยาย 8 ถาด (6 ท้องถิ่น + 2 ทั่วโลก) ซึ่งมีชื่อว่า “Chana” แต่ละถาด Vindaloo มี ASIC Jalapeño 8 ตัว ทำให้แต่ละชั้นมี ASIC Jalapeño ทั้งหมด 128 ตัว ASIC เชื่อมต่อผ่านแผ่นหลังแบบทองแดงกับถาดสวิตช์แต่ละชั้นของ Chana คล้ายกับ Nvidia’s Oberon โครงสร้างการขยายแบ่งเป็นโดเมนท้องถิ่นและโดเมนทั่วโลก โดเมนท้องถิ่นครอบคลุม ASIC 128 ตัวภายในชั้น ส่วนโดเมนทั่วโลกเชื่อมต่อได้สูงสุด 16 ชั้นหรือ 2,048 ASIC เราจะอธิบายแบนด์วิดธ์และโครงสร้างอย่างละเอียดยิ่งขึ้นด้านล่าง

การจ่ายไฟให้กับชั้นวางเครื่องแม่ข่ายข้างเคียงอยู่ที่ประมาณ 50kW (31kW ในระหว่างการผลิต) ชั้นวาง ASIC ใช้พลังงาน 130kW ระบบชั้นวางคู่ทั้งหมดใช้พลังงานประมาณ 160kW จากมุมมองการใช้พลังงาน นี่เทียบเท่ากับชั้นวาง GB300 แบบกว้างคู่

OpenAI สามารถเชื่อมต่อ XPU ได้สูงสุด 2,048 ตัวภายในเครือข่ายขยายเดียว เครือข่ายขยายประกอบด้วยสองโดเมน โดเมนท้องถิ่นเชื่อมต่อ XPU ทั้งหมด 128 ตัวภายในแร็คผ่านแบ็กแพนเนล ส่วนโดเมนทั่วโลกใช้การเชื่อมต่อแบบผสมระหว่างสายทองแดงและอินเตอร์คอนเนคต์แบบแสง เพื่อเชื่อมต่อ XPU 2,048 ตัวจาก 16 แร็ค แต่ละแร็คประกอบด้วยชุดสวิตช์ Chana 8 ชุด ชุดสวิตช์ Chana 6 ชุดกลางใช้สำหรับโดเมนท้องถิ่น โดยแต่ละชุดมี ASIC สวิตช์ Tomahawk 6 ความเร็ว 102.4T ส่วนชุดสวิตช์ Chana 2 ชุดบนและล่างใช้สำหรับโดเมนทั่วโลก เราเชื่อว่าอาจเป็นสวิตช์ Tomahawk 6 จำนวน 2 ตัวที่มีความเร็ว 102.4T แต่ละตัว ทำให้ความเร็วสูงสุดของชุดสวิตช์แต่ละชุดอยู่ที่ 204.8T

ในพื้นที่ท้องถิ่น ชิป Jalapeño 128 ชิ้นต่อ XPU มีแบนด์วิดธ์แบบทิศทางเดียว 4.8 Tb/s ซึ่งเชื่อมต่อในรูปแบบเต็มต่อเต็มกับ ASIC Tomahawk 6 จำนวน 6 ตัวที่มีแบนด์วิดธ์ 102.4 Tb/s ซึ่งเทียบเท่ากับการเชื่อมต่อแบบ DP ทั้งชายและหญิง 48 คู่ต่อ XPU โดยรวมแล้วมีสายทองแดงแบบพาสซีฟจำนวน 6,144 คู่ DP สำหรับการขยายขอบเขตในพื้นที่ท้องถิ่น

ในโดเมนทั่วโลก ชั้นวาง 16 ชั้น รวม 2,048 XPU ถูกเชื่อมต่อผ่านแผ่นหลังทองแดง สวิตช์ไฟฟ้า 204.8T TH6 โมดูลแสง 1.6T และสวิตช์วงจรแสง แบนด์วิดธ์แบบทิศทางเดียวของลิงก์ทั่วโลกต่อ XPU คือ 1.6Tb/s กล่าวคือ XPU แต่ละตัวมีตัวเชื่อมต่อผู้ชายและผู้หญิงแบบต่างศักย์ (DP) 16 คู่สำหรับการเชื่อมต่อแผ่นหลังระหว่าง XPU กับสวิตช์ทั่วโลก สวิตช์ทั่วโลกแต่ละถาดมี ASIC 2 ตัว โดยแบนด์วิดธ์ขาออกจะถูกแบ่งระหว่างแผ่นหลังกับอุปกรณ์แสงด้านหน้า

ระหว่างโดเมนท้องถิ่นและโดเมนทั่วโลก มีตัวเชื่อมต่อแบ็คพลาน์ต่อแร็คจำนวน 64 คู่ DP ต่อ XPU รวมทั้งหมดมีสายทองแดงแบบพาสซีฟ 8,192 คู่ DP ต่อแร็ค

โดเมนทั่วโลกใช้สถาปัตยกรรม rail แบบบริสุทธิ์ ประกอบด้วย rail 8 เส้นในโดเมนทั่วโลก เราเชื่อว่า OpenAI ใช้สวิตช์แสงแบบออปติคัล (OCS) ที่ติดตั้งบนแต่ละแร็คเพื่อส่งเส้นทางแสงในโดเมนทั่วโลก แบนด์วิดธ์ทั่วโลก 1.6 Tb/s ของแต่ละ XPU จะผ่านแผ่นหลังทองแดงไปยังถาดสวิตช์ทั่วโลก จากนั้นจะออกจากสวิตช์ผ่านโมดูลแสง 1.6T บนแผ่นหน้า ซึ่งจะเข้าสู่สวิตช์แสงแบบพาสซีฟก่อนออกจากรัก ทำให้สามารถขยายขนาดโดเมนเป็น 2,048 XPU โดยประกอบด้วย 16 แร็ค แต่ละแร็คมี 128 XPU

เนื่องจากเครือข่ายขยายมีสัดส่วนเพียงประมาณ 10% ของต้นทุนระบบโดยรวม ความยืดหยุ่นนี้จึงให้ทางเลือกที่มีค่าสำหรับโมเดลพารามิเตอร์ขนาด 10 ถึง 20 ล้านล้านหรือหน้าต่างบริบท 2 ล้านถึง 4 ล้านโทเค็นในอนาคต ในด้านการปรับใช้ OpenAI ร่วมมือกับ neocloud นอกจากนี้ยังร่วมกับพันธมิตรศูนย์ข้อมูลเก็บข้อมูลความน่าเชื่อถือเมื่อหนึ่งเดือนก่อน พร้อมกับปรับปรุงเวลาการปรับใช้ตั้งแต่ท่าเรือจนถึงชั้นวาง

ต่อไป เราจะพูดถึงอนาคตของ Jalapeño ซึ่งโทเค็นการผลิตชิ้นแรกกำลังจะมาถึง เป้าหมายถัดไปคือ 100MW อุปสรรคหลักอยู่ที่ฮาร์ดแวร์: พวกเขาสามารถผลิตได้เท่าใด สามารถติดตั้งและดำเนินการศูนย์ข้อมูลได้ดีแค่ไหน และจะจัดการกับการตรวจสอบและความทนทานอย่างไร ซอฟต์แวร์ได้รับการยืนยันแล้ว และมีโมเดลภายใน ข้อได้เปรียบด้านซอฟต์แวร์ใดๆ ก็สามารถตามทันได้ง่าย หลังจากผ่านกำแพงการชำระเงิน เราจะพูดถึงผลกระทบต่อบริษัทชิปอย่าง NVIDIA, AMD, Cerebras ซึ่งได้ลงนามสัญญากับ OpenAI ในอีกไม่กี่ปีข้างหน้า

เรายังรวมการผลิต ปริมาณ และตารางเวลาของชิปรุ่นถัดไปในโมเดล Accelerator

ส่วนที่ตามมาเป็นเนื้อหาที่ต้องชำระเงิน แต่เนื่องจากข้อจำกัดด้านสิทธิ์ จึงไม่มีการแปลเพิ่มเติม ในขณะที่ส่วนก่อนหน้านี้ได้ให้ข้อมูลจำนวนมากเกี่ยวกับความท้าทายของ OpenAI ต่อชิปของ NVIDIA สำหรับผู้ที่ติดตามภาคชิปและหุ้นของ NVIDIA ข้อมูลเหล่านี้จะให้ข้อมูลอ้างอิงที่ใหม่และน่าเชื่อถือ