ProgramBench ใช้ตัวชี้วัดที่ไม่ค่อยมีประโยชน์หรือแปลกประหลาดอย่าง ARC-AGI > คะแนนหัวข้อของโมเดลทั้งหมด -> 0% > ดูรายละเอียด > Opus 4.6 และ 4.7 ผ่านโดยเฉลี่ยมากกว่า 50% ของการทดสอบต่อภารกิจ > ทำไม? > เพราะพวกเขาถือว่าภารกิจผ่านได้ก็ต่อเมื่อการทดสอบทั้งหมดสำเร็จ 100% และอย่างที่เราทุกคนรู้ ซอฟต์แวร์ไม่เคยทำงานได้อย่างสมบูรณ์แบบในรอบแรก มันยังคงเป็นแบบทดสอบที่ดีมาก แต่ฉันคิดว่าคะแนนหัวข้อจะค่อนข้างไม่มีประโยชน์ อย่างน้อยพวกเขาก็มีตัวชี้วัดอื่นๆ ที่ดีที่คุณสามารถติดตามได้