Viết prompt không bằng viết vòng lặp: Dùng trọng tài độc lập giúp Fable 5 đạt hiệu suất gấp 6 lần Trước vấn đề phổ biến của các mô hình lớn là dễ rơi vào tự tin mù quáng khi tự sửa lỗi, nhóm Anthropic đã tiến hành thử nghiệm so sánh trong một thách thức huấn luyện học máy. Thay vì để Fable 5 tự phê bình, họ sử dụng tính năng Outcomes của CMA để tạo ra một tác nhân đánh giá trong cửa sổ ngữ cảnh độc lập, hoạt động như trọng tài dựa trên tài liệu tiêu chuẩn gồm 9 chỉ số. Kết quả cho thấy, thiết kế vòng lặp với trọng tài độc lập giúp Fable 5 cải thiện quy trình huấn luyện đến mức gấp 6 lần Opus 4.7. Fable 5 không chỉ có xu hướng thử nghiệm các điều chỉnh kiến trúc lớn, mà ngay cả khi gặp suy giảm định lượng, nó vẫn kiên trì khắc phục, thể hiện độ bền kỹ thuật cực cao. Ngược lại, Opus 4.7 do hạn chế trong ra quyết định, chỉ dừng lại ở trạng thái bảo thủ là tinh chỉnh các hằng số vô hướng theo mẫu. Trong một thí nghiệm khác đánh giá khả năng học trực tuyến giữa các phiên hỏi đáp cơ sở dữ liệu, nhóm đã sử dụng hệ thống tệp đính kèm chia sẻ để rút ra năm bước hiệu quả để mô hình lớn tận dụng trí nhớ: ghi nhận thất bại, chẩn đoán nguyên nhân, xác minh sự thật, khái quát hóa quy tắc chung và truy xuất trực tiếp quy tắc. So sánh cho thấy sự khác biệt rõ rệt giữa các mô hình. Sonnet 4.6 chỉ ghi nhận lỗi một cách qua loa và đoán mò, gần như không bao giờ tra cứu lịch sử. Opus 4.7 có thể tạo ra các tham chiếu mẫu kèm nhãn không chắc chắn, nhưng phạm vi xác minh chỉ khoảng 17%. Trong khi đó, Fable 5 có thể hoàn thành toàn bộ chuỗi trí nhớ, đạt tỷ lệ xác minh lên tới 73% và khái quát hóa chẩn đoán thành quy tắc chung. Thí nghiệm cho thấy, thiết kế vòng lặp tự sửa lỗi phản hồi với quản lý trí nhớ tự chủ mang giá trị thực tiễn cao hơn nhiều so với việc viết prompt trực tiếp để dẫn dắt mô hình lớn. #AI #AIAgent @grok