Sử dụng mô hình AI tùy chỉnh. Tôi đã dành vài tuần kiểm thử các mô hình mã hóa 8B–30B trên Azure A100s. Mô hình nào đã thay đổi kiến trúc của chúng tôi? Mô hình 137M tham số, được huấn luyện trong 3 phút 35 giây trên Mac mini M2 Pro. FastContext của Microsoft tiết lộ điểm nghẽn: việc khám phá kho lưu trữ có thể tiêu tốn tới 46,5% token của một tác nhân mã hóa. Các thí nghiệm đã công bố của họ giảm việc sử dụng tác nhân chính lên đến 60,3%. Tôi đã phát triển ý tưởng này xa hơn trong DeltaCode: → Go liệt kê ngữ cảnh kho lưu trữ hợp lệ → Bộ xếp hạng 137M tùy chỉnh xử lý việc chọn lựa thông thường → FastContext 4B chỉ xử lý các cuộc khám phá READ/GLOB/GREP mơ hồ → Qwen3 4B tùy chỉnh thực hiện kiểm tra tiền mã hóa → Các mô hình đắt tiền nhận được bằng chứng đã nén—không phải toàn bộ kho lưu trữ → Trình biên dịch và bài kiểm tra giữ quyền quyết định cuối cùng Bộ xếp hạng tùy chỉnh của tôi đạt được: • 57,97% Recall@5 bị khóa • +5,80 điểm so với mô hình gốc • +14,49 điểm trong Recall@1 • 73,33% Recall@5 trên các trường hợp bên ngoài được định tuyến • 0 quyền thực thi Sự khác biệt về hiệu suất là cực kỳ lớn: • Ít hơn 96,6% tham số so với bộ nhà thám hiểm 4B • Ít hơn 99,5% tham số so với mô hình 27B–30B • Chỉ 0,3225% tham số của nó được huấn luyện • Do đó 99,68% mô hình nền được giữ nguyên trạng • Toàn bộ chi phí A100 đã được tránh cho bộ điều hợp này • Ước tính giảm 35–55% token ngữ cảnh đám mây khi chuỗi xử lý các tìm kiếm kho lưu trữ thông thường tại chỗ* Các mô hình lớn không thất bại vì thiếu trí thông minh. Chúng thất bại vì chúng ta yêu cầu một mô hình thực hiện tất cả: khám phá, suy luận, định dạng, mã hóa, vận hành công cụ và tự xác minh. Các mô hình nhỏ chiến thắng vì mỗi mô hình chỉ có một nhiệm vụ đo lường được. Tôi đã dùng các thí nghiệm A100 đắt đỏ để học cách không cần tính toán đắt đỏ trong sản xuất. Tương lai của các tác nhân mã hóa có thể không phải là một LLM khổng lồ. Mà có thể là một đội ngũ các chuyên gia nhỏ—mỗi người được huấn luyện cho một nhiệm vụ, mỗi người được đo lường độc lập, và không ai được tin tưởng với quyền quyết định cuối cùng.