Mô hình Claude của Anthropic gặp thách thức kỹ thuật trong tạo mã và độ tin cậy của tác nhân

Anthropic gần đây đang đối mặt với nhiều thách thức kỹ thuật đối với các mô hình Claude. Việc tạo mã bị giảm tính linh hoạt do ràng buộc nhúng watermark; cơ chế adaptive thinking của Sonnet 5 cho phép điều chỉnh mức độ đầu tư tính toán khác nhau trên cùng một mô hình, làm mờ ranh giới năng lực giữa các dòng sản phẩm; ngữ cảnh 1M dường như dồi dào, nhưng trong các phiên Agent dài, mô hình thực tế chỉ có thể sử dụng hiệu quả khoảng 20%-30%, sau đó xuất hiện tình trạng hỗn loạn trạng thái và bỏ sót; khi nén ngữ cảnh, khó phân biệt thông tin nào vẫn còn hiệu lực, các giả định tạm thời có thể bị nhầm thành sự thật; sau khi Agent chủ động thay đổi môi trường, mô hình bắt đầu phân tích những lỗi mới mà chính nó tạo ra thay vì vấn đề ban đầu. Bài viết chỉ ra rằng độ tin cậy của Agent dài ngày càng phụ thuộc vào độ rõ ràng của trạng thái, tính khả thi của việc xác minh hành động và khả năng hoàn nguyên lỗi, thay vì chỉ dựa vào hiệu suất từng bước của mô hình.

Tác giả bài viết, nguồn: Leiphone

Điều gây phiền toái hơn việc điểm mô hình giảm là mô hình vẫn đang được nâng cấp, nhưng người dùng lại bắt đầu cảm thấy ngày càng khó sử dụng.

Anthropic gần đây có chút mùi vị như vậy.

Vài ngày qua, một bài đăng trên X đã tổng hợp một số phản hồi tiêu biểu về Claude trong thời gian gần đây: văn bản và mã bắt đầu được thêm các nhãn có thể đọc được bởi máy, trải nghiệm thực tế của Sonnet 5 không theo kịp với sự ồn ào của các bản nâng cấp mô hình, Fable 5 được bán với giá cao hơn nhưng khó thấy rõ điểm vượt trội so với Opus 5; còn một phản hồi gây chú ý hơn nữa là Fable 5 chỉ sử dụng khoảng 20%–30% khả năng ngữ cảnh, sau đó hiệu suất bắt đầu giảm xuống.

Những việc này về bề ngoài dường như không liên quan đến nhau, một cái giống như vấn đề cơ chế sinh ra, một cái giống như vấn đề năng lực mô hình, một cái giống như vấn đề định giá, và còn một cái thì rõ ràng là do chuỗi dài gặp trục trặc.

Nhưng khi xem xét trong bối cảnh công nghệ hiện tại của Claude, chúng thực sự bị kẹt ở 5 vị trí rất cụ thể: mô hình tạo ra đầu ra như thế nào, bao nhiêu tính toán sẵn sàng chi tiêu trong suy luận, tại sao các mô hình khác nhau ngày càng khó phân tầng, tại sao ngữ cảnh dài lại ngừng hoạt động trước khi đầy, và tại sao khả năng trong các thí nghiệm thường bị giảm sút khi áp dụng vào các nhiệm vụ Agent thực tế.

Vì vậy, vấn đề gần đây của Anthropic có lẽ không đơn giản là “mô hình bị suy giảm”. Mà giống như sau khi Claude ngày càng mạnh mẽ, việc tạo ra, tính toán, ngữ cảnh và thời gian chạy Agent bắt đầu kéo nhau tụt hậu.

01

Các nhãn có thể đọc bởi máy được đặt trong văn bản thông thường, thách thức kỹ thuật là vừa giữ lại tín hiệu ổn định, vừa cố gắng không làm thay đổi chất lượng sinh ra. Khi chuyển sang mã, vấn đề này trở nên rõ ràng khó hơn, vì phân bố token giữa ngôn ngữ tự nhiên và mã không giống nhau.

Bài luận: https://arxiv.org/pdf/2301.10226

Ngôn ngữ tự nhiên thường có nhiều ứng viên có nghĩa gần nhau. Cùng một ý nghĩa có thể thay đổi từ ngữ, điều chỉnh thứ tự câu, và mô hình có độ dư thừa sinh nhất định ở nhiều vị trí. Một trong những ý tưởng phổ biến của watermark văn bản là tận dụng sự dư thừa này, điều chỉnh nhẹ xác suất lấy mẫu giữa các token có thể chấp nhận được, và tích lũy đủ dài để để lại quy luật thống kê.

Mã code lại có rất nhiều vị trí entropy thấp. Sau khi khai báo biến, các lần tham chiếu sau đó gần như chỉ có thể sử dụng cùng một tên; các trường JSON, dấu ngoặc kép và dấu ngoặc bị ràng buộc bởi cấu trúc nghiêm ngặt; các tham số hàm phải phù hợp với giao diện; trong đường dẫn, biểu thức chính quy, SQL, lệnh Shell, một token thay đổi có thể trực tiếp thay đổi hành vi.

Từ góc độ phân phối xác suất, các vị trí này thường rất sắc nhọn. Token đúng chiếm xác suất cao, các ứng cử viên khác không phải là cách diễn đạt khác, mà có thể hoàn toàn sai. Do đó, giới hạn cốt lõi mà nước dấu mã gặp phải thực chất là dung lượng mã hóa.

Nếu một vị trí chỉ có một đầu ra hợp lý, nó gần như không có không gian để mang thêm tín hiệu; nếu hệ thống chỉ nhúng dấu tại các vị trí có entropy cao, lại gặp vấn đề về mã ngắn, tỷ lệ token có cấu trúc cao và thiếu vị trí có thể tận dụng.

Do đó, sẽ có sự đánh đổi trực tiếp giữa độ mạnh của tín hiệu, chất lượng sinh và khả năng chống chỉnh sửa: tín hiệu quá yếu sẽ khó phát hiện, ràng buộc quá mạnh có thể ảnh hưởng đến việc sinh chính xác, trong khi muốn duy trì khả năng phát hiện sau khi định dạng lại hoặc chỉnh sửa cục bộ thì cần thêm độ dư thừa tín hiệu cao hơn.

Anthropic không công khai cách Claude đánh dấu văn bản thay đổi quá trình lấy mẫu, do đó không thể trực tiếp gán sự thay đổi chất lượng của Claude Code cho một thuật toán gắn nhãn cụ thể nào.

Điều chắc chắn ở đây là một thay đổi khác: việc tạo mã đang đồng thời gánh vác ngày càng nhiều ràng buộc. Ngoài tính đúng đắn về ngữ nghĩa và thực thi, nó còn có thể cần tuân theo các giao thức công cụ, định dạng có cấu trúc, quy tắc bảo mật và nhãn nguồn, trong khi mức độ tự do mà chính mã có thể hấp thụ những ràng buộc bổ sung này thấp hơn nhiều so với ngôn ngữ tự nhiên.

02

Sự thay đổi mang lại bởi adaptive thinking của Sonnet 5 không chỉ đơn thuần là khiến mô hình suy nghĩ lâu hơn một chút.

Trước đây, khi nói đến Sonnet, Opus, Fable, rất dễ hiểu chúng như những điểm năng lực cố định. Bây giờ khi thêm effort, cùng một mô hình có thể nằm trong các khoảng compute khác nhau tại thời điểm kiểm tra, chính mô hình đã không còn đại diện đầy đủ cho lượng năng lực thực tế được đầu tư trong một yêu cầu.

Liên kết tham khảo: https://platform.claude.com/docs/en/build-with-claude/effort

Sự thay đổi này đặc biệt rõ ràng trong Coding Agent. Khi đối mặt với một lỗi, Claude không chỉ cần tạo ra phương án sửa đổi, mà còn phải quyết định đọc những tệp nào, theo dõi chuỗi gọi nào, giữ lại bao nhiêu giả thuyết khả dĩ, có nên chạy bài kiểm tra hay không, có tiếp tục kiểm tra các phụ thuộc hay không, và khi nào thì cho rằng bằng chứng đã đủ.

Các hành động này có thể được xem như một cây tìm kiếm. Việc đầu tư tính toán ít hơn có nghĩa là cắt bỏ nhánh sớm hơn và đưa ra phán đoán nhanh hơn; đầu tư nhiều hơn cho phép mô hình tiếp tục tìm kiếm và xác minh, giảm xác suất thực hiện hành động khi bằng chứng chưa đủ.

Liên kết tham khảo: https://platform.claude.com/docs/en/build-with-claude/effort

Do đó effort không điều chỉnh đơn thuần độ dài của thinking, mà là phạm vi tìm kiếm mà một nhiệm vụ Agent được phép mở rộng. Điều này sẽ trực tiếp thay đổi phân cấp mô hình của Anthropic.

If a regular coding task is already easy for Opus, increasing effort will likely allow Opus to quickly enter the performance plateau. Even with a stronger base model, Fable has little remaining difficulty to convert into a noticeable experience gap.

Người dùng phải trả chênh lệch giá giữa các mẫu ngay từ khi bắt đầu yêu cầu. Do đó, Fable dễ thể hiện giá trị hơn khi xử lý các nhiệm vụ như mã nguồn lạ, lập kế hoạch nhiều giai đoạn, thao tác qua nhiều công cụ, thực hiện tự chủ trong thời gian dài, và các nhiệm vụ cần phục hồi sau khi xảy ra lỗi.

Liên kết tham khảo: https://www.anthropic.com/news/claude-opus-5

Điều này có nghĩa là những gì mô hình cấp cao đang bán đang thay đổi. Nó không còn chỉ bán “đáp án mạnh hơn trong đợt này”, mà còn là độ tin cậy bổ sung trong các quỹ đạo phức tạp hơn.

Vấn đề nằm ở chỗ, lợi thế này cần nhiệm vụ đủ dài để phát huy tác dụng, và khi nhiệm vụ kéo dài, khả năng của mô hình không còn là yếu tố quyết định duy nhất, trạng thái ngữ cảnh bắt đầu đóng vai trò cốt lõi.

03

Khi thấy 1M context, dễ hiểu nó như một bộ nhớ làm việc khổng lồ, do đó khi Claude chỉ sử dụng 200K hoặc 300K token đã bắt đầu bỏ sót, lặp lại hoặc xuất hiện hỗn loạn trạng thái, điều này trông rất phi trực giác.

Tuy nhiên, cửa sổ ngữ cảnh đo lường dung lượng, không phải tính nhất quán trạng thái. Các phiên Agent dài không phải là một tài liệu tĩnh, mà là một lịch sử thực thi được bổ sung liên tục.

Liên kết tham khảo: https://platform.claude.com/docs/en/build-with-claude/context-windows

Một tệp có thể được sửa đổi nhiều lần; một lỗi ban đầu được xác định là vấn đề về bộ nhớ đệm, sau đó phát hiện ra xuất phát từ tình trạng đồng thời; một bài kiểm tra có thể ban đầu thất bại, sau đó thành công, rồi lại thất bại do các thay đổi mới. Nội dung cũ không tự động bị xóa khi trạng thái thay đổi, nội dung mới chỉ được thêm vào phía sau.

Vấn đề ở đây không chỉ là truy xuất. Mô hình không chỉ cần tìm thông tin liên quan đến nhiệm vụ hiện tại, mà còn phải xác định xem những thông tin này hiện vẫn còn hiệu lực hay không.

Các hàm phiên bản cũ và phiên bản mới rất tương đồng, nhật ký kiểm thử cũ và nhật ký kiểm thử mới chứa rất nhiều token giống nhau, các phân tích đã bị bác bỏ cũng có thể có liên quan về mặt ngữ nghĩa đến vấn đề hiện tại. Attention không khó để tìm ra những nội dung này, khó khăn nằm ở việc xác định mối quan hệ bao phủ giữa chúng.

Cơ sở dữ liệu có thể duy trì trạng thái hiện tại thông qua phiên bản, thời gian cập nhật, giao dịch và các trường rõ ràng, trong khi ngữ cảnh ngôn ngữ tự nhiên thường không có cấu trúc như vậy. Nó gần giống với nhật ký chỉ thêm vào, và mô hình cần tự mình khôi phục thế giới hiện tại từ thứ tự sự kiện.

Liên kết tham khảo: https://platform.claude.com/docs/en/build-with-claude/context-windows

Do đó, độ phức tạp của ngữ cảnh dài không đơn giản tương ứng với tỷ lệ chiếm dụng token. Một tài liệu tĩnh 250K token có thể dễ xử lý hơn nhiều so với lịch sử Agent 250K token, vì后者 chứa nhiều đối tượng đã được sửa đổi, các phán đoán giai đoạn, kết quả công cụ và trạng thái đã hết hiệu lực.

Thinking history sẽ còn làm tăng thêm độ phức tạp này. Những gì được lưu trữ trong phiên không chỉ là “đã xảy ra gì”, mà còn có thể bao gồm “lúc đó tại sao lại đưa ra phán đoán như vậy”. Nếu lập luận sớm được xây dựng trên một giả định sau này bị bác bỏ, thì phần lập luận đó vẫn có thể tiếp tục tham gia vào các phán đoán tiếp theo do có liên quan cao đến vấn đề hiện tại.

Vì vậy, giới hạn thực sự của 1M context không chỉ là có thể chứa bao nhiêu thông tin, mà còn là liệu mô hình có thể ổn định khôi phục phiên bản hiện tại khi cùng một đối tượng ngày càng có nhiều phiên bản lịch sử hơn hay không.

04

Khi context tiếp tục tăng trưởng, compaction trông giống như một giải pháp tự nhiên: nén lại lịch sử cũ và tiếp tục thực thi. Tuy nhiên, compaction trong bối cảnh Agent không giống với tóm tắt thông thường.

Khi tóm tắt bài viết, việc bỏ sót một ví dụ chỉ ảnh hưởng đến mức độ đầy đủ của thông tin; nhưng khi nén quỹ đạo của Agent, việc bỏ sót một ràng buộc vẫn còn hiệu lực có thể làm thay đổi hoàn toàn các đường dẫn thực thi sau đó.

Liên kết tham khảo: https://platform.claude.com/cookbook/tool-use-context-engineering-context-engineering-tools

Vì compaction phải giải quyết không phải là “nội dung nào quan trọng”, mà là “nội dung nào hiện tại vẫn còn hiệu lực”. Trong một lịch sử có thể đồng thời tồn tại các nhiệm vụ đã hoàn thành, các phán quyết sau này bị đảo ngược, các ràng buộc giao diện vẫn còn hiệu lực, các kết quả kiểm tra đã hết hạn và các workaround tạm thời. Bộ nén cần sắp xếp lại các trạng thái thời gian này thành một biểu diễn có thể tiếp tục được sử dụng cho vòng tiếp theo.

Nếu “hiện đang nghi ngờ vấn đề đến từ bộ nhớ đệm” bị rút gọn thành “vấn đề đến từ bộ nhớ đệm”, giả định tạm thời sẽ trở thành sự thật; nếu một giải pháp đã bị loại bỏ vẫn được đưa vào tóm tắt, các Agent sau này có thể tiếp tục thực hiện theo con đường cũ; nếu một hạn chế quan trọng nào đó không được đưa vào tóm tắt, mô hình thậm chí sẽ không còn thấy nó nữa.

Vì vậy, chỉ số quan trọng của compaction không phải là tỷ lệ nén, mà là độ trung thực trạng thái. Đây cũng là lý do tại sao Git, kiểm thử, tệp nhiệm vụ, bộ nhớ và handoff có cấu trúc ngày càng trở nên quan trọng trong các Agent dài hạn.

Chúng không chỉ đơn thuần tăng thêm thông tin mà mô hình có thể thấy, mà còn chuyển một số trạng thái cần duy trì lâu dài từ lịch sử ngôn ngữ tự nhiên sang hệ thống bên ngoài. Git xác định phiên bản mã hiện tại, bài kiểm tra đưa ra kết quả có thể xác minh, tệp nhiệm vụ ghi lại tình trạng hoàn thành, trạng thái có cấu trúc phân biệt kết luận hiện tại và các nỗ lực trong quá khứ.

Bối cảnh có thể lưu giữ lịch sử phong phú, nhưng không thể đảm nhận trách nhiệm quản lý trạng thái toàn bộ trong thời gian dài.

Liên kết tham khảo: https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents

05

Các câu hỏi trước vẫn có thể được hiểu là cách mô hình xử lý đầu vào. Agent tiến thêm một bước nữa vì nó chủ động thay đổi môi trường.

Trong trò chuyện thông thường, khi mô hình trả lời sai một lần, lỗi thường chỉ tồn tại trong văn bản đầu ra. Agent có thể sửa mã, thực hiện lệnh, cài đặt phụ thuộc, điều chỉnh cấu hình, rồi đọc các kết quả mới được tạo ra từ những hành động này.

Do đó, lỗi không còn chỉ là lỗi phán đoán, mà còn trở thành sự thay đổi môi trường. Giả sử Claude đã nhầm một bug thành vấn đề bộ nhớ đệm, nên đã sửa đổi logic bộ nhớ đệm, cơ chế thử lại và một vài điểm gọi. Sau đó, các bài kiểm tra xuất hiện một loạt ngoại lệ mới.

Những bất thường này là có thật, nhưng chúng không phải là hệ quả tự nhiên của lỗi ban đầu, mà do các lần sửa đổi trước đó tạo ra. Điều này khiến Agent rơi vào một chế độ thất bại rất đặc biệt: mô hình bắt đầu phân tích phân phối dữ liệu mà chính nó tạo ra.

Liên kết tham khảo: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

Nếu nó có thể nhận diện “những lỗi mới này xuất hiện sau lần sửa đổi trước đó”, thì có thể hoàn tác và kiểm tra lại giả định ban đầu; nếu không thiết lập được mối quan hệ nhân quả này, thì có thể tiếp tục coi những lỗi mới là các vấn đề độc lập và sửa chữa từng cái một.

Lúc này, từng bước thao tác cục bộ đều có thể có căn cứ, nhưng toàn bộ quỹ đạo nhiệm vụ đã偏离 vấn đề ban đầu. Do đó, độ tin cậy của Agent dài không thể chỉ dựa vào tỷ lệ chính xác từng bước. Quan trọng hơn là sau khi lỗi xâm nhập vào môi trường, hệ thống có thể phát hiện, xác định nguyên nhân và phục hồi hay không.

Git diff có thể cho mô hình biết những thay đổi nào vừa xảy ra, các bài kiểm tra có thể xác minh xem hành vi nào đã bị phá vỡ, checkpoint và rollback có thể giới hạn sự lan rộng của lỗi, trong khi evaluator độc lập cung cấp thêm kiểm tra ngoài phần giải thích của chính mô hình.

Về bản chất, các thành phần này nhằm tăng khả năng tự sửa lỗi theo vòng khép kín cho Agent.

Liên kết tham khảo: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

06

Nhiều benchmark đo lường điều này: với một môi trường đã được khởi tạo sẵn, mô hình có thể hoàn thành nhiệm vụ hay không. Agent thực tế gặp thêm một cấp độ khó khăn: môi trường sẽ liên tục thay đổi theo các hành động của chính mô hình. Do đó, hai mô hình có tỷ lệ thành công cuối cùng gần nhau có thể mang lại trải nghiệm thực tế hoàn toàn khác biệt.

Một mô hình có thể ban đầu đưa ra phán đoán rất chính xác, nhưng một khi sai lầm thì liên tục sửa chữa theo hướng sai lệch; một mô hình khác, dù từng bước không nhất thiết mạnh hơn rõ rệt, lại có thể nhanh chóng phát hiện ra một lần sửa đổi đã tạo ra vấn đề mới, sau đó hoàn nguyên và chọn lại con đường khác.

Chỉ nhìn vào điểm kết thúc, rất khó để phân biệt hai hành vi này. Nếu nhiệm vụ của Agent kéo dài hơn, các chỉ số có ý nghĩa hơn sẽ trở thành: sau khi nén, có bao nhiêu trạng thái quan trọng được giữ lại; sau khi xảy ra sửa đổi sai, có thể tìm ra bước nào đã gây ra lỗi không; liệu trạng thái nhiệm vụ nội bộ có tiếp tục đồng bộ với môi trường thực tế khi số lần gọi công cụ tăng lên; và sau khi lệch hướng, cần trả giá bao nhiêu để khôi phục.

Các chỉ số này không đo lường một phản hồi có thông minh đến đâu, mà là một quỹ đạo có thể duy trì sự kiểm soát được hay không.

Tóm lại, một số vấn đề gần đây được tiết lộ bởi Anthropic thực chất nằm ở các cấp độ khác nhau. Sau khi những vấn đề này tập trung xuất hiện, các giới hạn kỹ thuật của Claude cũng bắt đầu thay đổi.

Trước đây, vấn đề chủ yếu là hỏi liệu mô hình có thể giải được một câu hỏi cụ thể hay không, giờ đây, thách thức khó hơn là: sau khi nhiệm vụ chạy hàng giờ, qua hàng chục vòng gọi công cụ, vài lần nén trạng thái và nhiều lần sửa đổi mã, hệ thống vẫn có thể duy trì một phiên bản đáng tin cậy về thế giới hiện tại hay không.

Khả năng mô hình tiếp tục tăng trưởng, chỉ có thể nâng cao giới hạn của từng bước phán đoán. Trong khi đó, việc Agent dài có hoạt động ổn định hay không ngày càng phụ thuộc vào một bộ khả năng khác: trạng thái có rõ ràng không, hành động có thể xác minh được không, lỗi có thể hoàn nguyên được không.