Báo trắng của Microsoft cho thấy hiệu suất của Claude giảm mà không có Harness

iconBitPush
Chia sẻ
AI summary iconTóm tắt
Microsoft đã công bố một bản trắng kỹ thuật vào ngày 7 tháng 11 năm 2026, cho thấy các chỉ báo kỹ thuật như Harness được sử dụng trong Copilot Studio ảnh hưởng trực tiếp đến hiệu suất AI. Mô hình Claude Opus 4.8 tương tự ghi nhận mức tăng 22,1 điểm phần trăm trong tỷ lệ thành công của các nhiệm vụ phức tạp dưới hệ thống mới, với lượng token đầu vào giảm 21%. Báo cáo nhấn mạnh vai trò của Harness trong việc cải thiện hiệu quả, đặc biệt khi lãi suất và chi phí phát triển ảnh hưởng đến việc triển khai mô hình.

Ngày 7 tháng 11, Microsoft đã công bố một bản trắng kỹ thuật về hệ thống thực thi Agent, bao gồm một loạt kết quả kiểm tra khá bất ngờ: cùng sử dụng Claude Opus 4.8, chỉ cần thay thế Harness phía sau Copilot Studio, tỷ lệ hoàn thành các nhiệm vụ phức tạp đã tăng 22,1 điểm phần trăm. Hệ thống mới gần như gấp đôi số lần gọi mô hình cho mỗi nhiệm vụ, nhưng lượng Token đầu vào đã giảm 21% khi tính theo tỷ lệ quy đổi.

Mới mười ngày trước, Microsoft vừa công bố việc triển khai Copilot Harness thống nhất đến nhiều sản phẩm của mình và bán dịch vụ được quản lý qua nền tảng đám mây cho các nhà phát triển.

Ngày 5 tháng 11, Moonshot vừa ra mắt Kimi Hosted Agents, chính thức đề xuất Harness as a Service. Tháng 8, DeepSeek đã mở nguồn Harness của riêng mình; OpenAI và Anthropic đã sớm hơn nhiều khi biến hệ thống vận hành nội bộ thành dịch vụ có thể gọi bởi các nhà phát triển.

Hệ thống vận hành đằng sau mô hình lớn đang trở thành nhân vật then chốt trong mắt các công ty mô hình.

Báo trắng của Microsoft chứng minh: Thay thế Harness, cùng một Claude cho hiệu suất kém rõ rệt

Hình ảnh được tạo bởi AI

01 Tấn công Harness

Harness có thể được hiểu là một hệ thống chạy Agent được xây dựng xung quanh mô hình lớn. Nó cho phép mô hình sử dụng các công cụ bên ngoài, thực hiện liên tục các nhiệm vụ nhiều bước và điều chỉnh hành động tiếp theo dựa trên kết quả thực hiện. Đối với các Agent cần chạy trong thời gian dài, Harness còn chịu trách nhiệm lưu trạng thái nhiệm vụ để công việc có thể tiếp tục sau khi bị gián đoạn.

Nó nằm ở cấp độ khác với các ứng dụng AI. Ví dụ, các sản phẩm như Claude Code và WorkBuddy trực tiếp hướng đến người dùng, trong khi Harness nền tảng có thể được tái sử dụng bởi nhiều ứng dụng khác nhau hoặc cung cấp như một dịch vụ độc lập cho các nhà phát triển. Khi các tác vụ do Agent đảm nhiệm ngày càng phức tạp, Harness dần trở thành yếu tố quan trọng ảnh hưởng đến tỷ lệ thành công của nhiệm vụ, hiệu suất thực thi và chi phí vận hành.

Anthropic là một trong những công ty mô hình đầu tiên đầu tư vào việc phát triển Harness, ban đầu nhằm giải quyết các vấn đề gặp phải bởi Claude Code trong các nhiệm vụ lập trình kéo dài.

Cuối năm 2025, Anthropic phát hiện rằng khi cửa sổ ngữ cảnh của Claude hết hạn, các cuộc hội thoại mới thường không thể tiếp nối công việc trước đó. Các kỹ sư đã cải tiến Harness phía sau Claude Code, giúp Agent lưu tiến độ trước khi kết thúc mỗi giai đoạn, sau đó đọc lại các bản ghi này trong cuộc hội thoại tiếp theo để tiếp tục hoàn thành các nhiệm vụ chưa hoàn tất. Nhờ đó, ngay cả khi một phiên mô hình kết thúc, toàn bộ nhiệm vụ lập trình vẫn có thể tiếp tục được thúc đẩy.

Tháng 4 năm nay, Anthropic đã ra mắt thêm Managed Agents, cung cấp khả năng chạy Agent dưới dạng dịch vụ đám mây cho các nhà phát triển. Để doanh nghiệp có thể vận hành Agent một cách lâu dài và ổn định, Anthropic còn điều chỉnh kiến trúc nền tảng: Harness chịu trách nhiệm thúc đẩy thực thi nhiệm vụ, lịch sử có thể được lưu riêng biệt, và môi trường cách ly chạy AI có thể được thay thế bất kỳ lúc nào. Ngay cả khi môi trường cách ly gặp sự cố, Agent vẫn có thể khôi phục lại công việc trước đó.

Từ hệ thống vận hành bên trong Claude Code đến dịch vụ được lưu trữ dành cho các nhà phát triển bên ngoài, Anthropic đã biến những năng lực tích lũy nhiều năm của mình thành một sản phẩm độc lập.

OpenAI cũng chọn cách mở rộng Harness đằng sau Codex cho nhiều nhà phát triển hơn. Tháng 2 năm nay, OpenAI tiết lộ rằng phiên bản web, dòng lệnh và tiện ích mở rộng IDE của Codex thực chất đều sử dụng cùng một hệ thống chạy Agent. Tháng 8, họ tiếp tục định vị Codex như một nền tảng Harness mở, cho phép các ứng dụng bên thứ ba kết nối trực tiếp. API Agents ra mắt tháng 9 do OpenAI chịu trách nhiệm lưu trữ và duy trì hệ thống này, giúp các nhà phát triển có thể kết nối trực tiếp vào môi trường chạy Agent.

Con đường này cho phép OpenAI vừa trực tiếp phục vụ người dùng thông qua Codex, vừa cung cấp khả năng thực thi nền tảng cho các công ty phần mềm khác. Các nhà phát triển có thể giữ nguyên giao diện sản phẩm và quy trình kinh doanh của mình, để Codex thực hiện các nhiệm vụ cụ thể phía sau hậu trường.

DeepSeek đã mở mã nguồn toàn bộ khung Harness dưới giấy phép MIT vào ngày 13 tháng 8, với ý tưởng "Mọi thứ đều là plugin", gần như tách toàn bộ hệ thống chạy Agent thành các plugin có thể kết hợp linh hoạt. Các nhà phát triển không chỉ có thể thay thế mô hình và công cụ bên ngoài, mà còn có thể sửa đổi cách Agent gọi mô hình và thực hiện nhiệm vụ, thậm chí cho phép Agent tự viết và cài đặt các plugin mới.

Kiến trúc dựa trên Cordis này nhằm giúp các nhà phát triển không cần xây dựng hệ thống chạy từ đầu, mà có thể phát triển các loại Agent khác nhau theo nhu cầu của họ.

Ngày 5 tháng 11, Kimi chính thức công bố Hosted Agents cung cấp môi trường đám mây 24/7, cho phép doanh nghiệp đưa Agent vào hệ thống nội bộ hoặc nhúng vào sản phẩm bán ra ngoài, đồng thời明确提出 Harness as a service.

02 Tiến hóa của Harness

Thực tế, sự phổ biến của Harness không bắt đầu từ các công ty mô hình.

Đầu năm nay, sự nổi bật của OpenClaw đã cho ngành thấy rằng một công ty không có mô hình nền tảng cũng có thể thu hút lượng lớn người dùng nhờ hệ thống chạy Agent. Vào tháng Hai, OpenAI đã tuyển dụng Peter Steinberger, nhà sáng lập OpenClaw, tham gia vào việc phát triển Agent cá nhân thế hệ tiếp theo.

Sau đó, Nous Research đã ra mắt Hermes Agent, cố gắng giúp Agent lưu trữ kinh nghiệm tích lũy được trong công việc dưới dạng các Skills có thể tái sử dụng và liên tục cải tiến trong các nhiệm vụ sau này.

Vào cuối tháng 3, các tổ chức như Đại học Stanford đã đề xuất Meta-Harness, cho phép AI tự sửa mã Harness dựa trên hồ sơ thất bại và xác minh hiệu quả thông qua kiểm thử. Trong một thí nghiệm phân loại văn bản, độ chính xác tăng 7,7% và lượng Token ngữ cảnh giảm xuống còn một phần tư so với trước.

Tại sao những khám phá này đáng để các công ty mô hình đầu tư? Vào tháng 10, Đại học Nam Dương ở Singapore đã thử nghiệm 66 mô hình kết hợp với Harness và phát hiện rằng việc thay đổi Harness thậm chí có thể làm thay đổi thứ hạng hiệu suất giữa các mô hình.

FrontierHarness Eval cũng phát hiện rằng, cùng một Kimi K3, tỷ lệ hoàn thành nhiệm vụ sử dụng Codex là 66,7%, sử dụng DeepSeek Harness Creator là 63,3%, và sử dụng Kimi Code là 56,7%.

Đối với các công ty mô hình cơ sở, để cải thiện hiệu suất mô hình, ngoài việc nâng cao chính mô hình, họ ngày càng phụ thuộc vào thiết kế và tối ưu hóa Harness.

Báo trắng của Microsoft chứng minh: Thay thế Harness, cùng một Claude cho hiệu suất kém rõ rệt

Các nhà nghiên cứu vẫn đang nỗ lực áp dụng kinh nghiệm tích lũy từ Harness vào việc huấn luyện mô hình. Co-Harness được đề xuất vào tháng 7, trước tiên cải thiện Harness thông qua các bản ghi thất bại, sau đó sử dụng dữ liệu thực thi đã được tối ưu để huấn luyện mô hình. HarnessFlow được công bố vào tháng 11 nhằm tự động tìm kiếm thiết kế Harness tốt hơn, giúp tăng trung bình 10,89 điểm phần trăm trên sáu loại nhiệm vụ.

Báo trắng của Microsoft chứng minh: Thay thế Harness, cùng một Claude cho hiệu suất kém rõ rệt

Tuy nhiên, tối ưu hóa tự động cũng tiềm ẩn rủi ro. Một nghiên cứu vào đầu tháng 11 phát hiện rằng trong một thí nghiệm cụ thể, sau khi được tối ưu hóa cho nhiệm vụ mới, Harness đã giảm điểm từ 94% xuống còn 32% trên SWE-bench. Việc nâng cấp mô hình cũng có thể khiến các thiết kế trước đây hiệu quả trở nên vô dụng.

Điều này có nghĩa là tích lũy công nghệ của Harness rất khó để giải quyết một lần và xong. Làm thế nào để duy trì sự ổn định giữa các nhiệm vụ khác nhau trong quá trình cải tiến liên tục vẫn là một vấn đề chưa được giải quyết.

Một số chuyên gia trong ngành cho biết, đây cũng là một điểm đau nhức lớn khi triển khai các mô hình mã nguồn mở. Do đó, các công ty mô hình đã bắt đầu bán dịch vụ Harness. Mặc dù các khung mã nguồn mở có thể nhận được miễn phí, nhưng các doanh nghiệp vẫn phải gánh chi phí triển khai và bảo trì để vận hành Agent một cách ổn định lâu dài. Các công ty như Kimi, Anthropic đã nhìn thấy cơ hội tiếp nhận những công việc này, biến Harness thành một ngành kinh doanh độc lập, nhưng cách tiếp cận của từng công ty lại rất khác nhau.

Giá trị ẩn của 03 Harness

Harness bắt đầu trở thành một dịch vụ có thể thu phí riêng, nhưng bảng giá hiện tại cho thấy推理 mô hình vẫn là nguồn thu chính.

Anthropic’s Managed Agents tính 0,08 USD mỗi giờ phiên hoạt động, token tính thêm, theo ví dụ nhiệm vụ lập trình một giờ do công ty công bố, tổng chi phí là 0,58 USD, trong đó chi phí chạy được quản lý chỉ chiếm khoảng 14%.

Chi phí của Kimi được chia thành Token mô hình, chạy sandbox và plugin trả phí. Một nhiệm vụ phân tích pháp lý đầu tư ngân hàng mà nó công bố ước tính chi phí khoảng 30 nhân dân tệ, chi phí sandbox dưới 0,1 nhân dân tệ. OpenAI miễn phí các dịch vụ bổ sung trong giai đoạn thử nghiệm công khai Agents API, chủ yếu tính phí dựa trên lượng sử dụng mô hình và công cụ. DeepSeek đã mở nguồn Harness theo giấy phép MIT và không có cơ chế thu phí trực tiếp.

Báo trắng của Microsoft chứng minh: Thay thế Harness, cùng một Claude cho hiệu suất kém rõ rệt

Vì vậy, thu nhập trực tiếp mà các công ty mô hình đạt được thông qua harness ở giai đoạn hiện tại có thể rất nhỏ bé.

Vậy thì tại sao vẫn phải đầu tư nhiều nguồn lực nghiên cứu và phát triển?

Một lý do quan trọng là sau khi doanh nghiệp triển khai thực tế Agent, nhu cầu đối với Harness có thể ổn định hơn so với một mô hình cụ thể.

Công ty dịch vụ pháp lý Mỹ ABC Legal ban đầu đã triển khai Agent trên máy tính của nhân viên và chạy thông qua tác vụ định kỳ. Khi phạm vi sử dụng mở rộng, CTO Brandon Fuller bắt đầu tìm kiếm một nền tảng để quản lý tập trung các Agent này. Anh ấy đã so sánh nhiều giải pháp và cuối cùng chọn Managed Agents của Anthropic, vì doanh nghiệp không muốn tiếp tục duy trì môi trường vận hành phân tán.

Theo Anthropic tiết lộ, ABC Legal đã đưa hơn 50 Agent vào sản xuất trong vòng một tháng, với khoảng 310 nhân viên sử dụng Claude hàng ngày. Nhân viên thậm chí không cần có kiến thức phát triển phần mềm để tạo ra các Agent mới thông qua cấu hình.

Điều này cho thấy sức hấp dẫn của việc托管Harness xuất phát từ nhu cầu thực tế của doanh nghiệp. Thay vì phát triển và duy trì hệ thống từ đầu, các doanh nghiệp có thể ưu tiên mua các dịch vụ sẵn có để tập trung nguồn lực kỹ thuật vào hoạt động kinh doanh của chính mình.

Tuy nhiên, các doanh nghiệp không nhất thiết sẵn sàng ràng buộc bản thân với một công ty mô hình.

Tháng 8 năm nay, VentureBeat đã công bố kết quả khảo sát đối với 107 doanh nghiệp. 85% doanh nghiệp được khảo sát đồng thời sử dụng hai hoặc nhiều nền tảng sắp xếp Agent. Khi lựa chọn nền tảng, 29% doanh nghiệp coi trọng tính linh hoạt của mô hình và công cụ, chỉ có 10% ưu tiên sự tương thích bản địa với một mô hình dẫn đầu. Mặc dù mẫu khảo sát thiên về các doanh nghiệp công nghệ lớn, nhưng đã phản ánh một xu hướng mua sắm: khách hàng mong muốn giữ quyền tự do thay đổi mô hình.

Điều này cung cấp một logic kinh doanh khác cho sự cạnh tranh của Harness. Nếu doanh nghiệp sẵn sàng sử dụng lâu dài một hệ thống vận hành, nhà cung cấp dù không thể độc quyền gọi mô hình, vẫn có thể tiếp tục kiếm thu nhập từ các dịch vụ lưu trữ, bảo trì và phát triển doanh nghiệp, đồng thời xây dựng mối quan hệ hợp tác ổn định hơn với khách hàng.

Như vậy, Harness có thể tiếp cận quy trình thực thi công việc thực tế của doanh nghiệp. So với API mô hình thuần túy, Harness có thể ghi lại hành trình công việc từ khi bắt đầu đến khi hoàn thành, bao gồm các lần gọi mô hình, thực thi công cụ, thử lại khi thất bại và kết quả cuối cùng. Những bản ghi này không chỉ giúp doanh nghiệp xác định sự cố mà còn cung cấp phản hồi có giá trị cho việc phát triển mô hình.

Báo trắng của Microsoft chứng minh: Thay thế Harness, cùng một Claude cho hiệu suất kém rõ rệt

Nếu có thể liên tục nhận được phản hồi từ các nhiệm vụ thực tế đã được xác minh, các công ty mô hình sẽ có cơ hội phát hiện nhanh hơn các vấn đề của mô hình trong môi trường sản xuất. Tuy nhiên, lợi thế này cũng sẽ bị giới hạn rõ ràng bởi các quyền dữ liệu.

Điều này cũng đặt ra một câu hỏi mới cho các công ty mô hình: Nếu doanh nghiệp có thể tự do thay đổi mô hình nền tảng đồng thời duy trì quyền kiểm soát dữ liệu của chính mình, thì Harness vẫn có thể xây dựng được lợi thế dài hạn đến mức nào?

Đối với các công ty mô hình, Harness có thể mang lại giá trị lâu dài lớn hơn so với việc thu phí trực tiếp. Khi doanh nghiệp ngày càng giao nhiều công việc hơn cho Agent, ai cung cấp được hệ thống vận hành đáng tin cậy, người đó sẽ có cơ hội ảnh hưởng đến lựa chọn mô hình và cách AI tham gia vào các hoạt động thực tế.

Một từ quen thuộc và cũ kỹ: lối vào.

Tuy nhiên, từ ngữ đã ăn sâu bén rễ trong thời đại internet này luôn kích động những sợi dây nhạy cảm của cuộc cạnh tranh trong thời đại AI. Hiện tại, Harness đã phần nào gánh vác kỳ vọng và trí tưởng tượng đó.


Twitter: https://twitter.com/BitpushNewsCN

Nhóm thảo luận TG của BitPush: https://t.me/BitPushCommunity

Theo dõi BitPush trên TG: https://t.me/bitpush

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.