Phòng thí nghiệm Noah's Ark của Huawei đã công bố hệ thống RoboHarness, sử dụng Coding Agent để điều phối các chiến lược dị cấu như VLA, WAM, RL, TAMP, nhằm hoàn thành các nhiệm vụ chuỗi thời gian dài mà không cần mẫu huấn luyện. Hệ thống bao gồm ba nhóm kỹ năng: hiểu, ghi nhớ và tiến hóa; module Memory Bridge giải quyết vấn đề không khớp phân bố trạng thái khi chuyển đổi chiến lược, đạt tỷ lệ thành công 86% trong các thí nghiệm. Công trình này đại diện cho xu hướng phát triển của trí tuệ thể chất từ mô hình đơn lẻ sang việc sắp xếp hệ thống.Tác giả bài viết, nguồn: Leiphone
Hãy tưởng tượng một nhiệm vụ như thế này: mở cửa tủ, tìm những khối xếp hình bên trong, sau đó xếp chúng thành một cây cầu.
Đối với con người, đây là một việc rất đơn giản, vài thao tác nối tiếp nhau một cách tự nhiên, thậm chí trẻ mẫu giáo cũng có thể hoàn thành dễ dàng.
Nhưng đối với robot, nhiệm vụ này đòi hỏi nhiều khả năng hoàn toàn khác biệt: tìm khối xây, cần hiểu thị giác và tuân theo lệnh ngôn ngữ; mở cửa tủ, cần tương tác phức tạp với môi trường; xếp khối xây, cần lập kế hoạch hình học và thao tác chính xác đồng thời dự đoán sự thay đổi của môi trường.
Điều phức tạp hơn là những khả năng này thuộc về các mô hình thuộc nhiều “phái” khác nhau—VLA (mô hình thị giác-ngôn ngữ-hành động), WAM (mô hình thế giới-hành động), RL policy (chính sách học tăng cường), và TAMP (lập kế hoạch nhiệm vụ và chuyển động). Mỗi loại đều có thế mạnh riêng nhưng lại tách rời nhau, với cách huấn luyện, định dạng đầu vào và không gian trạng thái khác nhau.
Hôm nay trong lĩnh vực robot, năng lực không thiếu, nhưng sự hợp tác lại vắng mặt.
Phòng thí nghiệm Noah's Ark của Huawei gần đây đã công bố một bài báo nghiên cứu giới thiệu hệ thống mang tên RoboHarness, được thiết kế đặc biệt để giải quyết vấn đề không thể hợp tác giữa các chiến lược khác nhau. Liên quan đến công việc này, các tác giả bài báo đã trao đổi với chúng tôi (LeiFengNet).
Bài báo: https://arxiv.org/abs/2607.18060
Trang chủ dự án: https://www.robo-harness.com/
01 Khoảng cách giữa ảo tưởng và thực tế của mô hình vạn năng
Mùa hè năm nay, lĩnh vực nghiên cứu robot đã chứng kiến một loạt công việc tập trung vào Harness, cùng hướng đến một nhận thức: việc giải quyết mọi vấn đề bằng các mô hình lớn hơn hiện tại chưa khả thi, robot cần một hệ thống tổ chức thực thi.
Đội ngũ của Giáo sư Yu Chao tại Đại học Thanh Hoa đã công bố Harness VLA vào tháng 7, giới thiệu Harness Layer – một thành phần được sử dụng rộng rãi trong trí tuệ số – vào lĩnh vực trí tuệ hình thể, giúp một VLA bị đóng băng tập trung vào các thao tác tiếp xúc mật độ cao mà nó giỏi nhất, đồng thời sử dụng một lớp Harness để học cách xác định thời điểm và cách thức gọi nó, cũng như cách khôi phục và thử lại sau khi VLA thất bại. Trong bài đánh giá nhiễu LIBERO-Pro, hệ thống này đã nâng tỷ lệ thành công từ 50% lên 82,4%.
Về mặt ý tưởng, Harness VLA giải quyết vấn đề làm thế nào một mô hình có thể hoạt động ổn định dưới các nhiễu ngoài phân phối. Vấn đề của nó là sự ổn định của một chiến lược duy nhất.
RoboHarness của Phòng thí nghiệm Noah's Ark của Huawei đối mặt với một vấn đề khác: Khi nhiệm vụ vượt quá khả năng của bất kỳ mô hình nào, phải làm gì?
Cả hai đều gọi là Harness, đều sử dụng Coding Agent làm lớp tổ chức, nhưng giải quyết những thách thức ở các chiều khác nhau. Người đầu tiên giúp một chuyên gia trở nên ổn định hơn, người thứ hai giúp một nhóm các chuyên gia có thế mạnh khác nhau phối hợp làm việc cùng nhau. Khi độ phức tạp của các nhiệm vụ robot không ngừng tăng lên, vấn đề sau này đang trở nên ngày càng không thể tránh khỏi.
Nguồn gốc của vấn đề này bắt nguồn từ giới hạn năng lực của các mô hình khác nhau.
Lợi thế của mô hình VLA nằm ở khả năng hiểu các lệnh ngôn ngữ mở và khái quát trong môi trường mới, nhưng cách sinh hành động end-to-end của nó khó duy trì tính nhất quán trong các nhiệm vụ chuỗi dài; chiến lược học tăng cường có thể tạo ra hành vi闭环 ổn định trong các cảnh huống huấn luyện cụ thể, nhưng sự ổn định này phụ thuộc rất lớn vào phân phối huấn luyện, và chỉ cần môi trường thay đổi nhẹ là có thể thất bại; TAMP giỏi trong suy luận ký hiệu và ràng buộc hình học, nhưng cần định nghĩa trước các nguyên tử hành động, và khi đối mặt với cảnh mở và mục tiêu mơ hồ, bộ lập kế hoạch sẽ nhanh chóng gặp khó khăn; WAM có thể hỗ trợ ra quyết định chuỗi dài bằng cách dự đoán trạng thái tương lai, nhưng dễ tích lũy lỗi khi phạm vi dự đoán tăng lên.
Các nhiệm vụ thực tế phức tạp đồng thời yêu cầu hiểu ngữ nghĩa, lập kế hoạch hình học, điều khiển vòng kín, suy luận chuỗi dài và dự đoán thay đổi môi trường, những khả năng này có các mục tiêu huấn luyện khác nhau, đôi khi thậm chí mâu thuẫn lẫn nhau. Từ việc đạt được đột phá từng khả năng riêng lẻ đến việc một mô hình duy nhất có thể ổn định và đồng thời đảm bảo tất cả các khả năng trong môi trường mở, vẫn tồn tại một khoảng cách lớn chưa từng thực sự được vượt qua.
Điểm xuất phát của RoboHarness chính là: thay vì chờ đợi khoảng cách này được lấp đầy, hãy để các mô hình đã tồn tại và có những thế mạnh riêng biệt thực sự phối hợp với nhau. Tác giả cho rằng, cho đến khi một mô hình nào đó có thể hoàn toàn áp đảo tất cả các mô hình khác và thể hiện sức mạnh tuyệt đối, thì kiến trúc sắp xếp như vậy vẫn mang ý nghĩa rất lớn.
Công việc này không phải xuất hiện một cách ngẫu nhiên. Tác giả cho biết (Lei Feng Net), bản mẫu của RoboHarness ra đời từ trải nghiệm tham gia cuộc thi robot toàn cầu BEHAVIOR Challenge năm ngoái. Nhiệm vụ trong cuộc thi dài và khó, nhóm phát hiện rằng cả việc huấn luyện VLA theo phương pháp end-to-end lẫn các mô hình như behavior cloning đều không thể đáp ứng được độ khó của nhiệm vụ. Sự thất bại này lại giúp nhóm nhận ra vấn đề thực sự.
02 Bộ não điều phối quyết định ai sẽ ra sân
Ý tưởng cốt lõi của RoboHarness là đóng gói các hệ thống điều khiển được phát triển độc lập như VLA, WAM, chiến lược RL, TAMP thành các kỹ năng agentic có thể được điều phối thống nhất, với Coding Agent đảm nhiệm quyết định cấp cao.
Thiết kế này dựa trên một tiền đề quan trọng: không thay đổi, không tái huấn luyện bất kỳ chiến lược nền tảng nào. Các chiến lược giữ nguyên cách triển khai gốc của chúng, không cần chia sẻ cấu trúc mô hình, không gian hành động hoặc dữ liệu huấn luyện. RoboHarness chỉ thêm một lớp khả năng tổ chức lên trên chúng.
Chọn đúng chiến lược không hề dễ dàng.
Đối với một Coding Agent, việc chỉ dựa vào đầu vào hình ảnh nguyên thủy để xác định đáng tin cậy ai nên nhận nhiệm vụ này là rất khó khăn. Bởi vì quyết định này ẩn chứa nhiều vấn đề định lượng mà mô hình ngôn ngữ không thể trả lời bằng khả năng hiểu ngữ nghĩa. Nó có thể đọc được việc đặt cốc lên đĩa, nhưng không thể tính toán độ tương đồng giữa cảnh hiện tại và phân phối huấn luyện của một chiến lược nào đó từ một hình ảnh RGB, hơn nữa cũng không thể đánh giá mức độ đáng tin cậy của dữ liệu cảm biến tại thời điểm này.
Để giải quyết vấn đề này, hệ thống đã thiết kế ba loại kỹ năng hỗ trợ, chuyên biệt giúp Coding Agent trích xuất thông tin cần thiết để đưa ra phán đoán.
Hiểu biết Kỹ năng, chịu trách nhiệm chuyển đổi đầu vào gốc thành các tín hiệu có thể định lượng, chẳng hạn như độ tương đồng giữa nhúng hình ảnh và dữ liệu huấn luyện của các chiến lược, độ ổn định của tư thế vật thể trong cửa sổ thời gian, ánh sáng hiện tại và chất lượng hình ảnh có đạt tiêu chuẩn hay không, v.v. Những chỉ số này là cơ sở thực sự để định tuyến chiến lược. Tác giả cho rằng, bản chất của mô-đun này là đánh giá từ nhiều chiều xem mỗi chiến lược có thực sự phù hợp với nhiệm vụ hiện tại hay không.
Memory Skills, truy xuất kinh nghiệm thực thi lịch sử để làm cơ sở tham chiếu cho việc lựa chọn chiến lược, đồng thời xử lý sự không khớp trong phân bố trạng thái giữa các chiến lược thông qua Memory Bridge — đây là thiết kế cốt lõi nhất của hệ thống, sẽ được trình bày chi tiết ở phần sau.
Evolution Skills, sử dụng phản hồi trực tuyến để cập nhật liên tục siêu dữ liệu và logic sắp xếp chiến lược, giúp hệ thống học hỏi từ mỗi lần thực thi, thay vì phải đánh giá lại từ đầu mỗi khi đối mặt với tình huống mới.
Dòng thông tin của ba loại kỹ năng tương tác với nhau, cùng hỗ trợ quyết định của Coding Agent. Trong thực thi, cơ chế này chủ yếu có hai tác dụng: thứ nhất là phân tách nhiệm vụ, chia các lệnh dài thành các nhiệm vụ con phù hợp với các chiến lược khác nhau; thứ hai là chuyển đổi động, khi chiến lược hiện tại dần tiếp cận ranh giới khả năng của nó, hệ thống sẽ kịp thời chuyển sang chiến lược phù hợp hơn, nhằm bổ sung năng lực giữa các chiến lược.
Bài luận sử dụng một loạt thí nghiệm loại bỏ để làm rõ đóng góp của từng lớp: chỉ cần sử dụng mô hình ngôn ngữ để phân tách nhiệm vụ và gửi lại cho pi0.5, tỷ lệ thành công đã tăng rõ rệt; trên cơ sở này, khi tích hợp nhiều chiến lược dị cấu, tỷ lệ thành công tiếp tục tăng mạnh. Phân tách đúng là bước đầu tiên, phân phối chính xác là bước thứ hai, cả hai đều không thể thiếu.
Nhưng còn một vấn đề thứ ba, cũng là vấn đề khó nhất, mà không thể giải quyết chỉ bằng cách chọn chiến lược.
03 Thời điểm chuyển gậy quyết định chiến thắng trong cuộc đua tiếp sức
Hai chiến lược được huấn luyện độc lập thường sống trong thế giới dữ liệu riêng của chúng. Định dạng đầu vào của chúng khác nhau và phân bố kinh nghiệm về trạng thái robot cũng khác nhau. Vị trí mà TAMP dừng lại sau khi thực hiện thao tác rất có thể rơi đúng vào không gian trạng thái mà VLA chưa từng xử lý và không thể khởi động ổn định.
Đây là vấn đề độc đáo của việc sắp xếp chiến lược dị cấu.
Do đó, Memory Bridge – thành phần chịu trách nhiệm đảm bảo sự chuyển giao ổn định giữa hai chiến lược – được tác giả xếp là mô-đun quan trọng nhất trong RoboHarness. Anh ấy thừa nhận rằng, nếu trong tương lai một mô hình tổng quát nào đó có thể bao phủ hoàn hảo toàn bộ không gian trạng thái, thì Memory Bridge có thể không còn cần thiết; nhưng trong bối cảnh hiện tại, bất kỳ mô hình nào cũng dễ dàng rơi vào vùng ngoài phân bố năng lực ngay tại thời điểm chuyển giao.
Công việc của Memory Bridge được chia làm ba bước.
Tìm kiếm: Dựa trên nhiệm vụ con tiếp theo và quan sát hiện tại, sử dụng độ tương đồng văn bản và hình ảnh để tìm ra Top-K quỹ đạo tương tự mà chiến lược mục tiêu đã thực hiện thành công từ bộ nhớ đa phương thức, trích xuất vị trí và góc khớp của bộ phận thực thi cuối cùng, cùng các trạng thái robot khác.
Mô hình hóa: Gán tín hiệu giám sát dựa trên tiến trình tương đối của các trạng thái trong quỹ đạo, đồng thời sử dụng hồi quy trực tuyến để phù hợp theo thời gian thực phạm vi trạng thái của chiến lược mục tiêu "thích nhận".
Cầu nối: Mẫu và đánh giá các trạng thái ứng cử, xem xét đồng thời mức độ tự tin để vào vùng thoải mái của chiến lược mục tiêu và chi phí chuyển động, chọn ra mục tiêu cầu nối phù hợp nhất và tạo ra quỹ đạo chuyển tiếp; sau khi robot đạt đến trạng thái này, quyền điều khiển sẽ được chuyển cho chiến lược tiếp theo.
Cơ chế này hoàn toàn dựa vào việc học trực tuyến từ dữ liệu thực thi lịch sử, tương thích tức thì với mọi chiến lược, không cần sửa đổi triển khai nền tảng hoặc yêu cầu huấn luyện kết hợp.
Trong thí nghiệm xóa bỏ, khi loại bỏ Memory Bridge, tiến độ nhiệm vụ giảm không đáng kể, cho thấy việc lựa chọn chiến lược vẫn cơ bản đúng, nhưng tỷ lệ thành công toàn bộ giảm mạnh từ 86,0% xuống còn 60,4%. Rất nhiều nhiệm vụ đi đến bước cuối cùng nhưng thất bại do trạng thái giao tiếp không tương thích, điều này chứng minh giá trị của Memory Bridge.
04 Hai dòng công nghệ, một sự hội tụ âm thầm
Khi mở rộng tầm nhìn ra khỏi bài báo này, chúng tôi muốn mô tả một bức tranh lớn hơn về bản đồ công nghệ nhúng.
Tác giả của RoboHarness nhận thấy rằng, trong bối cảnh VLA phát triển nhanh chóng trong ba năm qua, các TAMP truyền thống và kế hoạch phân tầng từng bị lu mờ trong sự quan tâm của cộng đồng do khả năng khái quát hóa trong các môi trường mở rõ ràng yếu hơn nhiều so với VLA end-to-end. Tuy nhiên, với sự tiến bộ nhanh chóng của các hệ thống agentic và coding agents trong năm nay, kiến trúc phân tầng đã tái sinh một sức sống mới: các agent cấp cao có thể sử dụng các kỹ năng có thể kết hợp để phân rã nhiệm vụ, gọi công cụ và lập kế hoạch động, từ đó tăng đáng kể khả năng khái quát hóa và tính thích ứng của các phương pháp phân tầng truyền thống. Do đó, cộng đồng học thuật đang quay lại quan tâm và bắt đầu khám phá cách kết hợp suy luận cấp cao có khả năng khái quát mạnh với các chiến lược底层 dị hợp.
Tác giả của bài viết này đến từ nhiều trường đại học và tổ chức nghiên cứu ở phía đông Canada. Tác giả nhận thấy rằng nghiên cứu robot ở Bắc Mỹ lâu nay tồn tại hai tuyến kỹ thuật rõ rệt về nguồn gốc học thuật: bờ Tây Hoa Kỳ, đại diện bởi Stanford, Berkeley, v.v., nhấn mạnh hơn vào learning và scaling, tập trung vào học end-to-end, quy mô dữ liệu và khả năng khái quát hóa mô hình; trong khi bờ Đông Hoa Kỳ và Canada, đại diện bởi MIT, Đại học Toronto, MILA, v.v., lâu nay chú trọng hơn vào kiến trúc phân cấp, suy luận ký hiệu, lập kế hoạch logic và ra quyết định có cấu trúc.
Các tác giả của RoboHarness đang nằm trên phần mở rộng của dòng chảy sau.
Sự phân hóa trong lộ trình công nghệ đã để lại dấu ấn rõ ràng trong ngành công nghiệp trí tuệ thể chất. Trong những năm gần đây, các nhóm phát triển nhanh chóng đã hình thành nên một phổ công nghệ từ việc mở rộng mô hình nền tảng đến cấp độ tác nhân phân cấp: một nhóm nhấn mạnh vào mô hình nền tảng thể chất tổng quát, VLA và mô hình thế giới, liên tục mở rộng ranh giới khái quát hóa thông qua việc thống nhất mô hình, quy mô dữ liệu và nâng cao năng lực mô hình; nhóm còn lại則 tập trung vào kỹ năng thao tác có thể tái sử dụng và kiến trúc phân cấp, phối hợp thông qua lập kế hoạch nhiệm vụ, tổ hợp kỹ năng và điều khiển cấp thấp để hoàn thành các nhiệm vụ phức tạp. Ở Trung Quốc, các nhóm đại diện bởi Zhiyuan gần với nhóm đầu tiên hơn, trong khi Suduo Technology, Magic Atom... lại nổi bật ở nhóm sau; ở nước ngoài, chuỗi pi của Physical Intelligence đã lâu đời đại diện cho con đường mở rộng quy mô, trong khi Gemini Robotics tiếp nối truyền thống “lập luận và lập kế hoạch cấp cao + thực thi kỹ năng cấp thấp”.
Điều thú vị là sự phân hóa trong dòng công nghệ này không phải là sự đối lập tĩnh, mà đang phát triển để bổ sung cho nhau. Trong vài tháng gần đây, hai hướng công nghệ này đã bắt đầu xuất hiện hiện tượng hội tụ rõ rệt. Ví dụ, Physical Intelligence trong pi0.7 đã nâng tầm kiểm soát và tổ hợp kỹ năng lên vị trí trung tâm hơn; đồng thời, các nhóm như NVIDIA cũng liên tục ra mắt các hệ thống robot agentic có đặc điểm phân tầng ngày càng rõ rệt, kết hợp khả năng hiểu và suy luận của mô hình nền tảng với VLA. Nhìn chung, việc mở rộng foundation model và phân cấp agentic đang dần chuyển từ hai con đường công nghệ tương đối độc lập thành những khả năng bổ sung cho nhau trong cùng một hệ thống robot.
05 Với việc sắp xếp làm phương hướng, tiến tới trí tuệ tổng quát hơn
RoboHarness có những giới hạn rõ ràng: nó chỉ có thể lập lịch các chiến lược đã có, không thể giải quyết những điều mà tất cả các chiến lược đều không làm được. Độ tin cậy của Memory Bridge phụ thuộc vào đủ dữ liệu thực thi lịch sử; khả năng của các chiến lược mới được kết nối trong giai đoạn đầu sẽ có mức độ không chắc chắn cao.
Luận điểm chính của bài luận không phải là phủ nhận tính cần thiết của mô hình lớn thống nhất.
Tác giả nhấn mạnh rằng việc sắp xếp các nhiệm vụ dài hạn không chỉ là sự kết hợp của các khả năng hiện có, mà còn liên tục tạo ra dữ liệu thực thi xuyên khả năng và xuyên bối cảnh mà một mô hình đơn lẻ khó có thể tự đạt được. Những dữ liệu này ghi lại các quá trình chuyển đổi, nối tiếp, phục hồi sau thất bại và hợp tác giữa các chiến lược khác nhau, chính là nguồn dữ liệu quan trọng để huấn luyện các mô hình robot tổng quát thế hệ tiếp theo. Dựa trên tư tưởng này, nhóm RoboHarness cũng đang khám phá việc sử dụng lại dữ liệu sinh ra trong quá trình sắp xếp và thực thi chiến lược hỗn hợp để huấn luyện các chiến lược nền tảng, qua đó kinh nghiệm thực thi từ sự sắp xếp phi đồng nhất tiếp tục hỗ trợ nâng cao năng lực cơ bản của mô hình.
Từ việc tìm kiếm mô hình mạnh nhất đến tổ chức năng lực phù hợp nhất, cuộc cạnh tranh trong trí tuệ hình thể đang âm thầm mở rộng sang thiết kế cấp hệ thống. Việc phối hợp chiến lược dị cấu và mô hình lớn thống nhất giống như hai cuộc hành trình dọc theo hai đỉnh núi khác nhau, nhưng cuối cùng đều hướng đến một điểm đến chung: trang bị cho robot trí thông minh phổ quát và đáng tin cậy hơn.