Nhiều nhà sản xuất chip lần lượt khám phá các phương pháp đánh giá mới, đằng sau đó là Agent đang thay đổi tải công việc của CPU.Tác giả bài viết, nguồn: Wall Street Journal
Các ứng dụng của Agent đang trở nên ngày càng chuyên biệt.
Từ các công cụ lập trình AI như Claude Code, đến trợ lý văn phòng có thể xử lý tài liệu và thao tác phần mềm, đến trợ lý cá nhân giúp người dùng lên kế hoạch行程 và quản lý lịch trình, Agent đang ngày càng đảm nhận nhiều nhiệm vụ cụ thể hơn.
Sự mở rộng liên tục của các ứng dụng cũng đặt ra những yêu cầu mới đối với sức mạnh tính toán nền tảng.
Trong bối cảnh này, Arm gần đây đã ra mắt một phương pháp luận đánh giá hiệu năng CPU dành cho Agent, nhằm giúp các doanh nghiệp đánh giá hiệu suất của các CPU khác nhau trong các tác vụ Agent thông qua các bài kiểm tra sát với ứng dụng thực tế hơn.
Đây không phải là trường hợp duy nhất. AMD trước đó đã đề xuất khung đánh giá tải công việc CPU cho Agent AI, bao gồm các giai đoạn như thực thi công cụ, truy xuất dữ liệu và sắp xếp nhiệm vụ; Intel cũng đã tiến hành các bài kiểm tra liên quan cho bộ xử lý Xeon 6, tập trung vào thông lượng và hiệu suất thực thi đồng thời của các nhiệm vụ Agent.
Nhiều nhà sản xuất chip lần lượt khám phá các phương pháp đánh giá mới, đằng sau đó là Agent đang thay đổi tải công việc của CPU.
Trong vài năm qua, cuộc cạnh tranh về sức mạnh tính toán cho các mô hình lớn chủ yếu tập trung vào GPU, với các chỉ số như tốc độ tạo token và throughput trở thành tiêu chí quan trọng để đánh giá hiệu suất suy luận AI.
Khi các tác nhân bắt đầu thực hiện các nhiệm vụ thực tế, ngoài việc gọi mô hình lớn để suy luận, còn cần truy cập cơ sở dữ liệu, thực thi mã, gọi công cụ, v.v., những bước này đều có thể tiêu tốn nhiều tài nguyên CPU.
Giám đốc kiến trúc giải pháp AI trên Arm, Ravi Malhotra, lấy ví dụ về Agent phát triển phần mềm, chỉ ra rằng mô hình đầu tiên thực hiện suy luận và tạo mã, sau đó CPU vẫn cần hoàn thành các thao tác xây dựng, biên dịch và kiểm thử mã, những thao tác này có thể tốn nhiều thời gian.
“Trong các trường hợp sử dụng này, điều rất quan trọng là CPU hoàn thành phần việc của mình nhanh đến mức nào, để nhanh chóng trả lại quyền kiểm soát cho GPU hoặc bộ tăng tốc đắt tiền hơn, nhằm thực hiện bước tiếp theo trong đường ống.” Ravi Malhotra cho biết với các phương tiện truyền thông như All Things D, “Nếu CPU không đủ nhanh, GPU đắt tiền hơn sẽ ở trạng thái chờ.”
Phức tạp hơn, các điểm nghẽn hiệu năng của các Agent khác nhau không giống nhau. Một số nhiệm vụ chủ yếu bị giới hạn bởi tốc độ suy luận của GPU, trong khi một số nhiệm vụ khác lại bị hạn chế bởi khả năng thực thi sandbox của CPU hoặc hiệu suất truy xuất dữ liệu. Ngay cả điểm nghẽn hiệu năng của cùng một loại Agent cũng có thể thay đổi tùy theo mô hình, môi trường triển khai và nhiệm vụ cụ thể.
Ví dụ trong phát triển phần mềm, quá trình biên dịch và kiểm thử mã thường yêu cầu tiêu thụ tài nguyên CPU liên tục, do đó nhấn mạnh vào hiệu suất thực thi của từng Agent. Ngược lại, trong các tình huống như hỗ trợ khách hàng doanh nghiệp hoặc trợ lý cá nhân, các thao tác đơn lẻ thường ngắn gọn nhưng có thể cần xử lý đồng thời một lượng lớn yêu cầu, đòi hỏi khả năng xử lý song song cao hơn của CPU.
Những khác biệt này cũng khiến việc đánh giá hiệu suất CPU bắt đầu quan tâm đến hiệu quả thực thi nhiệm vụ Agent toàn diện và hiệu suất dưới các tải công việc khác nhau.
Lần này, Arm đề xuất kết hợp kiểm tra ở cấp độ linh kiện với kiểm tra hiệu suất Agent end-to-end.
Trong đó, kiểm thử ở cấp thành phần bao phủ các khâu như máy chủ web, cơ sở dữ liệu, dịch vụ mô hình và thực thi sandbox, trong khi kiểm thử end-to-end sử dụng các bộ chuẩn Agent như SWE-bench và Terminal-Bench để đánh giá hiệu suất trong toàn bộ quy trình làm việc.
Ngoài các chỉ số truyền thống như hiệu năng đơn nhân và thông lượng đa nhân, Arm còn quan tâm đến số lượng tác vụ đồng thời, hiệu quả thực thi nhiệm vụ và hiệu năng trên mỗi khung máy.
Ravi Malhotra nhấn mạnh rằng việc đánh giá hiệu suất cần đạt sự cân bằng giữa thông lượng và các yêu cầu SLA (Thỏa thuận cấp độ dịch vụ), không nên chỉ đơn thuần theo đuổi việc chạy nhiều Agent cùng lúc.
Do nhu cầu của các bối cảnh khác nhau có sự khác biệt, Arm cũng không khuyến nghị áp dụng cách phân bổ trọng số đồng nhất cho các trường hợp sử dụng Agent, mà thay vào đó đề xuất doanh nghiệp lựa chọn các chỉ số đánh giá phù hợp dựa trên ứng dụng của riêng mình.
Khi các agent dần được tích hợp vào các quy trình kinh doanh thực tế của doanh nghiệp, các chỉ số hiệu suất này cũng trở thành yếu tố tham khảo quan trọng để doanh nghiệp lựa chọn và nâng cấp cơ sở hạ tầng CPU.
Ravi Malhotra cho rằng các bối cảnh như phát triển phần mềm, hỗ trợ khách hàng, quản lý chuỗi cung ứng và trợ lý cá nhân sẽ trở thành động lực chính thúc đẩy doanh nghiệp nâng cấp cơ sở hạ tầng CPU.
“Đối với doanh nghiệp, các kịch bản như hỗ trợ khách hàng, quản lý chuỗi cung ứng và trợ lý cá nhân quan tâm nhiều hơn đến hiệu năng trên mỗi kệ, và lợi thế về khả năng mở rộng cùng hiệu suất năng lượng của Arm AGI CPU đặc biệt nổi bật trong các kịch bản này,” Ravi Malhotra cho biết.
Ravi Malhotra còn chỉ ra rằng, cả việc nâng cấp hạ tầng hiện có cho các ứng dụng Agent lẫn thiết kế và phát triển hạ tầng hoàn toàn mới đều sẽ tạo ra nhu cầu nâng cấp rõ ràng và có tiềm năng trở thành động lực chính thúc đẩy sự tăng trưởng và phổ biến của Arm AGI CPU.
Đối với doanh nghiệp, giá trị mang lại từ việc cải thiện hiệu suất CPU cuối cùng vẫn cần được thể hiện qua hiệu quả hoạt động thực tế và chi phí.
Các agent khác nhau có tải công việc khác biệt lớn, nên lợi thế hiệu suất trong các bài kiểm tra chuẩn có thực sự chuyển hóa thành việc nâng cao hiệu quả thực thi nhiệm vụ và giảm chi phí triển khai hay không vẫn cần được xác minh thêm thông qua các ứng dụng thực tế.
Cảnh báo rủi ro và điều khoản miễn trừ trách nhiệm
Thị trường có rủi ro, đầu tư cần cẩn trọng. Bài viết này không cấu thành lời khuyên đầu tư cá nhân và không xem xét các mục tiêu đầu tư, tình hình tài chính hoặc nhu cầu đặc biệt của từng người dùng. Người dùng nên xem xét liệu bất kỳ ý kiến, quan điểm hoặc kết luận nào trong bài viết này có phù hợp với tình trạng cụ thể của mình hay không. Đầu tư dựa trên nội dung này, người dùng tự chịu trách nhiệm.