Meta phát triển bộ định tuyến mô hình AI 'Switchboard' để giảm chi phí, cạnh tranh với OpenRouter

AAI Labs, một phòng thí nghiệm ươm tạo AI nội bộ của Meta, đang phát triển một công cụ định tuyến mô hình AI có tên “Switchboard”, bằng cách đánh giá độ khó của nhiệm vụ để chuyển các yêu cầu đơn giản đến các mô hình nhỏ rẻ hơn, từ đó giảm chi phí suy luận tổng thể. Dự án hiện đang ở giai đoạn đầu và thuộc về AAI Labs – một tổ chức ươm tạo nội bộ được Meta thành lập vào tháng 3 năm nay. Các tài liệu nội bộ cho thấy Meta đang trả giá cho mô hình hàng đầu cho mỗi yêu cầu lập trình, kể cả những nhiệm vụ đơn giản có thể được xử lý bởi mô hình nhỏ, và chi phí suy luận đã trở thành “rào cản hàng đầu” trong việc triển khai quy mô lớn các tác nhân AI. Chi tiêu cơ sở hạ tầng AI của Meta trong năm nay dự kiến lên tới 145 tỷ USD, và công ty đang kiểm soát chi phí AI thông qua nhiều cách khác nhau. Thị trường mục tiêu của Switchboard cũng bao gồm lĩnh vực định tuyến mô hình, nơi đã có các đối thủ như OpenRouter, và các giao dịch mua lại liên quan có thể định giá công ty lên tới hàng tỷ USD.

Tác giả bài viết, nguồn: Wall Street Journal

Dưới áp lực chi tiêu cho cơ sở hạ tầng AI tiếp tục tăng mạnh, Meta đang tìm cách giảm chi phí từ bên trong.

Ngày 21 tháng 7, theo báo cáo của truyền thông công nghệ The Information, AAI Labs – nền tảng ươm tạo AI nội bộ của Meta – đang phát triển một công cụ định tuyến mô hình AI có tên “Switchboard”, với logic cốt lõi tương tự đáng kể với sản phẩm Auto Router của OpenRouter – thông qua việc đánh giá độ khó của nhiệm vụ, các yêu cầu đơn giản sẽ được chuyển hướng đến các mô hình nhỏ rẻ hơn nhằm giảm chi phí suy luận tổng thể.

Switchboard hiện vẫn đang ở giai đoạn đầu, và việc cuối cùng có thể được triển khai thực tế vẫn chưa chắc chắn. Tuy nhiên, theo các tài liệu nội bộ mà The Information có được, nhóm Meta đã明确提出 hai lộ trình tiềm năng: một là triển khai trong nội bộ công ty để giảm chi phí, hai là phát hành công khai cho các tổ chức bên ngoài có nhu cầu vận hành quy mô lớn các tác nhân lập trình AI.

Phân tích chỉ ra rằng điều này có nghĩa là công cụ này không chỉ là một biện pháp giảm chi phí, mà còn có thể là nỗ lực của Meta trong việc tạo ra nguồn thu mới trên thị trường công cụ AI.

Theo báo cáo, đề xuất dự án này trực tiếp nhắm vào một vấn đề thực tế mà công ty đang gặp phải: trả giá cho các mô hình cao cấp cho mỗi yêu cầu lập trình, bao gồm cả những nhiệm vụ đơn giản có thể được xử lý dễ dàng bởi các mô hình nhỏ.

The report states that the rationale for the Switchboard project was expressed quite plainly in internal documents: “We pay the top model price for every programming request, including simple ones.”

Tài liệu còn chỉ ra rằng hầu hết các nhiệm vụ của tác nhân lập trình đều có thể được xử lý hoàn toàn bởi các mô hình nhỏ hơn, chỉ có một số ít nhiệm vụ mới thực sự cần khả năng của các mô hình lớn tiên tiến nhất. Tuy nhiên, hiện trạng hiện nay là “tất cả các yêu cầu đều được gửi đến cùng một mô hình, dẫn đến chi tiêu quá mức cho các nhiệm vụ đơn giản hoặc hiệu suất kém cho các nhiệm vụ phức tạp”.

Tài liệu xác định rõ chi phí suy luận là “rào cản chính” trong việc triển khai rộng rãi các tác nhân trong nội bộ công ty, và thẳng thắn nhấn mạnh: “Chi phí là yếu tố hạn chế khả năng chạy các tác nhân quy mô lớn của chúng tôi.”

Câu phát biểu này phù hợp với一系列 hành động gần đây của Meta trong việc kiểm soát chi tiêu AI. Theo báo cáo trước đó của The Information, vào tháng 6 năm nay, Meta đã thông báo cho nhân viên rằng, chỉ vài tuần sau khi khuyến khích việc áp dụng rộng rãi các công cụ AI trên toàn công ty, họ sẽ đặt giới hạn cho lượng token AI sử dụng, đồng thời xây dựng nền tảng nội bộ để theo dõi chi tiêu AI và thực thi ngân sách token.

Cần lưu ý rằng dự án Switchboard thuộc về AAI Labs, một cơ sở ươm tạo nội bộ dưới nhóm Applied AI Engineering của Meta, chính thức được thành lập vào tháng 3 năm nay. Theo các tài liệu nội bộ được The Information xem xét, cơ chế này cho phép nhân viên gửi đề xuất về sản phẩm và dịch vụ AI; sau khi được phê duyệt, các nhóm nhỏ sẽ phụ trách phát triển và có cơ hội công bố ra ngoài.

Tính đến tháng 7 năm nay, AAI Labs đã phê duyệt khoảng 200 dự án, bao gồm ba lĩnh vực chính: sản phẩm người dùng, công cụ dành cho nhà phát triển và hạ tầng nội bộ. Switchboard chính là một trong số đó.

Cơ chế này phản ánh chiến lược tổng thể rộng lớn hơn của CEO Meta, Zuckerberg — sử dụng AI để giúp các nhóm nhỏ nhanh chóng xây dựng sản phẩm. Tháng 4 năm nay, Zuckerberg từng nói với các nhà phân tích rằng các tác nhân AI mang lại nghĩa là “các nhóm nhỏ có thể đạt được tiến triển rất nhanh”, và dự đoán công nghệ này sẽ thúc đẩy “nhiều đổi mới”. Ông còn cho biết Meta có thể phát triển lên tới 50 ứng dụng mới.

Chuyên ngành định tuyến mô hình mà Switchboard nhắm đến đang thu hút ngày càng nhiều sự chú ý.

OpenRouter đã tích lũy được sự phổ biến đáng kể trong cộng đồng nhà phát triển nhờ giúp họ truy cập vào nhiều mô hình AI với chi phí thấp hơn. Theo báo cáo của The Information tuần trước, OpenRouter đã bắt đầu thảo luận về khả năng bị mua lại bởi một công ty công nghệ lớn hơn, giao dịch liên quan có thể đẩy định giá của công ty này lên hàng tỷ đô la — định giá của công ty này vào tháng 4 năm nay là 1,3 tỷ đô la.

Khái niệm định tuyến mô hình đã thu hút sự quan tâm rộng rãi hơn sau khi OpenAI ra mắt GPT-5 với tính năng định tuyến tích hợp — tính năng này tự động chuyển sang mô hình rẻ hơn khi đầu vào người dùng tương đối đơn giản. Sau đó, các công ty như Databricks và Palantir cũng lần lượt phát triển các công cụ định tuyến riêng để quản lý chi phí và nâng cao hiệu quả.

Meta lần này tự phát triển Switchboard, vừa là phản ứng chủ động trước áp lực chi phí của chính mình, vừa là lựa chọn chiến lược để bố trí năng lực tự có trong lĩnh vực đang ngày càng sôi động này.

Đằng sau dự án Switchboard là nhu cầu tổng thể của Meta trong việc chuyển đổi những khoản đầu tư lớn vào AI thành các công cụ mới, lĩnh vực kinh doanh mới và nguồn thu nhập mới.

Trước đây, Meta dự kiến chi tiêu lên tới 145 tỷ USD trong năm nay cho cơ sở hạ tầng AI và các thiết bị, cơ sở khác, tăng hơn gấp đôi so với mức năm 2025. Đồng thời, Meta đang tái cấu trúc các đội ngũ kỹ thuật để củng cố năng lực phát triển AI.

Các dự án được ươm tạo bởi AAI Labs không chỉ dừng lại ở Switchboard. Theo một tài liệu nội bộ khác mà The Information có được, AAI Labs đang phát triển một ứng dụng hướng dẫn AI dành cho người lái xe, có thể chạy trên Apple CarPlay và Android Auto, sử dụng AI để giải thích các địa danh xung quanh và cho phép người lái đặt câu hỏi.

Tài liệu định vị sản phẩm này như một phần mở rộng của trải nghiệm bản đồ Instagram, với khả năng tích hợp nội dung Reels dựa trên vị trí, đề xuất du lịch, thậm chí là kính thông minh Meta Ray-Ban trong tương lai.

The report states that these projects collectively outline Meta’s path: starting with employee ideas, rapidly prototyping AI products, and then selectively launching them to external markets—exploring incremental revenue opportunities beyond advertising while controlling costs.