Bộ phận nghiên cứu AI của ByteDance, Seed, đã hoạt động theo một quy tắc đơn giản nhưng bất thường kể từ ngày đầu tiên: không thực hiện distillation kiến thức. Trong một lĩnh vực nơi sao chép hành vi của các mô hình mạnh hơn gần như là một nghi thức bắt buộc, công ty mẹ của TikTok đang chọn con đường khó khăn hơn.
Quyết định này giúp ByteDance nổi bật giữa một rừng các phòng thí nghiệm AI Trung Quốc đã công khai hoặc lặng lẽ tinh chỉnh các khả năng từ các mô hình lớn hơn, nhiều trong số đó được xây dựng bởi các công ty Mỹ như OpenAI và Anthropic.
Điều gì thực sự có nghĩa là chưng cất, và tại sao việc bỏ qua nó lại quan trọng
Học sinh hóa tri thức về cơ bản là sự huấn luyện AI. Một mô hình nhỏ hơn, rẻ hơn học cách bắt chước đầu ra của một mô hình lớn hơn, mạnh mẽ hơn. Kết quả là một mô hình nhỏ gọn nhưng hoạt động vượt trội so với kích thước của nó, được huấn luyện với chi phí chỉ bằng một phần nhỏ.
Kỹ thuật này đã trở nên phổ biến trong hệ sinh thái AI của Trung Quốc. Khi mô hình R1 của DeepSeek gây chú ý trong cuộc tranh luận rộng rãi về quá trình tinh luyện, nó đã làm nổi bật cách các phòng thí nghiệm Trung Quốc tận dụng đầu ra từ các mô hình tiên tiến của Mỹ để đẩy nhanh quá trình phát triển của chính họ. OpenAI và Anthropic đều đã bày tỏ lo ngại về thực hành này, và cuộc thảo luận về việc siết chặt các điều khoản dịch vụ để ngăn chặn nó chỉ càng trở nên gay gắt hơn.
Bằng cách từ chối tinh luyện, Seed đang xây dựng các mô hình của mình từ đầu bằng các đường ống thu thập, tổng hợp và làm sạch dữ liệu độc quyền.
Sự tính toán chiến lược đằng sau việc trở thành độc lập
Một nhân viên của ByteDance đã nêu rõ tham vọng: “Mục tiêu của ByteDance đối với hầu hết các mô hình của mình là đạt đến cấp độ hàng đầu toàn cầu, hoặc thậm chí là tiêu chuẩn tiên tiến nhất.”
Phòng thí nghiệm đã triển khai các phiên chạy trên bảng. Seedance, mô hình tạo video của ByteDance, được phát triển dưới khung không sử dụng distillation. Mô hình này hỗ trợ các tính năng trên các sản phẩm tiêu dùng của ByteDance, bao gồm Doubao, trợ lý AI hội thoại của công ty, và CapCut, công cụ chỉnh sửa video được sử dụng rộng rãi.
Chính trị toàn cầu như một hàng rào cạnh tranh
Cuộc cạnh tranh công nghệ Mỹ - Trung đã biến sự phát triển AI thành một thứ gì đó giống như cuộc chạy đua vũ trang, với các biện pháp kiểm soát xuất khẩu, hạn chế chip và lời lẽ ngày càng gia tăng về chuyển giao công nghệ. Trong môi trường này, bất kỳ công ty AI Trung Quốc nào phụ thuộc vào quá trình tinh luyện từ các mô hình Mỹ đều mang trên bảng cân đối kế toán một rủi ro địa chính trị.
Cuộc tranh luận về quá trình chưng cất đã thu hút gần như mọi nhà phát triển lớn trong lĩnh vực AI. OpenAI đã công khai nêu ra những lo ngại về việc các mô hình của họ bị sử dụng để huấn luyện đối thủ cạnh tranh. Anthropic đã đưa ra quan điểm về các vấn đề đạo đức và hệ quả cạnh tranh. Trong bối cảnh đó, quyết định chủ động tránh hoàn toàn việc chưng cất của ByteDance dường như không còn là sự kiềm chế tự đặt ra, mà là một sự đánh cược rằng việc phát triển độc lập cuối cùng sẽ tạo ra công nghệ tốt hơn và dễ bảo vệ hơn.