Các nhà nghiên cứu của Meta đã phát triển một phương pháp để phát hiện các mô hình AI đã được tinh chỉnh, nhận diện được 79% các mô hình sao chép được thử nghiệm với tỷ lệ dương tính giả chỉ 0,1% mà không cần xem cấu trúc bên trong của mô hình nghi ngờ. Kỹ thuật này có tên WM-Basin, nhắm vào các mô hình được huấn luyện bằng đầu ra của mô hình "giáo viên" có gắn dấu nước, bài báo liên quan đã được công bố vào ngày 27 tháng 10 năm 2026.
Key points
- WM-Basin phân tích văn bản được tạo bởi API, chứ không phải trọng số mô hình hoặc logits.
- Meta đã đánh giá kỹ thuật này trên 1.200 mô hình học sinh.
- Phương pháp này vẫn duy trì khả năng phát hiện dưới nhiều thay đổi mô hình, nhưng hiệu quả sẽ suy giảm sau khi tinh chỉnh và viết lại bằng dữ liệu sạch.
WM-Basin phát hiện mô hình AI tinh luyện như thế nào
WM-Basin sử dụng một mô hình probe riêng biệt, sạch sẽ để phân tích văn bản được tạo bởi các mô hình bị chưng cất. Các nhà nghiên cứu từ Meta FAIR và Meta Superintelligence Labs đã giới thiệu phương pháp này trong bài báo có tựa đề “Watermark Basins: Black-Box Detection of Distilled LLMs”, với mã số arXiv:2610.37266.
Nghiên cứu luận văn xem xét một kịch bản sao chép cụ thể: một người thu thập câu trả lời từ mô hình giáo viên có watermark thông qua API, sau đó sử dụng những câu trả lời này để huấn luyện một mô hình học sinh. WM-Basin chỉ sử dụng văn bản do mô hình học sinh tạo ra để tìm bằng chứng về mối quan hệ huấn luyện này.
Bộ phát hiện sẽ đưa các văn bản này vào một mô hình probe cố định và chuyển đổi chúng thành biểu diễn gradient—tức là quan sát cách các tham số sẽ di chuyển nếu huấn luyện mô hình probe bằng các văn bản này. Sau đó, nó sẽ phân biệt mức độ trùng khớp giữa hướng tinh chỉnh thông thường và “hồ dấu nước” liên quan đến một khóa cụ thể trong không gian tham số.
Điều này khiến công nghệ trở thành một phương pháp phân tích hộp đen: không cần truy cập vào trọng số hoặc logits của mô hình khả nghi. Chỉ cần có thể lấy được phản hồi văn bản thông qua API là đã đủ để thực hiện phát hiện.
Tỷ lệ phát hiện 79% trên 1.200 mô hình học sinh

Các nhà nghiên cứu cho biết, khi sử dụng n-gram=1, tỷ lệ true positive của WM-Basin đạt 79%, đồng thời kiểm soát tỷ lệ false positive ở mức 0,1%; trong khi đó, dưới cùng điều kiện này, bộ phát hiện token-level black-box mạnh nhất trước đây chỉ đạt tỷ lệ true positive là 29%.
Tác giả cũng chỉ ra rằng, khi ngưỡng phát hiện trở nên nghiêm ngặt hơn và cửa sổ n-gram mở rộng, lợi thế của WM-Basin so với các phương pháp cạnh tranh sẽ càng được mở rộng thêm.
Đánh giá bao gồm 1.200 mô hình học sinh với quy mô từ 135 triệu đến 8,2 tỷ tham số. Các nhà nghiên cứu đã huấn luyện các mô hình này bằng các chuỗi suy luận toán học từ OpenR1-Math, bao gồm sáu loại kiến trúc học sinh, nhiều mô hình giáo viên và các phương pháp đánh dấu nước khác nhau.
These results support the paper's conclusion regarding improved detection capabilities of distilled AI models in mathematical reasoning evaluations.
Những thay đổi nào sẽ giữ nguyên hoặc làm suy yếu hiệu quả phát hiện?
Các nhà nghiên cứu phát hiện ra rằng tín hiệu phát hiện của WM-Basin vẫn tồn tại sau khi thực hiện lượng tử hóa, cắt tỉa và học tăng cường. Lượng tử hóa nén mô hình để giảm chi phí vận hành, trong khi cắt tỉa loại bỏ một số tham số.
Phương pháp này vẫn đáng tin cậy hơn ngay cả khi tín hiệu cấp token suy yếu, bao gồm cả trong quá trình lấy mẫu ở nhiệt độ thấp.
Tuy nhiên, các thay đổi khác sẽ làm giảm hiệu quả của nó. Việc sử dụng dữ liệu sạch, không có watermark để tinh chỉnh quy mô lớn sẽ làm suy yếu khả năng phát hiện, trong khi chỉnh sửa các chuỗi suy luận của mô hình giáo viên cung cấp một con đường tránh né tiềm năng khác. Các tác giả đặc biệt lưu ý rằng việc tiếp tục tinh chỉnh có giám sát trên các tài liệu không có watermark là một trong những phương pháp này.
Bằng chứng watermark dành cho nhà phát triển AI
Tỷ lệ phát hiện cao hơn và tỷ lệ báo sai thấp hơn có thể tăng cường sức mạnh của bằng chứng dựa trên watermark trong việc khẳng định việc sao chép mô hình ở cấp độ pháp lý hoặc hợp đồng. Đối với các mục đích này, tỷ lệ báo sai đặc biệt quan trọng vì nó đo lường các báo sai, chứ không phải việc nhận diện thành công.
So sánh trong báo cáo WM-Basin đạt được tỷ lệ dương tính thật 79% với tỷ lệ dương tính giả giả định là 0,1%, trong khi các phương pháp cấp token trước đó chỉ đạt 29%. Các bài kiểm tra liên quan được thực hiện trên mô hình học sinh được huấn luyện dựa trên chuỗi suy luận toán học OpenR1-Math.
Bài viết này được hỗ trợ tạo bởi trí tuệ nhân tạo và đã được đội ngũ biên tập xem xét.
Francesco Antonio Russo
Chuyên gia khởi nghiệp Web 3.0 với hơn 4 năm kinh nghiệm, tập trung vào tiền mã hóa và trí tuệ nhân tạo. Anh ấy áp dụng kỹ năng đa lĩnh vực để quản lý mạng xã hội mang tính chức năng và định hướng xu hướng.

