Peneliti Meta Mengembangkan WM-Basin untuk Mendeteksi Model AI yang Didistilasi

icon币界网
Bagikan
AI summary iconRingkasan
Peneliti Meta telah mengembangkan metode deteksi bernama WM-Basin untuk mengidentifikasi model AI yang didistilasi. Pendekatan ini mampu mendeteksi 79% model yang direplikasi dengan tingkat false positive 0,1% dengan menganalisis teks yang dihasilkan API, tanpa memerlukan bobot atau logits model. Metode ini berfungsi di berbagai modifikasi model, tetapi kesulitan ketika model disesuaikan ulang dengan data bersih atau ketika output model guru ditulis ulang. Seiring semakin ketatnya regulasi kripto global, regulasi CFT menghadapi tantangan baru dalam melacak aktivitas keuangan yang dihasilkan AI.
Berita CoinWorld:

Para peneliti Meta mengembangkan metode untuk mendeteksi model AI yang didistilasi, yang mampu mengidentifikasi 79% model tiruan yang diuji dengan tingkat false positive 0,1% tanpa melihat struktur internal model yang dicurigai. Teknologi ini bernama WM-Basin, yang ditujukan untuk model yang dilatih menggunakan output model "guru" yang ditandai air, dan makalah terkait telah diterbitkan pada 27 Oktober 2026.

Poin-poin penting

  • WM-Basin menganalisis teks yang dihasilkan oleh API, bukan bobot model atau logits.
  • Meta mengevaluasi teknologi ini pada 1.200 model siswa.
  • Metode ini tetap mempertahankan kemampuan deteksi di berbagai modifikasi model, tetapi efektivitasnya berkurang setelah fine-tuning dan penulisan ulang menggunakan data bersih.

Bagaimana WM-Basin mendeteksi model AI hasil distilasi?

WM-Basin menggunakan model probe terpisah dan bersih untuk menganalisis teks yang diduga dihasilkan oleh model distilasi. Para peneliti dari Meta FAIR dan Meta Superintelligence Labs memperkenalkan metode ini dalam makalah berjudul "Watermark Basins: Black-Box Detection of Distilled LLMs", dengan nomor arXiv:2610.37266.

Penelitian ini mempelajari skenario replikasi tertentu: seseorang mengumpulkan jawaban dari model guru yang memiliki tanda air melalui API, lalu menggunakan jawaban-jawaban tersebut untuk melatih model siswa. WM-Basin hanya memanfaatkan teks yang dihasilkan oleh model siswa untuk mencari bukti hubungan pelatihan ini.

Detektor akan memasukkan teks-teks ini ke dalam model probe tetap dan mengubahnya menjadi representasi gradien—yaitu, mengamati bagaimana parameter akan bergerak jika model probe dilatih dengan teks-teks ini. Selanjutnya, ia akan membedakan keselarasan antara arah fine-tuning biasa dan "cekungan tanda air" yang terkait dengan kunci tertentu dalam ruang parameter.

Ini menjadikan teknologi tersebut sebagai metode analisis black box: tidak diperlukan akses ke bobot atau logits model yang mencurigakan. Cukup dengan dapat memperoleh respons teks melalui API, deteksi dapat dilakukan.

Deteksi 79% pada 1.200 model siswa

Peneliti menyatakan bahwa dengan menggunakan n-gram=1, tingkat true positive WM-Basin mencapai 79%, sambil menjaga tingkat false positive di bawah 0,1%; di kondisi yang sama, detektor black box token level terkuat sebelumnya hanya mencapai tingkat true positive 29%.

Penulis juga menunjukkan bahwa keunggulan WM-Basin dibandingkan metode kompetitif akan semakin membesar ketika ambang deteksi menjadi lebih ketat dan jendela n-gram membesar.

Evaluasi mencakup 1.200 model siswa dengan ukuran antara 135 juta hingga 8,2 miliar parameter. Peneliti melatih model-model ini menggunakan jejak penalaran matematis dari OpenR1-Math, mencakup enam kelas arsitektur siswa, berbagai model guru, serta berbagai metode watermarking.

Hasil-hasil ini mendukung kesimpulan dalam makalah tentang peningkatan kemampuan deteksi model AI yang didistilasi dalam evaluasi penalaran matematis.

Perubahan apa yang akan mempertahankan atau melemahkan efektivitas deteksi?

Peneliti menemukan bahwa sinyal deteksi WM-Basin tetap ada setelah penguatan pembelajaran dengan kuantisasi, pruning, dan distilasi. Kuantisasi memampatkan model untuk mengurangi biaya operasional, sementara pruning menghapus sebagian parameter.

Metode ini tetap lebih andal bahkan ketika sinyal tingkat token melemah, termasuk selama pengambilan sampel suhu rendah.

Namun, perubahan lain dapat mengurangi efektivitasnya. Melakukan fine-tuning skala besar menggunakan data bersih tanpa watermark akan melemahkan kemampuan deteksi, sementara merevisi jejak inferensi model guru menyediakan jalur alternatif untuk menghindari deteksi. Penulis secara khusus menunjukkan bahwa melanjutkan fine-tuning terawasi pada bahan tanpa watermark termasuk salah satu metode ini.

Bukti Watermark untuk Pengembang AI

Tingkat deteksi yang lebih tinggi dan tingkat false positive yang lebih rendah dapat memperkuat daya argumen berbasis watermark dalam klaim replikasi model di tingkat hukum atau kontrak. Untuk penggunaan semacam ini, tingkat false positive sangat penting, karena mengukur false positive, bukan keberhasilan identifikasi.

Perbandingan dalam laporan WM-Basin mencapai tingkat true positive 79% dengan tingkat false positive 0,1% yang sama, sedangkan metode sebelumnya pada level token hanya mencapai 29%. Pengujian terkait menggunakan model siswa yang dilatih berdasarkan jejak penalaran matematis OpenR1-Math.

Artikel ini dibantu oleh kecerdasan buatan dan telah ditinjau oleh tim editor.

Francesco Antonio Russo

Pengusaha Web 3.0 dengan pengalaman lebih dari 4 tahun, berfokus pada cryptocurrency dan kecerdasan buatan. Ia menerapkan keterampilan lintas bidang untuk manajemen media sosial yang fungsional dan berorientasi tren.

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.