Model Claude dari Anthropic Menghadapi Tantangan Teknis dalam Generasi Kode dan Keandalan Agen

Anthropic baru-baru ini menghadapi berbagai tantangan teknis pada model Claude. Generasi kode mengalami penurunan fleksibilitas akibat batasan penanaman watermark; mekanisme adaptive thinking pada Sonnet 5 memungkinkan model yang sama menyesuaikan tingkat komputasi yang berbeda, mengaburkan batas kemampuan lini produk; konteks 1M tampaknya cukup, tetapi dalam sesi Agent panjang, model sebenarnya hanya dapat menggunakan sekitar 20%-30% secara efektif, setelah itu muncul kekacauan status dan kelalaian; saat kompresi konteks, sulit membedakan informasi mana yang masih valid, asumsi sementara dapat salah dianggap sebagai fakta; setelah Agent secara aktif mengubah lingkungan, model mulai menganalisis kesalahan baru yang diciptakannya sendiri daripada masalah aslinya. Artikel tersebut menunjukkan bahwa keandalan Agent panjang semakin bergantung pada kejelasan status, verifiabilitas tindakan, dan kemampuan rollback kesalahan, bukan hanya pada kinerja satu langkah model.

Penulis artikel, sumber: Leiphone

Yang lebih merepotkan daripada penurunan skor model adalah ketika model masih dalam pembaruan, tetapi pengguna mulai merasa semakin tidak nyaman menggunakannya.

Anthropic baru-baru ini agak memiliki rasa seperti itu.

Beberapa hari ini, sebuah postingan di X menggabungkan beberapa keluhan khas Claude selama periode ini: teks dan kode mulai ditambahkan dengan tanda yang dapat dibaca mesin, pengalaman nyata Sonnet 5 tidak sejalan dengan gema peningkatan model, Fable 5 dijual lebih mahal, tetapi sulit untuk merasakan perbedaan signifikan dibandingkan Opus 5; serta umpan balik yang lebih mencolok, konteks Fable 5 hanya dimanfaatkan sekitar 20%–30%, setelah itu kemampuannya mulai menurun.

Keempat hal ini tampaknya tidak saling terkait, satu seperti masalah mekanisme generasi, satu seperti masalah kemampuan model, satu seperti masalah penetapan harga, dan satu lagi tampaknya masalah konteks panjang.

Namun dilihat dari teknologi stack Claude saat ini, mereka sebenarnya terjebak di 5 posisi spesifik: bagaimana model menghasilkan output, berapa banyak komputasi yang bersedia dihabiskan selama inferensi, mengapa model yang berbeda semakin sulit dihierarkikan, mengapa konteks panjang mulai gagal sebelum penuh, dan mengapa kemampuan dalam eksperimen sering berkurang saat diterapkan pada tugas Agent nyata.

Jadi masalah terbaru Anthropic mungkin bukan sekadar "model menurun". Lebih mirip Claude menjadi semakin kuat, sehingga generasi, komputasi, konteks, dan runtime Agent mulai saling menahan satu sama lain.

01

Tanda yang dapat dibaca mesin ditempatkan di dalam teks biasa, tantangan teknisnya adalah menjaga sinyal yang stabil sambil meminimalkan dampak terhadap kualitas generasi. Ketika sampai pada kode, masalah ini menjadi jauh lebih sulit, karena distribusi token antara bahasa alami dan kode tidak sama.

Paper: https://arxiv.org/pdf/2301.10226

Bahasa alami sering kali memiliki banyak kandidat dengan makna yang serupa. Makna yang sama dapat diungkapkan dengan kata yang berbeda atau urutan kalimat yang diubah, sehingga model memiliki sejumlah redundansi generasi di banyak posisi. Salah satu pendekatan umum untuk watermark teks adalah memanfaatkan redundansi ini dengan sedikit mengubah probabilitas pengambilan sampel di antara token-token yang dapat diterima, sehingga setelah akumulasi yang cukup panjang, pola statistik tertinggal.

Kode memiliki banyak posisi dengan entropi rendah. Setelah deklarasi variabel, referensi selanjutnya hampir hanya dapat menggunakan nama yang sama; bidang JSON, tanda kutip, dan tanda kurung tunduk pada batasan struktural yang ketat; parameter fungsi harus sesuai dengan antarmuka; dalam path, regex, SQL, dan perintah Shell, perubahan satu token dapat langsung mengubah perilaku.

Dari distribusi probabilitas, posisi-posisi ini sering kali sangat tajam. Token yang benar memiliki probabilitas tinggi, sementara kandidat lain bukan hanya bentuk alternatif, tetapi mungkin justru salah. Oleh karena itu, batasan utama yang dihadapi watermark kode sebenarnya adalah kapasitas pengkodean.

Jika suatu posisi hanya memiliki satu output yang masuk akal, ia hampir tidak memiliki ruang untuk membawa sinyal tambahan; jika sistem hanya menanamkan tanda di posisi dengan entropi tinggi, ia akan menghadapi masalah kode pendek, proporsi token terstruktur tinggi, dan kurangnya posisi yang dapat dimanfaatkan.

Oleh karena itu, terjadi trade-off langsung antara kekuatan deteksi, kualitas generasi, dan ketahanan terhadap modifikasi: sinyal terlalu lemah sehingga sulit dideteksi, batasan terlalu kuat dapat memengaruhi generasi yang benar, sedangkan untuk tetap mempertahankan kemampuan deteksi setelah diformat atau ditulis ulang sebagian, dibutuhkan redundansi sinyal yang lebih tinggi.

Anthropic tidak mengungkapkan secara rinci bagaimana tanda teks Claude mengubah pengambilan sampel, sehingga perubahan kualitas Claude Code tidak dapat secara langsung dikaitkan dengan satu algoritma watermark tertentu.

Yang pasti di sini adalah perubahan lain: generasi kode sedang menanggung semakin banyak batasan. Selain kebenaran semantik dan eksekusi, kode mungkin juga perlu mematuhi protokol alat, format terstruktur, aturan keamanan, dan tanda sumber, sementara tingkat kebebasan kode itu sendiri untuk menyerap batasan tambahan ini jauh lebih kecil daripada bahasa alami.

02

Perubahan yang dibawa oleh adaptive thinking dari Sonnet 5 bukan hanya membuat model berpikir lebih lama.

Sebelumnya, membahas Sonnet, Opus, Fable, mudah untuk memahaminya sebagai beberapa titik kemampuan tetap. Sekarang dengan penambahan effort, model yang sama dapat berada di berbagai interval compute pada waktu pengujian, sehingga model itu sendiri sudah tidak lagi mewakili sepenuhnya seberapa banyak kemampuan yang diinvestasikan dalam satu permintaan.

Referensi: https://platform.claude.com/docs/en/build-with-claude/effort

Perubahan ini terasa sangat jelas di dalam Coding Agent. Ketika menghadapi sebuah bug, Claude tidak hanya perlu menghasilkan solusi perbaikan, tetapi juga harus memutuskan file mana yang dibaca, rantai pemanggilan mana yang ditelusuri, berapa banyak hipotesis kandidat yang dipertahankan, apakah harus menjalankan pengujian, apakah terus memeriksa ketergantungan, dan kapan dianggap buktinya sudah cukup.

Tindakan-tindakan ini dapat dilihat sebagai pohon pencarian. Investasi komputasi yang lebih rendah berarti cabang-cabang dipotong lebih awal dan keputusan terbentuk lebih cepat; investasi yang lebih tinggi memungkinkan model terus mencari dan memverifikasi, mengurangi kemungkinan melakukan tindakan langsung saat bukti tidak memadai.

Referensi: https://platform.claude.com/docs/en/build-with-claude/effort

Therefore effort does not regulate mere thinking length, but rather the extent of search scope allowed for an Agent task. This directly alters Anthropic’s model hierarchy.

If a regular coding task is already easy for Opus, increasing effort will likely cause Opus to quickly enter the performance plateau. Even with a stronger base model, Fable has little remaining difficulty to convert into a noticeable experience gap.

Namun, pengguna harus membayar selisih harga sejak awal permintaan. Oleh karena itu, Fable lebih mudah menunjukkan nilainya melalui tugas-tugas seperti kode basis yang asing, perencanaan multi-tahap, operasi lintas alat, eksekusi mandiri jangka panjang, serta tugas yang memerlukan pemulihan setelah kesalahan terjadi.

Referensi: https://www.anthropic.com/news/claude-opus-5

Ini berarti hal yang dijual oleh model tingkat tinggi sedang berubah. Yang dijualnya bukan lagi hanya “jawaban putaran ini lebih kuat”, tetapi keandalan tambahan dalam trajektori yang lebih kompleks.

Masalahnya adalah, keunggulan ini memerlukan tugas yang cukup panjang agar dapat berkembang, dan ketika tugas diperpanjang, kemampuan model bukan lagi satu-satunya faktor penentu, status konteks mulai memainkan peran sentral.

03

Melihat konteks 1M, mudah untuk memahaminya sebagai memori kerja yang sangat besar, sehingga ketika Claude mulai melewatkan, mengulang, atau bahkan mengalami kekacauan status hanya dengan menggunakan 200K atau 300K token, terasa sangat tidak intuitif.

Namun, jendela konteks mengukur kapasitas, bukan konsistensi status. Sesi Agent panjang bukanlah dokumen statis, melainkan riwayat eksekusi yang terus ditambahkan.

Referensi: https://platform.claude.com/docs/en/build-with-claude/context-windows

Sebuah file mungkin dimodifikasi beberapa kali secara berturut-turut; sebuah bug awalnya dianggap sebagai masalah cache, kemudian ditemukan berasal dari konkurensi; sebuah tes mungkin gagal terlebih dahulu, kemudian berhasil, dan gagal kembali karena perubahan baru. Konten lama tidak akan dihapus secara otomatis seiring perubahan status, konten baru hanya ditambahkan di belakang.

Masalah yang muncul di sini bukan hanya retrieval. Model tidak hanya harus menemukan informasi yang relevan dengan tugas saat ini, tetapi juga menilai apakah informasi tersebut masih berlaku saat ini.

Fungsi lama dan fungsi baru sangat mirip, log pengujian lama dan log pengujian baru mengandung banyak token yang sama, analisis yang telah dibantah juga mungkin secara semantik sangat relevan dengan masalah saat ini. Attention tidak sulit menemukan konten-konten ini, yang sulit adalah menentukan hubungan cakupan di antara mereka.

Database dapat mempertahankan state saat ini melalui nomor versi, waktu pembaruan, transaksi, dan bidang eksplisit, sedangkan konteks bahasa alami biasanya tidak memiliki struktur semacam itu. Ia lebih mirip log append-only, di mana model harus merekonstruksi sendiri bagaimana keadaan dunia saat ini berdasarkan urutan peristiwa.

Referensi: https://platform.claude.com/docs/en/build-with-claude/context-windows

Oleh karena itu, kompleksitas konteks panjang tidak secara sederhana sesuai dengan proporsi penggunaan token. Dokumen statis 250K token mungkin jauh lebih mudah diproses daripada riwayat Agent 250K token, karena yang terakhir berisi sejumlah besar objek yang telah dimodifikasi, penilaian bertahap, hasil alat, dan status yang sudah tidak berlaku.

Sejarah pemikiran akan semakin meningkatkan kompleksitas ini. Yang disimpan dalam sesi tidak hanya "apa yang terjadi", tetapi juga mungkin "mengapa keputusan tersebut diambil pada saat itu". Jika penalaran awal dibangun di atas asumsi yang kemudian dibantah, penalaran tersebut tetap mungkin berpartisipasi dalam penilaian selanjutnya karena sangat relevan dengan masalah saat ini.

Jadi, batasan sebenarnya dari konteks 1M bukan hanya seberapa banyak informasi yang bisa dimuat, tetapi apakah model masih dapat secara stabil memulihkan versi terkini setelah semakin banyak versi historis dari objek yang sama muncul.

04

Saat context terus bertambah, compaction tampak seperti solusi alami: memperpendek sejarah lama, lalu melanjutkan eksekusi. Namun, compaction dalam skenario Agent bukanlah hal yang sama dengan ringkasan biasa.

Menghilangkan satu contoh saat merangkum artikel biasanya hanya memengaruhi kelengkapan informasi; menghilangkan satu batasan yang masih berlaku saat memampatkan jejak Agent dapat secara langsung mengubah jalur eksekusi berikutnya.

Referensi: https://platform.claude.com/cookbook/tool-use-context-engineering-context-engineering-tools

Karena kompaksi harus menangani bukan "konten apa yang penting", tetapi "konten apa yang masih berlaku saat ini". Dalam sebuah sejarah, mungkin ada tugas yang telah selesai, penilaian yang kemudian dibatalkan, batasan antarmuka yang masih berlaku saat ini, hasil pengujian yang sudah kedaluwarsa, dan workaround sementara. Kompaktor perlu menyusun ulang status waktu ini menjadi representasi yang dapat digunakan untuk iterasi berikutnya.

Jika "saat ini diduga masalah berasal dari cache" diringkas menjadi "masalah berasal dari cache", asumsi sementara menjadi fakta; jika solusi yang telah ditinggalkan masih masuk ke ringkasan, agen berikutnya mungkin kembali mengikuti jalur lama; jika batasan kunci tertentu tidak masuk ke ringkasan, model bahkan mungkin tidak lagi melihatnya.

Jadi indikator kunci compaction bukanlah rasio kompresi, melainkan keakuratan status. Inilah mengapa Git, pengujian, file tugas, memori, dan handoff terstruktur menjadi semakin penting dalam Agent jangka panjang.

Mereka bukan hanya menambah informasi yang dapat dilihat oleh model, tetapi memindahkan beberapa status yang perlu berlaku jangka panjang dari sejarah bahasa alami ke sistem eksternal. Git secara eksplisit menandai versi kode saat ini, pengujian memberikan hasil yang dapat diverifikasi, file tugas mencatat status penyelesaian, dan status terstruktur membedakan kesimpulan saat ini dari upaya sebelumnya.

Konteks dapat menyimpan riwayat yang kaya, tetapi tidak dapat secara permanen menanggung seluruh tanggung jawab manajemen status.

Referensi: https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents

05

Beberapa pertanyaan sebelumnya masih dapat dipahami sebagai cara model memproses input. Agent melangkah lebih jauh, karena ia secara aktif memodifikasi lingkungan.

Dalam obrolan biasa, kesalahan model biasanya tetap berada dalam teks output. Agent dapat mengubah kode, menjalankan perintah, menginstal dependensi, menyesuaikan konfigurasi, lalu membaca hasil baru yang dihasilkan dari tindakan-tindakan tersebut.

Jadi kesalahan tidak lagi hanya kesalahan penilaian, tetapi juga menjadi perubahan lingkungan. Misalnya, Claude salah mengidentifikasi bug sebagai masalah cache, sehingga mengubah logika cache, mekanisme retry, dan beberapa titik pemanggilan. Setelah pengujian, muncul sejumlah pengecualian baru.

Kesalahan-kesalahan ini nyata, tetapi bukan merupakan hasil alami dari bug asli, melainkan dihasilkan oleh perubahan sebelumnya. Ini akan membuat Agent memasuki mode kegagalan yang sangat khusus: model mulai menganalisis distribusi data yang diciptakannya sendiri.

Referensi: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

Jika ia dapat mengenali "kesalahan baru ini muncul setelah perubahan putaran sebelumnya", maka dapat dilakukan rollback dan pemeriksaan ulang terhadap asumsi awal; jika tidak ada hubungan sebab-akibat ini dibangun, maka kesalahan baru mungkin terus dianggap sebagai masalah independen, diperbaiki satu per satu.

Pada titik ini, setiap langkah lokal mungkin memiliki dasar yang valid, tetapi seluruh lintasan tugas telah menyimpang dari masalah awal. Oleh karena itu, keandalan Agent panjang tidak bisa dinilai hanya berdasarkan tingkat kebenaran setiap langkah. Yang lebih penting adalah, setelah kesalahan masuk ke lingkungan, apakah sistem dapat mendeteksi, mengidentifikasi penyebab, dan memulihkannya.

Git diff dapat memberi tahu model perubahan apa yang baru terjadi, pengujian dapat memverifikasi apakah suatu perilaku telah rusak, checkpoint dan rollback dapat membatasi penyebaran kesalahan, sedangkan evaluator independen dapat memberikan verifikasi tambahan di luar penjelasan model sendiri.

Fungsi komponen-komponen ini pada dasarnya adalah menambahkan kemampuan koreksi berbasis umpan balik pada Agent.

Referensi: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

06

Banyak benchmark mengukur: apakah model dapat menyelesaikan tugas ketika diberikan lingkungan yang sudah diinisialisasi. Agent nyata menambahkan satu tingkat kesulitan lagi: lingkungan terus berubah seiring tindakan yang diambil oleh model itu sendiri. Oleh karena itu, dua model dengan tingkat keberhasilan akhir yang hampir sama dapat memberikan pengalaman nyata yang sama sekali berbeda.

Satu model mungkin awalnya membuat prediksi sangat akurat, tetapi sekali salah, terus-menerus memperbaiki di jalur yang salah; model lain mungkin tidak secara signifikan lebih kuat dalam satu langkah, tetapi lebih cepat mendeteksi bahwa sebuah perubahan menciptakan masalah baru, lalu mengembalikan dan memilih jalur lain.

Hanya melihat tujuan akhir, sulit untuk membedakan kedua perilaku ini. Jika tugas Agen diperpanjang lebih jauh, indikator yang lebih bermakna akan menjadi seberapa banyak status kunci yang dipertahankan setelah kompaksi, apakah langkah yang memperkenalkan kesalahan dapat ditemukan setelah modifikasi salah terjadi, apakah status tugas internal tetap konsisten dengan lingkungan nyata seiring peningkatan pemanggilan alat, serta berapa besar biaya yang diperlukan untuk pulih setelah penyimpangan terjadi.

Indikator-indikator ini mengukur bukan seberapa cerdas satu respons, tetapi apakah sebuah trajektori dapat tetap terkendali.

Secara keseluruhan, beberapa masalah yang baru-baru ini terungkap oleh Anthropic sebenarnya terjadi pada berbagai tingkatan. Setelah masalah-masalah ini muncul secara terkonsentrasi, batasan teknis Claude pun mulai berubah.

Dulu lebih seperti bertanya apakah model bisa menyelesaikan satu soal tertentu, sekarang tantangan yang lebih sulit adalah hal lain: setelah tugas berjalan selama beberapa jam, melalui puluhan siklus pemanggilan alat, beberapa kompresi status, dan beberapa modifikasi kode, apakah sistem masih bisa mempertahankan satu dunia saat ini yang dapat dipercaya?

Kemampuan model terus meningkat, hanya dapat meningkatkan batas atas setiap langkah penilaian. Apakah Agent panjang dapat berfungsi secara stabil semakin bergantung pada seperangkat kemampuan lain: apakah statusnya jelas, tindakannya dapat diverifikasi, dan kesalahan dapat dirollback.