Anthropic melancarkan pengoptimuman antaramuka pada pengecat respons streaming Claude pada 24 Ogos, menargetkan masalah yang semua orang yang pernah mencari jawaban panjang daripada bot perbualan AI pada mesin lama kenali dengan baik: kitaran gugup dan beku yang memburukkan perbualan menjadi slaid show.
Kemas kini ini berkuat kuasa pada aplikasi web dan desktop Claude. Menurut Anthropic, jawapan panjang kini mengalir dengan lancar kira-kira 4 kali lebih baik, penghentian pada laptop perlahan berkurang sebanyak 9 kali, dan kegagalan terburuk berkurang sebanyak 4.5 kali. Pada peranti keras yang menyokongnya, seperti MacBook 120 Hz, renderer boleh mengekalkan 120 fps semasa pengeluaran pengaliran.
Apa yang sebenarnya berubah di bawah tudung
Pembaikan utama adalah elegan dalam kesederhanaannya. Sebelum ini, setiap token yang masuk dari model Claude memicu pemulihan semula keseluruhan konten respons, atau sekurang-kurangnya sebahagian besar ia. Pendekatan baharu membatasi kemas kini UI hanya kepada elemen-elemen yang benar-benar berubah, menghasilkan beban komputasi yang jauh lebih rendah setiap token, yang paling penting pada mesin dengan sumber GPU terhad atau pemproses lama.
Secara kritikal, Anthropic tidak membuat sebarang perubahan kepada model atau API-nya dengan rilis ini. Kelajuan penghasilan, kualiti output, dan salur inferens asas tetap tidak berubah. Ini semata-mata merupakan peningkatan pada lapisan paparan.
Mengapa prestasi antaramuka penting dalam perlumbaan AI
Angka kadar bingkai berterusan 120 fps sangat memberi petunjuk. Kebanyakan aplikasi web tidak perlu memikirkan kadar bingkai sama sekali, tetapi pengekstrak teks siar adalah animasi yang sebenarnya. Setiap token baru adalah kemas kini bingkai. Apabila anda menghasilkan ratusan token untuk respons panjang, itu adalah ratusan kemas kini bingkai berturut-turut, dan sebarang gangguan akan kelihatan sebagai gugup atau beku.
Mencapai 120 fps pada peranti yang kompatibel bermakna renderer Anthropic kini boleh menyesuaikan kadar segar paparan ProMotion Apple tanpa menjatuhkan bingkai.
Litar maklum balas, dan hadnya
Tindak balas pengguna di media sosial kebanyakannya positif, dengan ramai yang memperhatikan bahawa peningkatan itu langsung ketara semasa perbualan panjang. Namun, beberapa respons menonjolkan ketegangan yang dihadapi Anthropic dan semua syarikat AI lain: memperhalus antaramuka tidak menyelesaikan model. Beberapa pengguna menunjukkan bahawa penghantaran yang lebih lancar tidak membantu apabila Claude berkhayal tentang rujukan atau menyampaikan maklumat yang salah dengan yakin.
Kemas kini ini juga mempunyai kesan terhadap ambisi perniagaan Anthropic. Pengguna korporat sering menjalankan peralatan standard yang lebih lama berbanding yang digunakan oleh pembangun dan pengguna awal. Pengurangan 9x dalam gangguan pada laptop yang lebih perlahan bukan sekadar statistik yang menarik untuk pos blog. Ia adalah perbezaan antara pelaksanaan perniagaan yang benar-benar digunakan oleh pekerja dan yang ditinggalkan kerana pesaing selepas seminggu beku yang memalukan.