Anthropic meluncurkan optimasi antarmuka pada renderer respons streaming Claude pada 24 Agustus, menargetkan masalah yang dikenal baik oleh siapa pun yang pernah mencoba mendapatkan jawaban panjang dari chatbot AI di perangkat lama: siklus terbengkalai dan membeku yang membuat percakapan berubah menjadi slideshow.
Pembaruan ini berlaku untuk aplikasi web dan desktop Claude. Menurut Anthropic, jawaban panjang sekarang mengalir sekitar 4 kali lebih lancar, henti pada laptop lambat turun hingga 9 kali, dan pembekuan dalam kasus terburuk berkurang 4,5 kali. Pada perangkat keras yang mendukungnya, seperti MacBook 120 Hz, renderer dapat mempertahankan 120 fps selama output streaming.
Apa yang sebenarnya berubah di balik layar
Perbaikan intinya elegan karena kesederhanaannya. Sebelumnya, setiap token yang masuk dari model Claude memicu repaint pada seluruh kontainer respons, atau setidaknya sebagian besar darinya. Pendekatan baru membatasi pembaruan UI hanya pada elemen-elemen yang benar-benar berubah, sehingga menghasilkan beban komputasi yang jauh lebih rendah per token, yang paling penting pada mesin dengan kapasitas GPU terbatas atau prosesor lama.
Pentingnya, Anthropic tidak membuat perubahan apa pun pada model atau API-nya dalam rilis ini. Kecepatan generasi, kualitas output, dan pipeline inferensi dasar tetap tidak tersentuh. Ini murni merupakan peningkatan pada lapisan presentasi.
Mengapa kinerja antarmuka pengguna penting dalam perlombaan AI
Angka frame rate berkelanjutan 120 fps sangat menggambarkan hal ini. Sebagian besar aplikasi web tidak perlu memikirkan frame rate sama sekali, tetapi renderer teks streaming pada dasarnya adalah animasi. Setiap token baru adalah pembaruan frame. Ketika Anda menghasilkan ratusan token untuk respons panjang, itu adalah ratusan pembaruan frame berurutan, dan setiap gangguan akan terlihat sebagai jeda atau membeku.
Mencapai 120 fps pada perangkat yang kompatibel berarti renderer Anthropic sekarang dapat menyamakan refresh rate layar ProMotion Apple tanpa kehilangan frame.
Umpan balik, dan batasannya
Respon pengguna di media sosial sebagian besar positif, dengan banyak yang mencatat bahwa perbaikan tersebut langsung terasa selama percakapan panjang. Namun, beberapa tanggapan menyoroti ketegangan yang dihadapi Anthropic dan setiap perusahaan AI lainnya: menyempurnakan antarmuka tidak memperbaiki model. Beberapa pengguna menunjukkan bahwa streaming yang lebih lancar tidak membantu ketika Claude berhalusinasi tentang kutipan atau menyampaikan informasi yang salah dengan percaya diri.
Pembaruan ini juga memiliki implikasi terhadap ambisi enterpris Anthropic. Pengguna korporat sering menjalankan perangkat keras standar yang lebih tua dibandingkan yang digunakan pengembang dan pengguna awal. Pengurangan 9x dalam hambatan pada laptop yang lebih lambat bukan hanya statistik yang bagus untuk postingan blog. Ini adalah perbedaan antara implementasi enterpris yang benar-benar digunakan karyawan dan yang ditinggalkan mereka untuk pesaing setelah satu minggu membeku yang membuat frustasi.