Anthropic, 24 Ağustos'ta Claude'nin akışlı yanıt render arayüzünde bir ön uç optimizasyonu uyguladı; bu optimizasyon, eski bir makinede bir AI sohbet botundan uzun bir yanıt almak isteyen herkesin iyi bildiği, konuşmayı bir slayt gösterisine dönüştüren sinir bozucu kesinti ve donma döngüsünü hedefliyordu.
Güncelleme, Claude'nin web ve masaüstü uygulamalarına uygulanır. Anthropic'e göre, uzun cevaplar artık yaklaşık 4 kat daha sorunsuz akıştır, daha yavaş dizüstü bilgisayarlarda durmalar 9 kat azalır ve en kötü durumda donmalar 4,5 kat azalır. 120 Hz MacBook gibi destekleyen donanımlarda, oluşturucu akışlı çıktı sırasında 120 fps sabit tutabilir.
İçerde aslında ne değişti
Temel düzeltme, basitliğiyle zariftir. Daha önce, Claude modelinden gelen her bir token, tam yanıt konteynerinin veya en azından büyük bir kısmının yeniden çizilmesine neden oluyordu. Yeni yaklaşım, UI güncellemelerini yalnızca gerçekten değişen öğelere sınırlıyor ve bu da her token başına hesaplama yükünü büyük ölçüde azaltıyor; bu, sınırlı GPU kapasitesine veya eski işlemcilere sahip makinelerde en çok önem kazanıyor.
Kritik olarak, Anthropic bu sürümde modellerini veya API'sini hiçbir şekilde değiştirmedi. Üretim hızı, çıktı kalitesi ve temel çıkarım hattı aynen korundu. Bu tamamen bir sunum katmanı iyileştirmesidir.
Neden AI yarışında kullanıcı arayüzü performansı önemlidir
120 fps sabit çerçeve hızı sayısı özellikle belirleyicidir. Çoğu web uygulaması çerçeve hızları hakkında düşünmek zorunda değildir, ancak akışlı metin renderları aslında animasyonlardır. Her yeni belirteç bir çerçeve güncellemesidir. Uzun bir yanıt için yüzlerce belirteç oluşturuyorsanız, bu yüzlerce sıralı çerçeve güncellemesidir ve herhangi bir takılma, sarsıntı veya donma olarak görünür.
Uygun donanımda 120 fps'ye ulaşmak, Anthropic'ın render aracının, kare kaybı olmadan Apple'ın ProMotion ekranlarının yenileme hızını eşlemesini sağlıyor.
Geri bildirim döngüsü ve sınırları
Sosyal medyadaki kullanıcı tepkileri büyük ölçüde olumlu oldu; birçok kullanıcı, uzun sohbetler sırasında iyileşmenin hemen fark edilebilir olduğunu belirtti. Ancak bazı yanıtlar, Anthropic ve diğer tüm yapay zeka şirketlerinin karşılaştığı bir gerilimi vurguladı: arayüzü iyileştirmek modeli düzeltmez. Birçok kullanıcı, Claude'nin bir alıntı yaratması veya yanlış bilgiyi güvenle sunması durumunda daha sorunsuz akışın yardımcı olmayacağını işaret etti.
Güncelleme, Anthropic’ın kurumsal hedefleri için etkiler de barındırıyor. Kurumsal kullanıcılar, geliştiricilerin ve erken benimseyenlerin kullandığı donanımdan daha eski olan standartlaştırılmış donanımlarla çalışır. Daha yavaş dizüstü bilgisayarlarda %9 oranında durma azalması, bir blog yazısında güzel bir istatistikten fazlasıdır. Bu, çalışanların gerçekten kullandığı bir kurumsal dağıtım ile bir hafta boyunca frustrasyon yaratan donmalar nedeniyle bir rakip tarafından terk edilen bir dağıtım arasındaki farktır.