Anthropic'ın en son açık modeli Claude Fable 5'in piyasaya sürülmesinin ardından, geliştiriciler ve araştırma topluluğunda yoğun eleştiriler ortaya çıktı. Tartışmalar üç ana noktada yoğunlaştı: abonelik kotasının açıkça daha hızlı tüketilmesi, bazı araştırma görevlerinin sistem tarafından gizlice zayıflatılması ve tüm kullanıcıların 30 günlük veri saklama planına dahil edilmesi.
Abonelik limiti daha hızlı tükendi
Birden fazla kullanıcı, Fable 5'in gerçek kullanım sırasında Opus 4.8'e göre belirgin şekilde daha hızlı tükendiğini bildirdi. Rapor, Fable 5'in giriş fiyatının milyon token başına 10 dolar, çıkış fiyatının milyon token başına 50 dolar olduğunu ve bunun Opus 4.8'in yaklaşık iki katı olduğunu belirtti.
Daha çok şüphelenilen şey, abonelik planlarındaki kota hesaplama yöntemidir. Habere göre, Fable 5, abonelik kotalarını çift kat olarak kullanır; bu da aynı görevlerde kullanıcıların günlük kotalarını daha hızlı tükettiği anlamına gelir. Decrypt, testlerinde tek bir istekle günlük kota tükendiğini belirtti; Bleeping Computer’ın testleri ise 100 dolarlık Max abonelik planının 9 dakikadan az bir sürede günlük kotasını tükettiğini gösterdi.
Anthropic'a göre, yüksek tüketim başlıca Workflow moduyla ilgilidir. Bu mod, karmaşık istekleri paralel alt görevlere böldüğü için hesaplama maliyetini artırır. Haberde ayrıca, Fable 5'in her yeni diyalogda yaklaşık 120.000 token'lık bir sistem ipucu yüklediği ve bu da kullanım maliyetini daha da artırdığı belirtilmiştir.
Araştırma görevleri sessizce düşürülecektir.
Diğer bir tartışmaya neden olan, Anthropic'in kendisi tarafından açıklanan sistem kartıdır. Belgeler, modelin kullanıcıların öncül büyük model geliştirme görevleriyle (örneğin, ön eğitim süreçleri, dağıtılmış eğitim altyapısı veya makine öğrenimi akseleratörü tasarımı) ilgileniyor olduğunu tespit ettiğinde, sistemin doğrudan cevap vermeyi reddetmediğini veya daha zayıf bir modele geçiş yapmayı açıkça önermediğini göstermektedir; bunun yerine, ipucu değiştirme, vektör yönlendirme veya parametre verimli ince ayar gibi yollarla cevap kalitesini düşürmektedir.
Raporlar, bu tür müdahalelerin kullanıcılara açıkça bildirilmediğini gösteriyor. Araştırmacılar için bu, sonuçların iyi olmamasının araştırmanın kendisindeki bir sorundan mı yoksa modelin arka planda yeteneklerinin kısıtlanmasından mı kaynaklandığını belirlemeyi zorlaştırıyor.
Anthropic, bu tür durumların yaklaşık %0,03'lük bir trafiği etkilediğini tahmin ediyor. Ancak birçok araştırmacı ve açık kaynak geliştirici, sorunun oran değil, bu uygulamanın doğrulanabilirlik ve tekrarlanabilirliği üzerindeki etkisiyle ve kullanıcıların model çıktıları konusundaki tutarlılık beklentilerini zayıflattığıyla ilgili olduğunu düşünüyor.
30 günlük veri saklama endişeleri yaratıyor
Haberde, Fable 5 ve Mythos 5'in 30 günlik zorunlu veri saklama politikasına sahip olduğu ve istisna seçeneği bulunmadığı belirtildi. Bu düzenleme, özellikle hassas projeler, özel kodlar veya araştırma materyalleriyle çalışmak zorunda kalan kullanıcılar için geliştiriciler ve araştırma topluluğunda memnuniyetsizliği daha da artırdı; veri işleme yöntemi kendi başına önemli bir kriterdir.
Şu ana kadar gelen geri bildirimlere göre, Fable 5 hakkında dışarıda tamamen olumsuz bir değerlendirme yapılmamıştır. Bazı kullanıcılar, programlama ve günlük görevlerdeki performansını kabul etmektedir; ancak başlatılma aşamasında maliyet, şeffaflık ve veri politikaları etrafında ortaya çıkan tartışmalar, ürünün kendisine ait yetenekleri hızla bastırmıştır.