Ipinakilala ni Anthropic ang isang frontend optimization sa renderer ng streaming response ni Claude noong Agosto 24, na nakatuon sa isang problema na kilala ng lahat ng nagsubok na makakuha ng mahabang sagot mula sa isang AI chatbot sa isang mas lumang machine: ang nakakapagod na stutter-at-freeze cycle na nagpapalit ng isang usapan sa isang slideshow.
Ang update ay nakaaaply sa web at desktop applications ni Claude. Ayon sa Anthropic, ang mga mahabang sagot ay stream ngayon nang 4x mas magaan, ang paghinto sa mas mabagal na laptop ay bumaba ng 9x, at ang pinakamasamang kaso ng pag-freeze ay bumaba ng 4.5x. Sa hardware na sumusuporta dito, tulad ng 120 Hz na MacBooks, ang renderer ay maaaring magpanatili ng 120 fps habang nagpapakita ng output.
Ano ang tunay na nagbago sa ilalim ng kama
Ang pangunahing pagpapabuti ay maganda sa kanyang simplisidad. Noong una, bawat dumating na token mula sa modelo ni Claude ay nagtrigger ng pag-repaint ng buong container ng sagot, o kaya ay isang malaking bahagi nito. Ang bagong paraan ay limitado ang mga pag-update sa UI lamang sa mga elemento na talagang nagbago, na nagresulta sa malaking pagbawas sa computational overhead bawat token, na mahalaga lalo na sa mga machine na may limitadong GPU headroom o mas lumang processor.
Mahalaga, walang pagbabago ang Anthropic sa mga modelo o API nito sa paglalabas na ito. Ang bilis ng pagbuo, kalidad ng output, at ang pangunahing inference pipeline ay nananatiling hindi binago. Ito ay isang pagpapabuti lamang sa layer ng pagpapakita.
Bakit mahalaga ang UI performance sa pagpapaligsig sa AI
Ang figure na 120 fps na sustained frame rate ay lalong nagpapakita. Karamihan sa mga web application ay hindi kailangang isipin ang frame rate, ngunit ang streaming text renderers ay talagang mga animation. Bawat bagong token ay isang frame update. Kapag nag-generate ka ng mga hundreds ng token para sa isang mahabang sagot, iyon ay mga hundreds ng sequential frame updates, at anumang paghinto ay maaaring makita bilang stutter o freeze.
Ang pagkuha ng 120 fps sa kompatibleng hardware ay nangangahulugan na ang renderer ni Anthropic ay maaari nang tumugma sa refresh rate ng mga display ng Apple na ProMotion nang walang frame drop.
Ang feedback loop at mga limitasyon nito
Ang reaksyon ng mga gumagamit sa social media ay karamihan ay positibo, na may maraming nagtuturo na agad na nakakaramdam ang pagbabago habang nagpapatuloy ang mga mahabang usapan. Ngunit may ilang mga tugon ang nagpakita ng isang tensyon na kinakaharap ni Anthropic at ng bawat iba pang kumpanya ng AI: ang pagpapabuti sa interface ay hindi nagpapabuti sa modelo. Ilan sa mga gumagamit ay nagturo na ang mas magandang streaming ay hindi nakakatulong kapag nagkakalat ang Claude sa isang sanggunian o nagsasalita nang tiyak ng maling impormasyon.
Ang pag-update ay may epekto rin sa mga pang-entreprenyor na layunin ni Anthropic. Madalas ang mga corporate user na gumagamit ng standardisadong hardware na mas lumang uri kaysa sa ginagamit ng mga developer at mga unang tagapagsanay. Ang 9x na pagbawas sa mga paghinto sa mas mabagal na laptop ay hindi lang isang magandang estadistika para sa isang blog post. Ito ang pagkakaiba sa pagitan ng isang enterprise deployment na talagang ginagamit ng mga empleyado at isang isa na pinabayaan nila para sa isang kalaban pagkatapos ng isang linggo ng nakakapagod na pagkakasigaw.