অগাস্ট ২৪-এ, এনথ্রোপিক পুরনো মেশিনে এআই চ্যাটবট থেকে দীর্ঘ উত্তর পেতে চেষ্টা করা যারা ভালোভাবে জানেন, তাদের জন্য ক্লাউডের স্ট্রিমিং রেসপন্স রেন্ডারারে একটি ফ্রন্টএন্ড অপ্টিমাইজেশন চালু করেছে: যে বিরক্তিকর স্টাটার-অ্যান্ড-ফ্রিজ সাইকেলটি একটি কথোপকথনকে একটি স্লাইডশোতে পরিণত করে।
এই আপডেটটি ক্লাউডের ওয়েব এবং ডেস্কটপ অ্যাপ্লিকেশনগুলিতে প্রযোজ্য। অ্যানথ্রোপিকের মতে, এখন দীর্ঘ উত্তরগুলি প্রায় 4 গুণ স্মুথলি স্ট্রিম হয়, ধীর ল্যাপটপগুলিতে স্টল হওয়া 9 গুণ কমে যায়, এবং সর্বাধিক খারাপ ক্ষেত্রে ফ্রিজ হওয়া 4.5 গুণ কমে যায়। যে হার্ডওয়্যারগুলি এটি সমর্থন করে, যেমন 120 Hz MacBooks, সেগুলিতে স্ট্রিমিং আউটপুটের সময় রেন্ডারার 120 fps-এ স্থিরভাবে কাজ করতে পারে।
অন্তর্নিহিতভাবে কী পরিবর্তিত হয়েছে
মূল সমাধানটি এর সরলতায় উপায়। আগে, ক্লডের মডেল থেকে প্রতিটি আগত টোকেন পুরো রেসপন্স কন্টেইনারের পুনরায় চিত্রণ ঘটাত, অথবা অন্তত এর একটি বড় অংশ। নতুন পদ্ধতিটি UI আপডেটকে শুধুমাত্র সেই উপাদানগুলিতেই সীমাবদ্ধ রাখে যেগুলি প্রকৃতপক্ষে পরিবর্তিত হয়েছে, যার ফলে প্রতিটি টোকেনের জন্য গণনাগত ওভারহেড অনেক কমে যায়, যা সীমিত GPU হেডরুম বা পুরানো প্রসেসরযুক্ত মেশিনগুলিতে সবচেয়ে বেশি গুরুত্বপূর্ণ।
গুরুত্বপূর্ণভাবে, এনথ্রোপিক এই রিলিজের সাথে তাদের মডেল বা API-এ কোনো পরিবর্তন করেনি। জেনারেশন স্পিড, আউটপুট কোয়ালিটি এবং অন্তর্নিহিত ইনফারেন্স পাইপলাইন অপরিবর্তিত রয়েছে। এটি শুধুমাত্র একটি প্রেজেন্টেশন-লেয়ার উন্নতি।
কেন এআই প্রতিযোগিতায় ইউআই পারফরম্যান্স গুরুত্বপূর্ণ
120 এফপিএস ধারাবাহিক ফ্রেম রেটের সংখ্যাটি বিশেষভাবে গুরুত্বপূর্ণ। বেশিরভাগ ওয়েব অ্যাপ্লিকেশনের ফ্রেম রেট নিয়ে চিন্তা করার দরকার হয় না, কিন্তু স্ট্রিমিং টেক্সট রেন্ডারারগুলি প্রায় অ্যানিমেশন। প্রতিটি নতুন টোকেন একটি ফ্রেম আপডেট। যখন আপনি একটি দীর্ঘ প্রতিক্রিয়ার জন্য শত শত টোকেন জেনারেট করছেন, তখন এটি শত শত ক্রমিক ফ্রেম আপডেট, এবং যেকোনো বাধা একটি স্টাটার বা ফ্রিজ হিসাবে দৃশ্যমান হয়।
সামঞ্জস্যপূর্ণ হার্ডওয়্যারে 120 এফপিএস অর্জন করা মানে যে এনথ্রোপিকের রেন্ডারার এখন ফ্রেম হারানোর কোনো সমস্যা ছাড়াই অ্যাপলের প্রোমোশন ডিসপ্লের রিফ্রেশ রেটের সাথে মিলে যাচ্ছে।
ফিডব্যাক লুপ এবং এর সীমাবদ্ধতা
সোশ্যাল মিডিয়ায় ব্যবহারকারীদের প্রতিক্রিয়া প্রধানত ইতিবাচক ছিল, অনেকে মন্তব্য করেছেন যে দীর্ঘ কথোপকথনের সময় উন্নতি তাত্ক্ষণিকভাবে অনুভূত হয়েছে। কিন্তু কিছু প্রতিক্রিয়ায় একটি টানাপোড়েনের কথা উল্লেখ করা হয়েছে যা Anthropic এবং অন্যান্য প্রতিটি AI কোম্পানির সামনে দাঁড়ায়: ইন্টারফেসকে পলিশ করলে মডেলটির সমস্যা সমাধান হয় না। কিছু ব্যবহারকারী উল্লেখ করেছেন যে, যখন Claude একটি উদ্ধৃতির ভুল তথ্য দেয় বা ভুল তথ্যকে আত্মবিশ্বাসের সাথে প্রদান করে, তখন স্মুথার স্ট্রিমিং কোনও সাহায্য করে না।
আপডেটটি এনথ্রোপিকের এন্টারপ্রাইজ লক্ষ্যের জন্যও প্রভাব ফেলে। কর্পোরেট ব্যবহারকারীরা প্রায়শই স্ট্যান্ডার্ডাইজড হার্ডওয়্যার চালায়, যা ডেভেলপারদের এবং প্রাথমিক ব্যবহারকারীদের ব্যবহার করা হার্ডওয়্যারের চেয়ে পুরনো। ধীরগতির ল্যাপটপে 9x কম স্টল হওয়া শুধুমাত্র একটি ব্লগ পোস্টের জন্য একটি সুন্দর পরিসংখ্যান নয়। এটি হল এমন এন্টারপ্রাইজ ডিপ্লয়মেন্টের মধ্যে পার্থক্য, যা কর্মচারীরা বাস্তবে ব্যবহার করে, এবং এমন একটি ডিপ্লয়মেন্টের মধ্যে পার্থক্য, যা একসপ্তাহের বিরক্তিকর ফ্রিজের পরে তারা প্রতিদ্বন্দ্বীর দিকে ছেড়ে দেয়।