اینٹروپک نے 24 اگست کو کلاؤڈ کے اسٹریمنگ ریسپانس رینڈرر پر ایک فرانت اینڈ آپٹیمائزیشن لانچ کی، جس کا مقصد وہ مسئلہ تھا جسے کوئی بھی جانتا ہے جس نے پرانے مachines پر AI چیٹ بات کے ذریعے لمبا جواب حاصل کرنے کی کوشش کی ہو: وہ پریشان کن اسٹٹر-فریز سائکل جو مکالمے کو ایک سلائیڈ شو میں تبدیل کر دیتی ہے۔
یہ اپڈیٹ کلاؤڈ کی ویب اور ڈیسک ٹاپ ایپلیکیشنز پر لاگو ہوتا ہے۔ اینتھروپک کے مطابق، اب لمبے جوابات تقریباً 4 گنا زیادہ چکر سے سٹریم ہوتے ہیں، سست لیپ ٹاپس پر روکاوٹیں 9 گنا کم ہو جاتی ہیں، اور بدترین صورتحال کے فریزز 4.5 گنا کم ہو جاتے ہیں۔ اس اہلیت والے ہارڈ ویئر، جیسے 120 ہرٹز والے میک بکس، رینڈرر سٹریمنگ آؤٹ پٹ کے دوران 120 فریم فی سیکنڈ برقرار رکھ سکتا ہے۔
اندرونی طور پر کیا تبدیلی ہوئی
مرکزی اصلاح اس کی سادگی میں شاندار ہے۔ پہلے، کلاؤڈ کے ماڈل سے آنے والی ہر ٹوکن کے ساتھ پورے جواب کے کنٹینر، یا کم از کم اس کا ایک بڑا حصہ، دوبارہ رنڈر ہوتا تھا۔ نئی اسٹائل صرف ان عناصر تک محدود ہے جن میں حقیقت میں تبدیلی آئی ہے، جس سے ہر ٹوکن کے لیے حسابی بوجھ میں بہت زیادہ کمی آتی ہے، جو کم GPU کے ساتھ یا پرانے پروسیسرز والی مشینوں پر سب سے زیادہ اہم ہے۔
اہم بات یہ ہے کہ اینتھروپک نے اس ریلیز کے ساتھ اپنے ماڈلز یا API میں کوئی تبدیلی نہیں کی۔ جنریشن کی رفتار، آؤٹ پٹ کی معیار، اور بنیادی انفرنس پائپ لائن میں کوئی تبدیلی نہیں ہوئی۔ یہ صرف پریزنٹیشن لیئر میں بہتری ہے۔
AI کے مقابلے میں UI کی کارکردگی کیوں اہم ہے
120 فریم فی سیکنڈ کا مستقل فریم ریٹ کا اندازہ بہت واضح ہے۔ زیادہ تر ویب ایپلیکیشنز فریم ریٹ کے بارے میں سوچنے کی ضرورت نہیں ہوتی، لیکن اسٹریمنگ ٹیکسٹ رینڈررز اصل میں اینیمیشنز ہوتے ہیں۔ ہر نیا ٹوکن ایک فریم اپڈیٹ ہوتا ہے۔ جب آپ لمبے جواب کے لیے سینکڑوں ٹوکنز جنریٹ کر رہے ہوتے ہیں، تو یہ سینکڑوں ترتیب وار فریم اپڈیٹس ہوتے ہیں، اور کوئی بھی رکاوٹ ایک جھٹکہ یا فریز کے طور پر نظر آ جاتی ہے۔
موزوں ہارڈویئر پر 120 فریم فی سیکنڈ تک پہنچنا کا مطلب ہے کہ اینتھرپک کا رینڈرر اب ایپل کے پرو موشن ڈسپلے کی ریفریش ریٹ کے ساتھ فریم ڈراپ کیے بغیر مطابقت رکھتا ہے۔
فیڈ بیک لوپ، اور اس کے حدود
سوشل میڈیا پر صارفین کی ردعمل زیادہ تر مثبت رہا، بہت سے نے نوٹ کیا کہ ترقی کو لمبی بات چیت کے دوران فوراً محسوس کیا جا سکا۔ لیکن کچھ جوابات میں ایک تنازع کو اجاگر کیا گیا جس کا سامنا اینتھرپک اور ہر دوسری AI کمپنی کرتی ہے: انٹرفیس کو بہتر بنانا ماڈل کو درست نہیں کرتا۔ کئی صارفین نے اشارہ کیا کہ جب کلاؤڈ حوالہ دینے میں جھوٹ بولتا ہے یا غلط معلومات کو پُراعتمادی سے پیش کرتا ہے، تو نرم اسٹریمنگ سے کوئی فائدہ نہیں ہوتا۔
اپ ڈیٹ کا اینٹروپک کے کاروباری خواہشات پر بھی اثر پڑتا ہے۔ کاروباری صارفین عام طور پر معیاری ہارڈویئر استعمال کرتے ہیں جو ڈویلپرز اور ابتدائی استعمال کرنے والوں کے استعمال کیے جانے والے ہارڈویئر کے مقابلے میں پرانا ہوتا ہے۔ سستے لیپ ٹاپس پر 9 گنا کم توقف صرف ایک بلاگ پوسٹ کے لیے اچھا اعداد و شمار نہیں ہے۔ یہ اس بات کا فرق ہے کہ کسی ایسے اینٹرپرائز ڈپلومنٹ کا استعمال کارکنان کرتے ہیں جو واقعی استعمال ہوتا ہے، اور اس کے برعکس جسے وہ ایک ہفتے کے تکلیف دہ فریزز کے بعد کسی مقابلہ کنندہ کے لیے چھوڑ دیتے ہیں۔