سب کہتے ہیں کہ Claude Code ٹوکن کا بے جا استعمال کرتا ہے، اصل میں کتنا زیادہ استعمال کرتا ہے؟ اب تک کسی نے اعداد و شمار نکال لیے ہیں۔
ہالیا وقت میں، کمپوزیو ٹیم سے ایک دلچسپ تقابلی تجربہ ہوا۔ انہوں نے ایک ہی ماڈل کا استعمال کیا کیمی K3، تین مختلف ایجنٹ فریم ورکس (ہارنس) میں ڈال کر چلائیں —— Claude Code، Hermes اور کیمی کوڈ—— کل 28 مکمل طور پر ایک جیسے کاموں کا امتحان لیا گیا۔
نتیجے میں، تین ہارنسز کے کام مکمل کرنے کی کامیابی کی شرح تقریباً ایک جیسی ہے: کیمی کوڈ میں 28 میں سے 22 کامیاب، هرمیس میں 21، اور کلوڈ کوڈ میں 20۔ فرق زیادہ نہیں ہے۔
واقعی فرق، ٹوکن کے استعمال سے بنتا ہے۔ ایک ہی کام کو مختلف ہارنیس کے ساتھ چلانے پر، ٹوکن کا استعمال تین گنا تک فرق کر سکتا ہے!
درمیانی قیمت کے لحاظ سے، کیمی کوڈ تقریباً 61,000 ٹوکن استعمال کرتا ہے، ہرمس تقریباً 67,000، جبکہ کلوڈ کوڈ فوراً 340,000 تک پہنچ جاتا ہے، جو تقریباً کیمی کوڈ کا 6 گنا۔
دبانا کیمی K3 کی قیمت ہر ملین ان پٹ ٹوکن کے لیے 3 امریکی ڈالر کے مطابق (ایجینٹ ورک فلو میں ان پٹ ٹوکن عام طور پر 95% تک کا شمار ہوتے ہیں)، ہر کام کی اوسط لاگت تقریباً ہے: کیمی کوڈ 0.22 امریکی ڈالر، ہرمیس 0.28 امریکی ڈالر، جبکہ کلوڈ کوڈ 2 امریکی ڈالر تک پہنچ گیا۔ فرق واضح ہے۔
سپیڈ بھی مختلف ہے۔ درمیانی وقت، Hermes سب سے تیز، 179 سیکنڈ؛ کیمی کوڈ 297 سیکنڈ؛ کلوڈ کوڈ 348 سیکنڈ۔
تو سب سے تیز Hermes ہے، اور سب سے کم ٹوکن استعمال کرنے والا کیمی کوڈ، دونوں میں کوئی تطابق نہیں ہے۔
کمپوزیو ٹیم نے اس سے ایک مستقیم نتیجہ نکالا: اگر آپ ایجنٹ کے اخراجات کو کم کرنا چاہتے ہیں، تو پہلے یہ دیکھیں کہ آپ کون سا ہارنس استعمال کر رہے ہیں، اور مدل بدلنے کی جلد بازی نہ کریں۔ ان کے ڈیٹا کے مطابق، ہارنس خود ہی اخراجات کو 9 گنا تک فرق ڈال سکتا ہے، جبکہ مڈل کی صلاحیت میں تقریباً کوئی فرق نہیں ہے۔
سیباستین راشکا نے بھی اس نتیجہ کو دیکھ کر پوسٹ کیا، جس میں انہوں نے کہا کہ یہ اس کے پہلے Qwen3.6 کے ساتھ کیے گئے مشاہدے کے مشابہ ہے: کلاڈ کوڈ کی کامیابی کی شرح کے قریب قریب ہونے کے باوجود، ٹوکن استعمال دو سے تین گنا زیادہ ہوتا ہے۔
اس نے کچھ ممکنہ وجوہات پیش کیں: کیا اسے کم تر ڈیزائن کیا گیا ہے؟ کیا اس میں بگ ہے؟ یا اسے جان بوجھ کر ایسے ڈیزائن کیا گیا ہے (کیونکہ مشکل تر کاموں پر مدد کر سکتا ہے)؟ اس نے کہا کہ اسے مزید وقت دینا ہوگا تاکہ اسے دوبارہ تفصیل سے جانچا جا سکے۔
اس کے بعد اس نے پچھلے ماہ اپنے مقامی کوڈنگ ایجنٹ کے مضمون لکھتے وقت کی مشاہدات کا اضافہ کیا۔ اس وقت اس نے تجزیہ کیا تھا کہ Claude Code کیوں زیادہ ٹوکن استعمال کرتا ہے، اور پایا کہ فرق بنیادی طور پر ان پٹ ٹوکن میں تھا، نہ کہ آؤٹ پٹ ٹوکن میں۔ یعنی، Claude نے دوگنا مواد نہیں لکھا۔ لاگ میں ظاہر ہوا کہ Claude کا ہارنس متعدد تعاملات میں پہلے کے پیغامات، ٹول کالز، حکم کے نتائج اور فائل کے مواد سمیت زیادہ سے زیادہ سیاق و سباق کو دوبارہ ماڈل میں ڈالتا رہتا ہے۔ مثال کے طور پر، ایک بار Claude نے تقریباً 578,000 ان پٹ ٹوکن استعمال کیے، جبکہ آؤٹ پٹ صرف تقریباً 4500 ٹوکن تھے، جو 25 راؤنڈ پر مشتمل تھے۔ اس لیے زیادہ ممکنہ وضاحت یہ ہے کہ Claude کا ہارنس متعدد مراحل کے ایجنٹ رن کے دوران بڑا پرامپٹ تاریخ جمع یا شامل کرتا ہے۔
یہ ٹیسٹ نتائج ایک نظرانداز نہیں کیا جا سکنے والا رجحان ظاہر کرتے ہیں: harness کی اہمیت اب مدل کے برابر ہو چکی ہے۔
ہالی ووڈ کی ایک تازہ ترین تحقیق (Writer، جو ایک کاروباری سطح کے AI ایجنٹ پلیٹ فارم کرتا ہے) نے یہ بات منظم طریقے سے ثابت کی ہے: کنٹرول ویری ایبلز کے ساتھ تجربات سے پتہ چلتا ہے کہ مدل کے بجائے ہارنس لیئر کو بدلنا لاگت کم کرنے کا زیادہ موثر طریقہ ہے، اور تمام ماڈلز فائدہ اٹھاتے ہیں۔
خاصة طور پر، انہوں نے ایک سخت "کنٹرولڈ ویری ایبل" تجربہ کیا: 22 کاروباری کاموں اور 6 بنیادی ماڈلز (Claude Sonnet 4.6، Gemini 3.1، Gemini Flash 3.5، Qwen 3.6، GLM 5.1، Palmyra X6) کو مستقل رکھتے ہوئے، صرف اور صرف اورکیشن لیئر کو — روایتی پروڈکشن لیول ایجنٹ سائکل کو Writer کے اپنے Harness سے تبدیل کرتے ہوئے۔
تجربی نتائج ظاہر کرتے ہیں کہ ہر کام کی اوسط لاگت 41% کم ہوئی (0.21 ڈالر → 0.12 ڈالر)، میڈین تاخیر 44% کم ہوئی (48 سیکنڈ → 27 سیکنڈ)، اور ٹوکن کے استعمال میں 38% کمی آئی (14.2k → 8.8k)، جبکہ کام کی مکمل کی گئی معیار تقریباً ایک جیسا رہا (0.78 → 0.81، نمونے کے محدود سائز کے باعث اسے اہم فرق نہیں مانا جا سکتا)۔ قیمت اور معیار کے حوالے سے، ہر ایک ڈالر کے خرچ پر معیار میں 82% تک اضافہ ہوا، جبکہ ہر ملین ٹوکن پر مکمل کیے جانے والے کاموں کی تعداد 54.9 سے بڑھ کر 92.0 ہو گئی۔
تو، ماڈل کو "پانی، بجلی، گیس" بنانے کے بعد، کیا ہارنیس وہ ایئر کنڈیشنر ہے جو آپ کے بجلی کے بل کا فیصلہ کرتا ہے؟ دوسرے الفاظ میں: پہلے کوئی کہتا تھا "ماڈل ہی پروڈکٹ ہے"، اب کہتے ہیں "ہارنیس ہی پروڈکٹ ہے"?
چونکہ ہارنیس اتنی اہم ہے، تو کیا اس کے بعد کا اکاؤنٹ بھی زیادہ تفصیل سے ہونا چاہیے؟
کسی نے اشارہ کیا ہے کہ ہمیں موجودہ بینچ مارک میں "ہارنس ٹیکس" شامل کرنے کی ضرورت ہے۔ خاص طور پر اس بات کو مد نظر رکھتے ہوئے کہ جب ٹول کال اور دوبارہ کوشش لُوپ میں داخل ہو جائیں، تو یہ ٹیکس لینیئر طور پر نہیں بڑھتا۔
دوسرے الفاظ میں، مستقبل کے ایجنٹ مقابلے میں، پہلے ہاف میں “کیا کیا جا سکتا ہے” پر بات ہوگی، اور دوسرے ہاف میں “ایک جیسے کام کو کون زیادہ سستا کر سکتا ہے” — اور پیسے بچانے کا راز ماڈل میں نہیں، ہارنیس میں ہے۔
ایجینٹ چلانے کے دوران کیا آپ نے کبھی ایسا تجربہ کیا ہے؟ کمینٹس میں بحث کریں۔
یہ مضمون ویچن گروپ "机器之心" (ID: almosthuman2014) سے ہے، مصنف:机器之心