AI ماڈلز کے بڑے پیمانے پر استعمال کے بعد، استدلال کی کمپوٹنگ طاقت کی مانگ مسلسل بڑھ رہی ہے۔ تربیت کے مرحلے کے مقابلے میں، ماڈلز کے آن لائن جوابات پیدا کرنے اور ایجینٹ کاموں کو انجام دینے کے لیے چپ آرکیٹیکچر، لیٹنسی اور ڈپلویمنٹ لاگت کی ضروریات مختلف ہوتی ہیں۔ ٹیک کرنش کے مطابق، استدلال کلاؤڈ سروس پرووائیڈر جنرل کمپیوٹ نے اس شعبے میں داخلہ حاصل کرنے کے لیے ایک زیادہ ہلکا ڈپلویمنٹ حل تیار کرنے کی کوشش کی ہے۔
جنرل کمپیوٹ نے پہلے 15 ملین امریکی ڈالر کی بیج فنڈنگ مکمل کر لی ہے، جس کے بعد اس کی قیمت 60 ملین امریکی ڈالر ہو گئی۔ اس فنڈنگ راؤنڈ کی قیادت FUSE VC نے کی، جبکہ Carya Venture Partners اور Village Global Ventures نے شرکت کی۔ کمپنی کا خود کو "推理 neocloud" کے طور پر پوزیشن کرنا ہے، جو AI مدلز کے رن ٹائم کے لیے ضروری AI پروسیسنگ کی صلاحیتیں کرایہ پر دیتی ہے۔
سامبا نووا انفرینس چپ پر بیٹ لگائیں
AI انفراسٹرکچر مارکیٹ میں، GPU اب بھی بنیادی منتخب ہے، لیکن بڑی تعداد میں کمپنیاں خاص طور پر انفرنس کے لیے ڈیزائن کردہ چپس پر زور دے رہی ہیں۔ رپورٹ میں کہا گیا ہے کہ جنرل کمپیوٹ کے پاس SambaNova کے ساتھ تعاون کرنے کا انتخاب ہے، جبکہ زیادہ تنگ GPU وسائل کی پیروی نہیں کر رہا۔
سنباریوا ایک ایسی چپ کمپنی ہے جسے انٹیل نے سپورٹ کیا ہے اور جو لمبے عرصے سے ریزنگ کمپوٹنگ پر توجہ مرکوز کر رہی ہے۔ جنرل کمپیوٹ کے مشترکہ بانی کے مطابق، سنباریوا اس سال ایک نئی چپ جاری کرے گی جو ریزنگ کے دوران زیادہ کنٹیکس میموری فراہم کرے گی اور اس کی آرکیٹیکچر زیادہ لچکدار ہوگی۔ کمپنی کے مطابق، نئی چپ کی رفتار 600 سے 700 ٹوکن فی سیکنڈ تک ہوگی، جبکہ جی پی یو تقریباً 250 ٹوکن فی سیکنڈ ہے۔
جنرل کمپیوٹ نے 3 ارب ڈالر کی قیمت کے SambaNova SN50 چپس آرڈر کر دیے ہیں اور یہ پہلا neocloud کمپنی ہوگا جو ان چپس کو ڈپلوی کرے گا۔
موجودہ ڈیٹا سینٹر میں فوری طور پر ڈپلوی کیا جا سکتا ہے
چپ کی فراہمی کے علاوہ، AI کی کمپوٹنگ طاقت کے وسعت دینے کا دوسرا بڑا مسئلہ ڈیٹا سینٹر کی تنصیب ہے۔ بہت سے اعلیٰ کارکردگی والے AI چپس کو تر ٹھنڈا اور زیادہ بجلی کی ترتیب کی ضرورت ہوتی ہے، جس سے ڈیٹا سینٹر کی تبدیلی کے اخراجات بڑھ جاتے ہیں اور شروع ہونے کا وقت لمبا ہو جاتا ہے۔
جنرل کمپیوٹ نے ہوا سے ٹھنڈا کیا جانے والا اور کم بجلی استعمال کرنے والا انفرینس چپ استعمال کرنے کا منصوبہ پیش کیا ہے۔ اس طرح، ڈیوائس کو بدون بڑے انفراسٹرکچر اپ گریڈ کے فوراً موجودہ ڈیٹا سینٹر میں لگایا جا سکتا ہے۔ ایک نئی مارکیٹ میں داخل ہونے والی انفرینس کلاؤڈ کمپنی کے لیے، اس کا مطلب ہے کہ وہ جلد ہی کرایہ پر دی جانے والی کمپوٹنگ پاور تشکیل دے سکتی ہے۔
کمپنی ابھی اپنے خود کے ہارڈویئر کو تیسری پارٹی کے اداروں میں رکھنے کے لیے ٹرسٹڈ کوآپریشنز کو آگے بڑھا رہی ہے۔ اس تعاون میں صرف روایتی ڈیٹا سینٹر آپریٹرز ہی نہیں بلکہ تبدیلی کی طرف راغب کریپٹو مائننگ کمپنیاں بھی شامل ہیں۔ رپورٹ میں بتایا گیا ہے کہ کچھ اوقات میں بٹ کوائن کی پیداوار کا خرچہ بازار کی قیمت سے زیادہ ہوتا ہے، جس سے کچھ مائننگ فارمز نے نئے انفراسٹرکچر کے استعمال کی تلاش شروع کر دی ہے۔
رازمندی کا مقابلہ تیزی اور لاگت پر منتقل ہو گیا ہے
جنرل کمپیوٹ نے گزشتہ هفتوں کلاؤڈ سروسز لانچ کیں اور دعویٰ کیا کہ وہ اوپن سورس بڑے ماڈل MiniMax 2.7 چلانے میں سب سے تیز ہیں۔ کمپنی چاہتی ہے کہ جو کوڈنگ ایجینٹ کام ایک گھنٹے میں ہوتا تھا، وہ 5 سے 10 منٹ میں مکمل ہو جائے، اور ریئل ٹائم سیناریوز جیسے کسٹمر سروس آواز ایجینٹس کی انفرینس لاگت کم ہو جائے۔
انویسٹر جو ہیسلمن کا خیال ہے کہ یہ تعاون ابتدائی دور میں کور ویو کے Nvidia کے ساتھ کمپوٹیشنل پاور کو بڑھانے کے طریقے کے مشابہ ہے۔ سامبا نووا کے لیے جنرل کمپیوٹ، اس کے چپس کو اعلیٰ نمو والے مناظر میں داخل ہونے کا اہم ذریعہ ہے۔
رپورٹ کے مطابق، ریزننگ کلاؤڈ بنیادی طور پر ایک "متعدد ماڈلز، متعدد ایجینٹس" والے مارکیٹ پر باتیں لگا رہا ہے۔ اگر مستقبل میں کوئی ایک ماڈل فراہم کنندہ طویل عرصے تک منوپولی نہ رکھ سکا، تو ریزننگ کی رفتار اور فی یونٹ لاگت زیادہ براہ راست مقابلے کا معیار بن جائے گی۔ حالیہ طور پر OpenRouter کو 113 ملین امریکی ڈالر کا B سیریز فنڈنگ حاصل ہوا، جو مارکیٹ میں متعدد ماڈلز تک رسائی اور ٹوکن لاگت کے بہترین انداز کی ضرورت میں اضافے کو ظاہر کرتا ہے۔