بڑھتی ہوئی مانگ اور سپلائی کی پابندیوں کے باعث AI کمپیوٹ کی لاگت میں اضافہ ہونے کا امکان

میں ایک انتہائی سادہ طریقہ آزمانا چاہتا ہوں: اپنے لیے 2 گھنٹے کا وقت مقرر کریں اور ایک بلاگ پوسٹ جلدی سے مکمل کریں۔ بہت سے اہم مسائل میں ان کی گہرائی تک نہیں پہنچ پا رہا، لیکن اگر میں ایسا نہ کروں تو میرے دلچسپ بہت سے موضوعات مستقل طور پر منقطع رہ جائیں گے اور کوئی ترقی نہیں ہوگی۔

آج میں آئندہ کچھ سالوں میں AI لیبارٹریز کی کمپوٹیشنل کیپیسٹی کی صورتحال پر بات کرنا چاہتا ہوں۔

انٹروپک کی آمدنی سالانہ دس گناہ بڑھ رہی ہے۔ اس رجحان کے مطابق، اینٹروپک کی سال کے آخر تک آمدنی 1000 سے 1500 ارب ڈالر کے درمیان ہونے کا امکان ہے۔ اگر یہ رجحان جاری رہا، تو ان کو اگلے سال کے آخر تک 1 ٹریلین ڈالر کی آمدنی حاصل کرنی ہوگی۔ بالکل کوئی سخت وجہ نہیں ہے کہ یہ رجحان جاری رہے گا — یہ بالآخر AI کی صلاحیتوں کا مسئلہ ہے۔ لیکن فرض کر لیں کہ یہ واقعی جاری رہا، تو اس دنیا میں کون سی شرائط پوری ہونی ضروری ہوں گی؟

لیب کی کمپوٹیشنل پاور میں سالانہ تین گنا اضافہ ہوتا ہے۔ اگر ایک لیب کو صرف کمپوٹیشنل پاور میں تین گنا اضافہ کے ساتھ آمدنی میں دس گنا اضافہ کرنا ہو، تو درج ذیل تین مسائل میں سے کم از کم کچھ ضرور واقع ہونے چاہئیں: ایک، لیب کا منافع مارجن بڑھے؛ دو، کمپوٹیشنل پاور کی قیمت میں اضافہ ہو؛ تین، لیب اپنی کمپوٹیشنل پاور کا ایک بڑا حصہ انفرنس کے لیے استعمال کرے۔

میری سمجھ کے مطابق، یہ تینوں باتیں اس وقت لگ بھگ ہو رہی ہیں: ایک، Anthropic کی منافع کی شرح 2025 میں 40% سے بڑھ کر اس سال Fable کے ریزننگ بزنس کے لیے ممکنہ طور پر 80% سے زیادہ ہو گئی ہے (تاہم، حدی منافع کی شرح الگ ہو سکتی ہے، جس کے بارے میں بعد میں بات کروں گا)؛ دو، فوری کمپوٹنگ قیمتیں فروری 2024 کے منخفض سطح کے بعد 40% سے زیادہ بڑھ چکی ہیں، اور لیب کو اصل میں جو قیمت ادا کرنی پڑ رہی ہے، وہ اس سے بھی زیادہ ہو سکتی ہے (جس کے بارے میں بعد میں تفصیل سے بات کروں گا)؛ تین، Epoch کے ڈیٹا کے مطابق، OpenAI نے 2024 میں اپنے کمپوٹنگ خرچ کا تقریباً ایک چوتھائی ریزننگ پر خرچ کیا تھا، اب یہ تناسب 50% تک یا اس سے بھی زیادہ ہو چکا ہوگا۔

لیب میں تینوں راستوں میں سے تیسرے راستے (زیادہ سے زیادہ کمپوٹیشنل پاور کو انفرنس کے لیے استعمال کرنا) کو اپنانا پسند نہیں۔ ایک مزاح یہ ہے کہ انفرنس کی آمدنی کا مقصد، سرمایہ کاروں کو منانے کے لیے ہوتا ہے تاکہ وہ آپ کو مزید پیسہ دیں اور آپ اور زیادہ کمپوٹیشنل پاور خرید سکیں، بڑے ماڈلز ٹرین کر سکیں۔ اگر آپ اپنی زیادہ تر کمپوٹیشنل پاور انفرنس پر مرکوز کر دیں، تو اس کا مطلب ہے کہ آپ AI کی ترقی میں رکاوٹ کا اعلان کر رہے ہیں — کیونکہ ٹریننگ پر مزید سرمایہ کاری اب منافع بخش نہیں رہی، اور آپ کا کاروبار تقریباً ایک کلاؤڈ سروس پروائڈر بن گیا۔ بڑے لیبز اس طرح نہیں سوچتے — وہ سمجھتے ہیں کہ جو ماڈلز وہ اب ڈپلوئ کر رہے ہیں، وہ اگلے سال بہت پرانے لگیں گے، اور اب یہ کاروبار اس لیے چلا رہے ہیں تاکہ وہ تجربات جمع کر سکیں جو مزید ذکاوت والے ماڈلز کو ٹرین کرنے کے لیے بنیاد فراہم کریں۔

تو باقی دو راستے ہیں: ایک، لیب کی منافع کی شرح میں اضافہ؛ دو، کمپوٹیشنل پاور کی قیمت میں اضافہ۔ اگر چند سرکاری لیبز مقابلہ کرنے والوں سے کافی آگے ہیں، تو پہلا راستہ زیادہ واضح ہوگا۔ بازار کے مقابلے میں، منافع کی شرح آپ کی حالت دوسرے بہترین حل سے کتنی بہتر ہے اس پر منحصر ہے۔ پہلا اثر غالب بننے کے لیے، سال کے اختتام تک منافع کی شرح 90% سے زیادہ ہونی چاہیے۔ مجھے لگتا ہے کہ یہ بہت زیادہ ہے۔ لیکن میں واقعی سمجھتا ہوں کہ AI لیبز کی آمدنی حیرت انگیز رفتار سے جاری رہ سکتی ہے۔

اس لیے، "اگلے سال کے آخر تک آمدنی 1 ٹریلین ڈالر تک پہنچ جائے گی" کا یہ دنیا میں کیسے ممکن ہو سکتا ہے، اس کی وضاحت کا آخری اثر یہ ہے: کمپوٹیشنل پاور کی قیمت میں شدید اضافہ۔ جیسا کہ میں نے کہا، یہ پہلے ہی شروع ہو چکا ہے۔ اگر ہم وہ کمپوٹیشنل پاور دیکھیں جو لیبز کو درکار ہے، تو قیمت میں اضافہ اور بھی زیادہ حیرت انگیز ہوگا — وہ واضح طور پر اسپاٹ انسٹنس پر انحصار نہیں کر سکتے، انہیں ماڈل وزن اور صارف ڈیٹا کی حفاظت کی ضرورت ہے، اور اچھی استعمال کارائی اور لچک حاصل کرنے کے لیے کافی سائز کی ضرورت ہے۔ آئیے دیکھتے ہیں کہ یہ بازار کتنا پاگل ہے: گوگل اور Anthropic SpaceX سے کمپوٹیشنل پاور کرایہ پر لے رہے ہیں۔ رپورٹس کے مطابق، گوگل 110,000 GPU کرایہ پر لے رہا ہے، جو GB200 اور GB300 کا مجموعہ ہے، اور ماہانہ 9 ارب ڈالر خرچ کر رہا ہے۔ اس کا مطلب ہے کہ یہ GPU کی اسپاٹ قیمت کے تقریباً دگنا ہے۔ اور موجودہ اسپاٹ قیمت خود 2 فروری سے 40% زیادہ ہے۔

میں ایک مرکزی نتیجہ پر زور دینا چاہتا ہوں: جیسے جیسے AI ماڈلز طاقتور ہوتے جا رہے ہیں، اتنی ہی کمپوٹیشنل پاور سے پیدا ہونے والی قیمت بھی بڑھتی جا رہی ہے۔ اگر ایک واقعی انسانی سطح کا سافٹ ویئر انجینئر H100 سطح کے ڈیوائس پر چل رہا ہو، تو موجودہ سافٹ ویئر انجینئرز کے مارکیٹ تنخواہوں کے مطابق، اس H100 کا سالانہ کرایہ 250,000 ڈالر سے زیادہ ہونا چاہئے — جو آج کی اسپاٹ قیمت کا 15 گنا ہے۔

بے شک، اگر اچانک 10 ملین سافٹ ویئر انجینئرز زیادہ ہو جائیں، تو مارجنل انجینئرز کی قیمت خود بخود کم ہو جائے گی، اس لیے وہ H100 ضروری طور پر موجودہ آمدنی کا 15 گنا نہیں بنائے گا۔ لیکن میں اس منطق کے درست ہونے کو یقینی طور پر نہیں سمجھتا۔ اگر ہم اس استدلال کو AI کے بجائے انسانوں پر لاگو کریں، تو یہ کلاسک "مزدوری کل مقدار کا غلط فہمی" ہے۔ معیشت دان عام طور پر سمجھتے ہیں کہ مہارت والے مہاجرین لمبے عرصے تک تنخواہوں کو کم نہیں کرتے، کیونکہ تخصص اور نوآوری مزدوری کی قیمت بڑھاتے ہیں۔ شاید اس بار مزدوری کی آپریشن کا اثر بہت بڑا اور بہت تیز ہے، جس سے یہ تجرباتی قاعدہ ناکام ہو جاتا ہے۔ لیکن اگر ہم مزدوری کے لحاظ سے معیشت کے معیاری جائزے پر یقین رکھتے ہیں، تو مارجنل مزدوری کی قیمت (اور کمپوٹنگ پاور کی مارجنل قیمت) حیرت انگیز سطح پر برقرار رہنی چاہئے۔

دُنیا میں کیا ہوگا؟

ہیڈ مڈلز اب توانائی سے زیادہ قیمت حاصل کر رہے ہیں، اور ان کے پیچھے رہنے کی دشواری بڑھتی جا رہی ہے۔ اگر 2028 تک سافٹ ویئر انجینئرنگ خودکار ہو چکی ہو اور توانائی کی قیمت اب سے 15 گنا زیادہ ہو، تو بغیر کسی آمدنی کے، ہیڈ لیبز کے ساتھ توانائی کے لیے مقابلہ کرنا بہت مشکل ہو جائے گا۔

اگر آپ بہترین اور سب سے زیادہ کارآمد ماڈل تربیت دے سکتے ہیں، تو آپ کی منافع کی شرح آج کے مقابلے میں بہت زیادہ ہوگی۔ یہ آرکین-الن اثر ہے: جب ایک ثابت لاگت دو مختلف معیار کے مال پر ایک ساتھ عائد ہوتی ہے، تو اعلیٰ معیار والے مال کا نسبتاً زیادہ فائدہ ہوتا ہے، جس کی وجہ سے مانگ اس کی طرف منتقل ہو جاتی ہے۔ جب H100 کی گھنٹہ کی قیمت 20 امریکی ڈالر تک پہنچ جائے، تو ایک کم مضبوط اور کم کارآمد ماڈل استعمال کرنا بہت مہنگا اور بے وقوف ہو جائے گا — کیونکہ آپ کو ایک جیسا نتیجہ حاصل کرنے کے لیے زیادہ ٹوکن استعمال کرنے پڑیں گے اور زیادہ مہنگی کمپوٹیشنل طاقت استعمال کرنی پڑے گی۔ اس لیے، اگر کوئی ایسا ٹاپ ماڈل تربیت دے سکے جو کم ترین کمپوٹیشنل طاقت استعمال کرے، تو وہ بہت زیادہ پریمیم وصول کر سکتا ہے۔ جبکہ بنیادی کمپوٹیشنل طاقت کا خرچہ اس قدر ہے، تو اس پر تھوڑا سا زیادہ خرچ کرکے اس ماڈل کو استعمال نہ کریں جو اسی سطح کی طاقت پر سب سے زیادہ کارآمد ہو؟

بہت سے موجودہ مقبول AI ایپلیکیشنز قیمت کی وجہ سے بازار سے باہر ہو جائیں گے۔ AI اب نسبتاً سستا ہے، کم از کم انسانی طاقت کے مقابلے میں، جس کا ایک حصہ یہ ہے کہ یہ اب بھی بہترین انسانوں کے کرنے والے بہت سے کاموں کو نہیں کر سکتا۔ ایک دن یہ بات قائم نہیں رہے گی۔ اس وقت، GPU کا استعمال کرکے ویڈیو کا ناگوار مواد بنانا، اس کی قیمت اتنی زیادہ ہو جائے گی کہ اس کا انجام نہ ہو۔

تاہم، اس قسم کے پیش گوئیاں تاریخی طور پر نایابیت کے بارے میں غلط پیش گوئیوں جیسی ہیں۔ میں سائمن-الریش کے جوک کو یاد کرتا ہوں: پول الریش نے 1990 سے پہلے کے دہائی میں ایک سامان کے سبد کی قیمتیں بڑھنے کی بجائے گرنے کا جوک لگایا۔ یہ جوک عام معاشی بحثوں میں مشہور ہے کیونکہ اسے اس بات کا ثبوت سمجھا جاتا ہے کہ الریش کا مالتوسی دیدگاہ منسوخ ہو گیا — اس نے بازار کے اشاروں اور انسانی ذہانت کے کردار کو نظرانداز کیا جو نایاب وسائل کو بچانے میں مدد کرتے ہیں (تاہم، کچھ تجزیہ کاروں نے اشارہ کیا ہے کہ اگر یہ جوک کسی دوسرے دہائی پر لگایا جاتا تو الریش جیت جاتا)۔

میں سمجھتا ہوں کہ کچھ مال کا حوالہ مجموعہ کیپیسٹی کے لیے مناسب نہیں ہے، کیونکہ کیپیسٹی کی فراہمی کی لچک دھاتوں کی کھنڈر سے بہت کم ہے، اور بڑے مانگ کے صدموں کو جذب کرنے یا متبادل حل تلاش کرنے کی صلاحیت بھی کافی حد تک کم ہے۔ سالانہ 3 گنا کیپیسٹی کا اضافہ درج ذیل تین اعداد کے حاصل ضرب سے حاصل ہوتا ہے: مور کا قانون جس سے 1.4 گنا اضافہ، نئے ویفر فیکٹریوں کے تعمیر سے 1.2 گنا اضافہ (کم از کم 2030 تک EUV ڈیوائسز کی فراہمی کی وجہ سے محدود)، اور AI جو اعلیٰ پروسیس ویفرز کے حصص دوسرے ڈیوائسز سے لے رہا ہے جس سے 1.8 گنا اضافہ (یہ رقم 2027 تک پہنچ جائے گی جب AI N3 ویفرز پر 60% سے بڑھ کر 86% تک پہنچ جائے گا)۔ ان تین ضربوں میں سے کوئی بھی مزید بڑھانا مشکل ہے، اور آخری ضرب تو ایک یا دو سال میں ویفر حصص کے سیر ہونے کے ساتھ اپنی چوٹی پر پہنچ جائے گا۔

میں یہ بتانا چاہتا ہوں کہ مستقبل میں کسی نہ کسی وقت کمپوٹیشنل پاور دوبارہ سستی ہو جائے گی۔ ایک دن یہ ضرور ہوگا کہ روبوٹس سمندر کے کنارے کے سیلیکا ریت اور زمین کے نیچے کے تانبا کے خانے کو براہ راست کمپیوٹر میں تبدیل کر دیں گے، اور اس وقت کمپوٹیشنل پاور کی قیمت خام مال اور اوزار کی لاگت کے قریب واپس آ جائے گی۔ میں اب جس بات کا ذکر کر رہا ہوں وہ صرف موجودہ مرحلہ ہے — AI کمپوٹیشنل پاور صرف سالانہ 3 گنا بڑھ رہی ہے، جو AI کی سالانہ قیمت میں اضافے کے اثر کے مقابلے میں بالکل نہیں بھاگ سکتی۔

ایک بات یاد رکھیں، Anthropic کی آمدنی سالانہ 10 گنا بڑھ رہی ہے، جبکہ کمپوٹیشنل پاور صرف 3 گنا بڑھ رہی ہے، جس سے ثابت ہوتا ہے کہ ماڈل کا کاروبار بہت زیادہ سائز کی معاشیت رکھتا ہے۔ منطقی طور پر یہ سمجھ میں آتا ہے — ایک ماڈل کو تربیت دینے کے لیے آپ ایک مرتبہ سیکھنے کا اخراج کرتے ہیں، اور یہ اخراج تمام صارفین پر تقسیم کیا جا سکتا ہے (انسانی مزدوری کے برعکس، جہاں ہر ایک نمونے کو الگ سے تربیت دینی پڑتی ہے)۔ میں اس دنیا میں رہنا نہیں چاhta جہاں ذكاء کے پاس اتنی زبردست سائز کی معاشیت ہو (کیونکہ مجھے طاقت کے مرکزیکرن کا خوف ہے)۔ لیکن حقیقت اسی طرح لگتی ہے۔

مصنف: ڈوورکش پیٹل، ترجمہ: شن چاؤ ٹیکفلو