AI کمپیوٹ کی لاگتیں 15 گنا بڑھ سکتی ہیں جبکہ مانگ تکلیف کی نمو سے آگے نکل جاتی ہے

مصنف: Dwarkesh Patel

ترجمہ: شن چاؤ ٹیک فلو

شین چاؤ کا خلاصہ: جب AI ماڈلز کی صلاحیت سرکاری سافٹ ویئر انجینئرز کے برابر ہو جائے، تو ایک H100 کی مناسب کرایہ کی شرح 250,000 امریکی ڈالر فی سال سے زیادہ ہو جائے گی — جو آج کی اسپاٹ قیمت کا 15 گنا ہے۔ یہ دور دراز کا تصور نہیں، بلکہ Anthropic کی آمدنی میں 10 گنا اضافہ اور کمپوٹیشنل طاقت میں 3 گنا اضافے کے درمیان ساختی تنازعہ ہے جو اس حقیقی رجحان کو آگے بڑھا رہا ہے۔ سرمایہ کاروں کے لیے، جو پہلے کمپوٹیشنل طاقت حاصل کرے گا اور جو سب سے زیادہ موثر ماڈل تربیت دے گا، وہ اگلے مقابلے کے منظر نامہ کا تعین کرے گا۔

میں ایک انتہائی سادہ انداز آزمانا چاہتا ہوں: اپنے لیے 2 گھنٹے کا وقت مقرر کریں اور ایک بلاگ پوسٹ جلدی سے مکمل کریں۔ بہت سے اہم مسائل میں ان کی گہرائی تک نہیں پہنچ پا رہا، لیکن اگر میں ایسا نہ کروں تو میرے دلچسپ بہت سے موضوعات مستقل طور پر منسوخ رہ جائیں گے اور کوئی ترقی نہیں ہوگی۔

آج میں AI لیبارٹریوں کی کمپوٹنگ پاور کی صورتحال کے بارے میں اگلے کچھ سالوں میں بات کرنا چاہوں گا۔

اینٹروپک کی آمدنی سالانہ 10 گنا بڑھ رہی ہے۔ اس رجحان کے مطابق، اینٹروپک کی سال کے آخر تک آمدنی 1000 سے 1500 ارب امریکی ڈالر کے درمیان ہونے کا امکان ہے۔ اگر یہ رجحان جاری رہا، تو ان کو اگلے سال کے آخر تک 1 ٹریلین امریکی ڈالر کی آمدنی حاصل کرنی ہوگی۔ بالکل بھی کوئی سخت وجہ نہیں ہے کہ یہ رجحان جاری رہے گا — یہ بالآخر AI کی صلاحیتوں پر منحصر ہے۔ لیکن فرض کر لیں کہ یہ واقعی جاری رہا، تو اس دنیا میں کون سی شرائط پوری ہونی ضروری ہوں گی؟

لیب کی کمپوٹنگ پاور میں سالانہ تین گنا اضافہ ہوتا ہے۔ اگر ایک لیب کو صرف 3 گنا کمپوٹنگ پاور کے اضافے کے ساتھ آمدنی میں 10 گنا اضافہ کرنا ہو، تو درج ذیل تینوں باتوں میں سے کم از کم کچھ ضرور ہونا چاہیے: ایک، لیب کا منافع مارجن بڑھے؛ دو، کمپوٹنگ پاور کی قیمتیں بڑھیں؛ تین، لیب اپنی کمپوٹنگ پاور کا بڑا حصہ انفرینس کے لیے استعمال کرے۔

میری سمجھ کے مطابق، یہ تینوں باتیں اس وقت لگ بھگ ہو رہی ہیں: ایک، Anthropic کی منافع کی شرح 2025 میں 40% سے بڑھ کر اب Fable کے ریزنگ بزنس کے لیے ممکنہ طور پر 80% سے زیادہ ہو گئی ہے (تاہم، حدودی کمپوٹنگ کی منافع کی شرح الگ ہو سکتی ہے، جس کے بارے میں بعد میں بات کروں گا)؛ دو، کمپوٹنگ کی اسپاٹ قیمتیں فروری 2024 کے نچلے نقطے کے بعد 40% سے زیادہ بڑھ چکی ہیں، اور لیب میں اصل میں جو قیمت ادا کرنی پڑ رہی ہے، وہ اس سے بھی زیادہ ہو سکتی ہے (جس کے بارے میں بعد میں تفصیل سے بات کروں گا)؛ تین، Epoch کے ڈیٹا کے مطابق، OpenAI نے 2024 میں اپنے کمپوٹنگ خرچ کا تقریباً ایک چوتھائی ریزنگ پر خرچ کیا تھا، اب یہ تناسب 50% یا اس سے زیادہ ہونا چاہئے۔

لیب میں تین راستہ اختیار کرنے (زیادہ سے زیادہ کمپوٹیشنل پاور کو انفرنس کے لیے استعمال کرنا) کے خلاف ہے۔ ایک مزاحیہ جملہ بہت درست ہے: انفرنس کی آمدنی کا مقصد، سرمایہ کاروں کو متاثر کرنا ہے تاکہ وہ آپ کو مزید پیسہ دیں، جس سے آپ مزید کمپوٹیشنل پاور خرید سکیں اور بڑے ماڈلز ٹرین کر سکیں۔ اگر آپ اپنی زیادہ تر کمپوٹیشنل پاور انفرنس پر مرکوز کر دیں، تو یہ اس بات کا اعلان ہے جیسے AI کی ترقی رک گئی ہے — کیونکہ ٹریننگ پر مزید سرمایہ کاری منافع بخش نہیں رہی، اور آپ کا کاروبار بالآخر ایک کلاؤڈ سروس پرووائڈر بن گیا۔ بڑے لیبز اس طرح نہیں سوچتے — وہ سمجھتے ہیں کہ جو ماڈلز وہ اب ڈپلوائ کر رہے ہیں، وہ اگلے سال بہت پرانے لگیں گے، اور اب یہ کاروبار اس لیے چلا رہے ہیں تاکہ وہ تجربات جمع کر سکیں جو مزید ذکاوت والے ماڈلز کو ٹرین کرنے کے لیے مدد دیں۔

تو باقی دو راستے ہیں: ایک، لیب کی منافع کی شرح میں اضافہ؛ دو، کمپوٹیشنل پاور کی قیمت میں اضافہ۔ اگر ٹاپ دو یا تین لیبز مقابلہ کرنے والوں سے کافی آگے ہیں، تو پہلا راستہ زیادہ واضح ہوگا۔ بازار کے مقابلے میں، منافع کی شرح آپ کی ترقی کے مقابلے میں دوسرے بہترین حل سے بہتر ہونے پر منحصر ہے۔ پہلا اثر غالب بننے کے لیے، اگلے سال کے آخر تک منافع کی شرح 90% سے زیادہ ہونی چاہیے۔ مجھے لگتا ہے کہ یہ بہت زیادہ ہے۔ لیکن میں واقعی سمجھتا ہوں کہ AI لیبز کی آمدنی حیرت انگیز رفتار سے جاری رہ سکتی ہے۔

اس لیے، "اگلے سال کے آخر تک آمدنی 1 ٹریلین ڈالر تک پہنچ جائے گی" کے اس عالم کو کیسے حقیقت میں لایا جائے، اس کا آخری اثر باقی ہے: کمپوٹیشنل پاور کی قیمت میں شدید اضافہ۔ جیسا کہ میں نے کہا، یہ پہلے ہی شروع ہو چکا ہے۔ اگر ہم وہ کمپوٹیشنل پاور دیکھیں جو لیبز کو درکار ہے، تو قیمت میں اضافہ اور بھی زیادہ حیرت انگیز ہوگا — وہ واضح طور پر اسپاٹ انستنسز پر انحصار نہیں کر سکتے، انہیں ماڈل وزن اور صارف ڈیٹا کی حفاظت کی ضرورت ہے، اور اچھی استعمال کی شرح اور لچک حاصل کرنے کے لیے کافی سائز کی ضرورت ہے۔ آئیے دیکھتے ہیں کہ یہ بازار کتنا پاگل ہے: گوگل اور Anthropic SpaceX سے کمپوٹیشنل پاور کرایہ پر لے رہے ہیں۔ رپورٹس کے مطابق، گوگل 110,000 GPU کرایہ پر لے رہا ہے، جو GB200 اور GB300 کا مکس ہے، جس کے لیے وہ ماہانہ 9 ارب ڈالر خرچ کرتا ہے۔ اس کا مطلب ہے کہ یہ GPU کی اسپاٹ قیمت کے تقریباً دوگنا ہے۔ اور موجودہ اسپاٹ قیمت پہلے ہی فروری سے 40% زیادہ ہے۔

میں ایک مرکزی نتیجہ پر زور دینا چاہتا ہوں: جیسے جیسے AI ماڈلز طاقتور ہوتے جا رہے ہیں، اتنی ہی کمپوٹنگ پاور سے پیدا ہونے والی قیمت بھی بڑھتی جا رہی ہے۔ اگر ایک واقعی انسان کے برابر سافٹ ویئر انجینئر H100 لیول کے ڈیوائس پر چل رہا ہو، تو موجودہ سافٹ ویئر انجینئرز کے مارکیٹ تنخواہ کے مطابق، اس H100 کا سالانہ کرایہ 250,000 ڈالر سے زیادہ ہونا چاہئے — جو آج کی اسپاٹ قیمت کا 15 گنا ہے۔

بے شک، اگر اچانک 10 ملین سافٹ ویئر انجینئرز زیادہ ہو جائیں، تو مارجنل انجینئر کی قیمت خود بخود کم ہو جائے گی، اس لیے وہ H100 ضروری طور پر اب کے مقابلے میں 15 گنا آمدنی نہیں پیدا کر سکتا۔ لیکن میرے لیے یہ معلوم نہیں کہ یہ ترکیب درست ہے۔ اگر ہم اس دلیل کو AI کے بجائے انسانوں پر لاگو کریں، تو یہ "مجموعی طاقت کا کلاسیکی غلط فہمی" ہے۔ معاشی دانشوروں کا عام طور پر خیال ہے کہ مہارت والے مہاجرین لمبے عرصے تک تنخواہوں کو کم نہیں کرتے، کیونکہ تخصص اور نوآوری طاقت کی قیمت میں اضافہ کرتے ہیں۔ شاید اس بار طاقت کی فراہمی میں اتنی بڑی اور تیز تبدیلی آ گئی ہے کہ یہ تجرباتی قاعدہ ناکام ہو گیا۔ لیکن اگر ہم معاشیات کے معیاری جائزے پر اعتماد کرتے ہیں، تو مارجنل طاقت (اور کمپوٹنگ پاور کی مارجنل قیمت) حیرت انگیز سطح پر برقرار رہنی چاہئے۔

کیا دنیا میں کیا ہوگا؟

ہیڈ مدلز اب توانائی سے زیادہ قیمت حاصل کر رہے ہیں، اور ان کے پیچھے رہنے کی دشواری بڑھتی جا رہی ہے۔ اگر 2028 تک سافٹ ویئر انجینئرنگ خودکار ہو چکی ہو اور توانائی کی قیمت اب سے 15 گنا زیادہ ہو، تو بغیر کسی آمدنی کے، ہیڈ لیبز کے ساتھ توانائی کے لیے مقابلہ کرنا بہت مشکل ہو جائے گا۔

اگر آپ بہترین اور سب سے زیادہ کارآمد ماڈل تربیت دے سکتے ہیں، تو آپ کی منافع کی شرح آج سے بہت زیادہ ہوگی۔ یہ الچین-الن اثر ہے: جب ایک ثابت لاگت دو مختلف معیار کے مال پر ایک ساتھ عائد ہوتی ہے، تو اعلیٰ معیار والے مال کا نسبتاً زیادہ فائدہ ہوتا ہے، اور مانگ اس کی طرف منتقل ہو جاتی ہے۔ جب H100 کی گھنٹے کی قیمت 20 امریکی ڈالر تک پہنچ جائے، تو ایک کم مضبوط اور کم کارآمد ماڈل استعمال کرنا بہت مہنگا اور بے وقوف ہو جائے گا — کیونکہ آپ کو ایک جیسا نتیجہ حاصل کرنے کے لیے زیادہ ٹوکن استعمال کرنے پڑیں گے اور زیادہ مہنگی کمپوٹیشن پر چلنا پڑے گا۔ اس لیے، اگر کوئی ایسا ٹاپ ماڈل تربیت دے سکے جو کم کمپوٹیشن استعمال کرتا ہو، تو وہ بہت زیادہ پریمیم وصول کر سکتا ہے۔ جب کہ بنیادی کمپوٹیشن کا خرچہ تو اس قدر ہی ہونا ہے، تو اس پر تھوڑا زیادہ خرچ کرکے وہ ماڈل استعمال نہیں کیا جائے جو اسی کمپوٹیشن پر سب سے زیادہ کارآمد چل رہا ہو؟

بہت سے موجودہ مقبول AI ایپلیکیشنز قیمت کی وجہ سے بازار سے باہر ہو جائیں گے۔ AI اب نسبتاً سستا ہے، کم از کم انسانی طاقت کے مقابلے میں، جس کا ایک حصہ یہ ہے کہ یہ ابھی تک بہترین انسانوں کے کرنے والے بہت سے کام نہیں کر سکتا۔ ایک دن یہ بات قائم نہیں رہے گی۔ اس وقت، GPU کا استعمال کرکے ویڈیو کے زبالہ مواد بنانا، اس کی قیمت اتنی زیادہ ہو جائے گی کہ اس کا انجام نہ ہو۔

تاہم، اس قسم کے پیش گوئیاں تاریخی طور پر نایابیت کے بارے میں غلط پیش گوئیوں جیسی ہیں۔ میں سائمن-الریچ کے جوڑے کو یاد کرتا ہوں: پول الریچ نے 1990 سے پہلے کے دہائی میں ایک سامان کے بکٹ کی قیمت میں اضافہ ہونے کا دعویٰ کرتے ہوئے جیتا، نہ کہ کمی۔ یہ جوڑا عام معاشی بحثوں میں مشہور ہے کیونکہ اس سے الریچ کے مالتوسی دیدگاہ کو رد کرنے کا ثبوت دیا گیا — اس نے بازار کے سگنلز اور انسانی ذہانت کو نایاب وسائل کو بچانے میں کم تقویت دی (تاہم، کچھ تجزیہ کاروں نے اشارہ کیا ہے کہ اگر اس جوڑے کو دوسرے دہائی پر لگایا جاتا تو الریچ جیت جاتا)۔

میں سمجھتا ہوں کہ کچھ مال کا حوالہ مجموعہ کمپیوٹنگ پاور کے لیے مناسب نہیں ہے، کیونکہ کمپیوٹنگ پاور کی فراہمی کی لچک معدنیات کی کھننے کے مقابلے میں بہت کم ہے، اور بڑے مانگ کے صدموں کو吸収 کرنے یا متبادل حل تلاش کرنے کی صلاحیت بھی کافی حد تک کم ہے۔ سالانہ 3 گنا کمپیوٹنگ پاور کی نمو درج ذیل تین اعداد کا حاصل ضرب ہے: مور کا قانون جس سے 1.4 گنا، نئے ویفر فیکٹریوں کی تعمیر سے 1.2 گنا (کم از کم 2030 تک EUV ڈیوائسز کی فراہمی کی وجہ سے محدود)، اور AI جو اعلیٰ ترین پروسیس ویفرز کے حصص دوسرے ڈیوائسز سے لے رہا ہے جس سے 1.8 گنا (یہ رقم 2027 کے تقریباً اس وقت تک جاری رہے گی جب AI N3 ویفرز پر 60% سے بڑھ کر 86% تک پہنچ جائے گا)۔ ان تین ضربوں میں سے کوئی بھی مزید بڑھانا مشکل ہے، اور آخری ضرب تو ایک یا دو سال میں ویفر حصص کے سیر ہونے کے ساتھ اپنی سرحد تک پہنچ جائے گا۔

میں یہ بتانا چاہتا ہوں کہ مستقبل میں کسی نہ کسی وقت کمپیوٹنگ پاور دوبارہ سستی ہو جائے گی۔ ایک دن یہ ضرور ہوگا کہ روبوٹس سمندر کے کنارے کے سیلیکا ریت اور زمین کے نیچے کے تانبا کے خانے کو براہ راست کمپیوٹر میں تبدیل کر دیں گے، اور اس وقت کمپیوٹنگ پاور کی قیمت مادی اجزاء اور اوزار کی لاگت کے قریب واپس آ جائے گی۔ میں اب جو بات کر رہا ہوں وہ صرف موجودہ مرحلہ ہے — AI کمپیوٹنگ پاور صرف سالانہ 3 گنا بڑھ رہی ہے، جو AI کی سالانہ قیمت میں اضافے کے اثر کے مقابلے میں بالکل نہیں بھاگ سکتی۔

ایک بات یاد رکھیں، Anthropic کی آمدنی سالانہ 10 گنا بڑھ رہی ہے، جبکہ کمپوٹیشنل پاور صرف 3 گنا بڑھ رہی ہے، جس سے ظاہر ہوتا ہے کہ ماڈل کا کاروبار بہت زبردست سکیل اقتصادیات رکھتا ہے۔ منطقی طور پر یہ سمجھنا آسان ہے — ایک ماڈل کو تربیت دینے کے لیے آپ ایک مرتبہ سیکھنے کا اخراج کرتے ہیں، اور پھر یہ اخراج تمام صارفین پر تقسیم کیا جا سکتا ہے (انسانی طاقت کے برعکس، جس میں ہر نمونے کو الگ سے تربیت دینی پڑتی ہے)۔ میں اس دنیا میں رہنا نہیں چاhta جہاں ذہانت کے پاس اتنی زبردست سکیل اقتصادیات ہو (کیونکہ مجھے طاقت کے مرکزیکرن کا خوف ہے)۔ لیکن حقیقت اسی طرح لگتی ہے۔