একটি সরল পরীক্ষা: 2 ঘন্টায় লেখা হয়েছে ক্যালকুলেশন প্রেডিকশন
আমি একটি ন্যূনতম লেখার পদ্ধতি চেষ্টা করতে চাই: নিজেকে ২ ঘন্টা সময় দিন, দ্রুত একটি ব্লগ পোস্ট শেষ করুন। অনেকগুলি গুরুত্বপূর্ণ উপ-প্রশ্ন আমি গভীরভাবে অনুসন্ধান করার সময় পাইনি, কিন্তু এটি না করলে, আমার আগ্রহের অনেকগুলি বিষয় সবসময় স্থগিত থাকবে এবং কোনও অগ্রগতি হবে না।
আজ আমি কয়েক বছরের মধ্যে এআই ল্যাবগুলির ক্যালকুলেশন ক্ষমতার পরিস্থিতি নিয়ে কথা বলতে চাই।
অ্যানথ্রোপিকের রাজস্ব 10 গুণ, ক্যালকুলেশন ক্ষমতা মাত্র 3 গুণ বৃদ্ধি পেয়েছে
অ্যানথ্রোপিকের বার্ষিক আয় ১০ গুণ বৃদ্ধি পাচ্ছে। এই প্রবণতা অনুসারে, এই বছরের শেষের দিকে অ্যানথ্রোপিকের আয় প্রায় ১০০০ থেকে ১৫০০ বিলিয়ন ডলারের মধ্যে পড়বে। যদি এই প্রবণতা চলতে থাকে, তাহলে তাদের পরবর্তী বছরের শেষে ১ ট্রিলিয়ন ডলার আয় করতে হবে। অবশ্যই, এই প্রবণতা চলতে থাকবে কিনা তার কোনো নিশ্চিত কারণ নেই—এটি মূলত AI-এর ক্ষমতার বিষয়। কিন্তু ধরে নিই এটি সত্যিই চলতেছে, তাহলে এই বিশ্বে কী কী শর্তগুলি পূরণ হতে হবে?
ল্যাবের ক্যালকুলেশন ক্ষমতা প্রতি বছর তিন গুণ বৃদ্ধি পায়। যদি একটি ল্যাব ক্যালকুলেশন ক্ষমতা শুধুমাত্র তিন গুণ বৃদ্ধি পেলেও আয় ১০ গুণ বাড়াতে চায়, তবে নিম্নলিখিত তিনটি বিষয়ের মধ্যে কমপক্ষে কয়েকটি একসাথে ঘটতে হবে: এক, ল্যাবের মুনাফার হার বৃদ্ধি; দুই, ক্যালকুলেশন ক্ষমতার দাম বৃদ্ধি; তিন, ল্যাবটি বড় অংশের ক্যালকুলেশন ক্ষমতা রিজনিং-এর জন্য ব্যবহার করে।
আমার বোঝার মতো, এই তিনটি বিষয় প্রায় একসাথে ঘটছে: প্রথমত, Anthropic-এর মার্জিন লাভ ২০২৫ সালে ৪০% থেকে বর্তমানে Fable রিজনিং বিজনেসের জন্য ৮০% এর বেশি হয়ে গেছে (যদিও মার্জিনাল কম্পিউটিং ক্ষমতার লাভক্ষতি আলাদা হতে পারে, যা পরে আলোচনা করা হবে); দ্বিতীয়ত, কম্পিউটিং ক্ষমতার স্পট মূল্য ২০২৪ সালের ফেব্রুয়ারির নিম্নমানের পর থেকে ৪০% এর বেশি বেড়েছে, এবং ল্যাবগুলির বাস্তবিক প্রদানের মূল্যবৃদ্ধি আরও বেশি হতে পারে (পরে বিস্তারিত); তৃতীয়ত, Epoch-এর ডেটা অনুযায়ী, OpenAI ২০২৪ সালে প্রায় ২৫% কম্পিউটিং ক্ষমতা খরচ রিজনিং-এর জন্য ব্যয় করেছিল, এখন এই অনুপাত ৫০% বা তারও বেশির কাছাকাছি।
প্রযুক্তিগত পরীক্ষাগার যুক্তিসম্পন্ন পথটি অনুসরণ করতে চায় না
প্রযুক্তি প্রতিষ্ঠানগুলি আসলে তৃতীয় পথটি বেছে নিতে চায় না (অধিকাংশ ক্যালকুলেশন শক্তি ইনফারেন্সের জন্য ব্যবহার করা)। একটি হাস্যকর কথা খুব সঠিকভাবে বলেছে: ইনফারেন্সের আয়ের অর্থ হলো বিনিয়োগকারীদের প্রতারণা করে আরও অর্থ পাওয়া, যাতে আপনি আরও বেশি ক্যালকুলেশন শক্তি কিনতে পারেন এবং বড় মডেলগুলি ট্রেন করতে পারেন। যদি আপনি বেশিরভাগ ক্যালকুলেশন শক্তি ইনফারেন্সের উপর নিবেদিত করেন, তবে এটি কিছুটা AI-এর উন্নতির বন্ধ হওয়ার ঘোষণা—কারণ ট্রেনিংয়ের উপর আরও বেশি বিনিয়োগ করা এখন অপ্রয়োজনীয়, এবং আপনার ব্যবসা প্রায়ই একটি ক্লাউড সার্ভিস প্রদানকারীতে পরিণত হয়। বড় বড় প্রতিষ্ঠানগুলি এটির সঙ্গে একমত নয়—তারা মনে করে, তাদের বর্তমানে ডিপ্লয়মেন্টকৃত মডেলগুলি একবছর пরেখুবই পিছিয়েপড়াই মনে হবে,এবংএখনএইব্যবসাটিকরারউদ্দেশ্যহলোবাণিজ্যিকমামলাগুলিবিকশিতকরা,যাতেআরওবুদ্ধিমানমডেলগুলিট্রেইনকরারজন্যসমর্থনপাওয়াযায়।
দাম বাড়ানোই সবচেয়ে সম্ভাব্য উত্তর
তাই বাকি দুটি পথ রয়েছে: এক, ল্যাবের মুনাফার হার বৃদ্ধি; দুই, ক্যালকুলেশন ক্ষমতা ব্যয়বহুল হওয়া। যদি শীর্ষ এক-দুইটি ল্যাব প্রতিদ্বন্দ্বীদের তুলনায় অনেক এগিয়ে থাকে, তাহলে প্রথম পথটি আরও স্পষ্ট হবে। বাজারের প্রতিযোগিতায়, মুনাফার হার নির্ভর করে আপনি দ্বিতীয়-সেরা বিকল্পের চেয়ে কতটা ভালো। প্রথম প্রভাবটিকে প্রধান্ব দিতে, পরবর্তী বছরের শেষের দিকে মুনাফার হার 90% এরও বেশি হতে হবে। এটি আমার কাছে খুবই অসম্ভব। তবে, আমি সত্যিই মনে করি, AI ল্যাবগুলির আয় অবিশ্বাস্য গতিতে বৃদ্ধি পাওয়ার সম্ভাবনা রয়েছে।
অতএব, “পরবর্তী বছরের শেষের দিকে আয় ১ ট্রিলিয়ন ডলারে পৌঁছাবে” এই বিশ্বটি কীভাবে বাস্তবায়িত হবে, তার শেষ প্রভাবটি হল: ক্যালকুলেশন ক্ষমতার দাম অস্বাভাবিকভাবে বেড়ে যাওয়া। আমি যা বলেছি, এটি ইতিমধ্যেই শুরু হয়েছে। যদি আমরা ল্যাবগুলির প্রকৃত প্রয়োজনীয় ক্যালকুলেশন ক্ষমতা দেখি, তবে দামের বৃদ্ধি আরও চমকপ্রদ হবে—তারা স্পট ইনস্ট্যান্সের উপর নির্ভরশীল হতে পারে না, তাদেরকে মডেল ওয়েটস এবং ব্যবহারকারীর ডেটা সুরক্ষিত রাখতে হবে, এবং ভালো ব্যবহারের হার এবং নমনীয়তা অর্জনের জন্য যথেষ্ট স্কেলও প্রয়োজন। এই বাজারটি কতটা পাগলামির মধ্যে রয়েছে, তা দেখুন: Google এবং Anthropic SpaceX-এর কাছ থেকে ক্যালকুলেশন ক্ষমতা ভাড়া করছে। প্রতিবেদনে বলা হয়েছে, Google-এর 110,000টি GPU-এর (GB200 এবং GB300-এর মিশ্রণ) জন্য মাসিক 900মিলিয়ন ডলার খরচ। এটি 2x-এরও বেশি, GB200/GB300-এর 2024-এর 2-এর 40%।
আমি একটি মূল উপসংহার তুলে ধরতে চাই: যতই AI মডেলগুলি শক্তিশালী হচ্ছে, একই পরিমাণ কম্পিউটিং পাওয়ার থেকে উৎপন্ন মূল্যও ততই বাড়ছে। যদি একজন প্রকৃতপক্ষে মানব-স্তরের সফটওয়্যার ইঞ্জিনিয়ার H100-স্তরের ডিভাইসে চলতে পারে, এবং বর্তমান সফটওয়্যার ইঞ্জিনিয়ারদের বাজার বেতনের ভিত্তিতে, H100-এর বার্ষিক ভাড়া 25 ডলারেরও বেশি হওয়া উচিত — বর্তমান স্পট মূল্যের 15 গুণ।
যদি ক্যালকুলেশন শক্তি বেশি দামি হয়, তবে বিশ্ব কেমন হবে?
অবশ্যই, যদি হঠাৎ করে ১০ মিলিয়ন সফটওয়্যার ইঞ্জিনিয়ার যোগ হয়ে যায়, তাহলে প্রতিটি অতিরিক্ত ইঞ্জিনিয়ারের প্রান্তিক মূল্য নিশ্চিতভাবে কমে যাবে, তাই H100-এর আয় বর্তমানের ১৫ গুণ হওয়ার কথা নাও হতে পারে। কিন্তু আমি প্রকৃতপক্ষে নিশ্চিত নই যে এই যুক্তি প্রযোজ্য। যদি এই যুক্তিটি AI-এর পরিবর্তে মানুষের উপর প্রয়োগ করা হয়, তবে এটি প্রাচীন "শ্রমিকের মোট পরিমাণের ভুল"। অর্থনীতিবিদদের মধ্যে সাধারণভাবে বিশ্বাস করা হয় যে, দীর্ঘমেয়াদে উচ্চদক্ষ অভিবাসীরা বেতনকে কমায় না, কারণ বিশেষায়ন এবং উদ্ভাবন শ্রমের মূল্যকে বাড়িয়ে দেয়। হয়তো এবারের শ্রমিকের সরবরাহের ঝলকটি এতটাই বড় এবং দ্রুত, যে এই অভিজ্ঞতার নিয়মটি অকার্যকর হয়েছে। কিন্তু যদি আমরা শ্রমের উপর স্ট্যান্ডার্ড অর্থনীতির মতবাদের প্রতি বিশ্বাস রাখি, তবে প্রান্তিক শ্রমের মূল্য (এবং কম্পিউটিংয়ের প্রান্তিক মূল্য) অবশ্যই অসাধারণভাবে উচ্চস্তরেই থাকবে।
এই বিশ্বে কী ঘটবে?
শীর্ষ মডেলগুলি ধীরে ধীরে ক্যালকুলেশন ক্ষমতা থেকে বেশি মূল্য টানতে শিখছে, তাই তাদের অনুসরণ করা ক্রমাগত কঠিন হয়ে পড়ছে। যদি 2028 সালের মধ্যে সফটওয়্যার ইঞ্জিনিয়ারিং স্বয়ংক্রিয়ভাবে চলে যায় এবং ক্যালকুলেশন ক্ষমতার দাম বর্তমানের চেয়ে 15 গুণ বেড়ে যায়, তবে কোনও আয় ছাড়াই শীর্ষ ল্যাবগুলির সাথে ক্যালকুলেশন ক্ষমতা নিয়ে প্রতিদ্বন্দ্বিতা করা অত্যন্ত কঠিন হয়ে পড়বে।
যদি আপনি সর্বোত্তম এবং সবচেয়ে দক্ষ মডেলটি প্রশিক্ষণ দিতে পারেন, তাহলে আপনি আজকের চেয়ে অনেক বেশি মুনাফা কামাতে পারবেন। এটি আর্চিন-অ্যালেন প্রভাব: যখন একটি স্থির খরচ দুটি ভিন্ন মানের পণ্যের উপর একসাথে প্রয়োগ করা হয়, তখন উচ্চমানেরটি আপেক্ষিকভাবে বেশি লাভজনক হয়, এবং চাহিদা এটির দিকে সরে যায়। যখন H100-এর প্রতি ঘন্টার মূল্য 20 ডলারে পৌঁছায়, তখন একটি দুর্বল, কম দক্ষ মডেল ব্যবহার করা অত্যন্ত ব্যয়বহুল এবং অবিবেচক—কারণ একই ফলাফল পেতে আপনাকে আরও বেশি token ব্যয় করতে হবে, এবং আরও বেশি মহঙ্গা কম্পিউটিং ক্ষমতা চালাতে হবে। তাই, যদি কেউ এমন একটি উচ্চমানের, কম কম্পিউটিং-প্রয়োজনীয়তা বিশিষ্ট মডেল প্রশিক্ষণ দিতে পারে, তবে সেটির জন্য অত্যন্ত উচ্চমূল্যের (premium) চার্জ করতে পারবে। যেহেতু নীচের কম্পিউটিংয়ের জন্যই এতটাই খরচ হচ্ছে, তাহলে ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টি ১টि
বর্তমানে জনপ্রিয় অনেক AI অ্যাপ্লিকেশন মূল্যের কারণে বাদ পড়ে যাবে। AI এখন তুলনামূলকভাবে সস্তা, কমপক্ষে মানব শ্রমের চেয়ে সস্তা, যার একটি কারণ হল এটি এখনও শীর্ষস্থানীয় মানুষের যা করতে পারে তার অনেকগুলো কাজ করতে পারে না। একদিন এটি আর প্রযোজ্য হবে না। তখন GPU ব্যবহার করে ছোট ভিডিওর অপ্রয়োজনীয় কনটেন্ট তৈরির খরচ এতটাই বেশি হয়ে যাবে যে এটি সম্ভবপর হবে না।
ঐতিহাসিক পাঠ: দুর্লভতার ভবিষ্যদ্বাণীও ভুল হতে পারে
তবে, এই ধরনের পূর্বানুমানগুলি স্কারসিটি সম্পর্কে অতীতের ভুল পূর্বানুমানগুলির সাথে সাদৃশ্যপূর্ণ। আমি সাইমন-এলিশ বেটের কথা ভাবছি: পল এলিশ বেট করেছিলেন যে 1990 এর আগের দশকে একটি কমোডিটি বাকেটের দাম বাড়বে, কমবে না। এই বেটটি জনপ্রিয় অর্থনীতির আলোচনায় খুবই পরিচিত, কারণ এটি বলা হয়েছে যে এটি এলিশের মালথুসিয়ান দৃষ্টিভঙ্গির অসত্যতা প্রমাণ করেছে—তিনি বাজারের সংকেত এবং মানবিক বুদ্ধিমত্তার দ্বারা দুর্লভ সম্পদের সংরক্ষণের ভূমিকা অবহেলা করেছিলেন (যদিও কিছু বিশ্লেষণে দেখানো হয়েছে যে, যদি এই বেটটির জন্য অন্য একটি দশককে বাছাই করা হত, তাহলে এলিশই জিততেন)।
কতটা কম লচিয়াল হয় ক্যালকুলেশন সরবরাহ?
আমি অনুমান করি যে কমোডিটি এই রেফারেন্স ফ্রেমওয়ার্কটি ক্যালকুলেশন শক্তির জন্য উপযুক্ত নয়, কারণ ক্যালকুলেশন শক্তির সরবরাহের স্থিতিস্থাপকতা ধাতব খননের তুলনায় অনেক কম, এবং বড় চাহিদা শকের শোষণ বা বিকল্প সমাধান খোঁজার ক্ষমতাও অনেক কম। প্রতি বছর 3 গুণ ক্যালকুলেশন শক্তির বৃদ্ধি নিম্নলিখিত তিনটি গুণকের গুণফল দ্বারা প্রাপ্ত: মুরের আইনের কারণে 1.4 গুণ, নতুন ওয়েফার প্ল্যান্ট নির্মাণের কারণে 1.2 গুণ (2030 সালের মধ্যে EUV ডিভাইসের সরবরাহের সীমাবদ্ধতার কারণে), এবং AI-এর কারণে 1.8 গুণ (যা 2027-এর দিকে পৌঁছবে, যখন N3 ওয়েফারে AI-এর অংশ 60% থেকে 86% পর্যন্ত বৃদ্ধি পাবে)। এই তিনটি গুণকের মধ্যে, যেকোনোটিই আরও বাড়ানোর জন্য কঠিন, এবং শেষটি 1-2 বছরেরও মধ্যেই,ওয়েফারের আবণ্টনের সম্পূর্ণতা-এর কারণে,শীঘ্রই শীর্ষে পৌঁছবে।
শেষ পর্যায়: হ্যাশরেট আবার সস্তা হবে, কিন্তু এখন নয়
আমি বলতে চাই যে, ভবিষ্যতে কিছু সময়ে ক্যালকুলেশন ক্ষমতা আবার সস্তা হয়ে যাবে। একদিন রোবটগুলি সমুদ্রের কাঁচের বালি এবং পৃথিবীর নিচের তামার খনি সরাসরি কম্পিউটারে পরিণত করতে পারবে, এবং তখন ক্যালকুলেশন ক্ষমতার দাম কাঁচামাল এবং সরঞ্জামের খরচের কাছাকাছি চলে আসবে। আমি এখন যা আলোচনা করছি, তা হলো বর্তমান পর্যায়—AI-এর ক্যালকুলেশন ক্ষমতা প্রতি বছর শুধুমাত্র 3 গুণ বৃদ্ধি পাচ্ছে, এই গতি AI-এর প্রতি বছর বেড়ে যাওয়ার মূল্যবৃদ্ধির গতির চেয়ে অনেক কম, যা দামকে উপরের দিকে ঠেলে দিচ্ছে।
একটি কথা বলি, এনথ্রোপিকের আয় প্রতি বছর ১০ গুণ বাড়ছে, যখন কম্পিউটিং পাওয়ার শুধুমাত্র ৩ গুণ বাড়ছে—এটি নির্দেশ করে যে মডেল ব্যবসায় অত্যন্ত শক্তিশালী স্কেল ইকোনমিজ রয়েছে। যুক্তিগতভাবে এটি বোঝা যায়—একটি মডেল ট্রেন করলে, আপনি একবারের জন্য শেখার খরচ দেন, এবং এই খরচটি সমস্ত ব্যবহারকারীদের মধ্যে বণ্টন করা যায় (মানব শ্রমের মতো নয়, যেখানে প্রতিটি উদাহরণকে আবার শেখানো লাগে)। আমি এমন একটি বিশ্বে বাস করতে চাই না, যেখানে বুদ্ধিমত্তার জন্য এতটাই শক্তিশালী স্কেল ইকোনমিজ রয়েছে (কারণ আমি ক্ষমতার কেন্দ্রীভবনের দিকে উদ্বিগ্ন)। কিন্তু বাস্তবতা মনেহয়, এটিই হচ্ছে।
লেখক: ড্যুয়ার্কেশ প্যাটেল, অনুবাদ: শেনচাও টেকফ্লো
