এআই চিপের প্রতিযোগিতার পরিস্থিতি গভীরভাবে পরিবর্তন হচ্ছে। ওপেনএআই Jalapeño চিপ প্রকাশ করেছে যা এলএলএম উপস্থাপনার জন্য উপযোগী, এনভিডিয়া GPU এবং Groq LPU একত্রিত করে হাইব্রিড কম্পিউটিং অর্জন করছে, আর গুগল ট্রেনিং এবং ইনফারেন্সকে যথাক্রমে TPU 8t এবং TPU 8i দুটি চিপে বিভক্ত করেছে। এই তিনটি পথ ট্রেনিং এবং ইনফারেন্সের জন্য হার্ডওয়্যার সম্পদের ভিন্ন প্রয়োজনীয়তা প্রতিফলিত করে: ট্রেনিংয়ের জন্য ম্যাট্রিক্স গণনা এবং বড় স্কেলের সংযোগ গুরুত্বপূর্ণ, অন্যদিকে ইনফারেন্সের জন্য উচ্চতর HBM ব্যান্ডউইথ, বড় SRAM এবং সংক্ষিপ্ত নেটওয়ার্ক পাথের প্রয়োজন। যখন দুটি ধরনেরওয়ার্কলোডের জন্য চিপের ফর্মুলা বিভিন্নতা বাড়ছে, FLOPS এখন একমাত্র মাপকাঠি নয়, Token খরচই AI হার্ডওয়্যারের প্রতিযোগিতার নতুন কোঅর্ডিনেট।

লেখক এবং উৎস: লেইফেঙ্গোয়েন

টোকেন খরচ বড় মডেল হার্ডওয়্যার প্রতিযোগিতার একটি নতুন কোঅর্ডিনেট হয়ে উঠেছে

এমবডিড ইন্টেলিজেন্স, ধোঁয়াশা ভরা রান্নাঘরে প্রবেশ করছে

মিলিয়ন ট্রাফিকের অধীনে রোবটের চাকরি

পূর্বের Covariant AI-এর উপাধ্যক্ষ এবং জৌপু সুয়েং সরাসরি LPU-এর ভূমিকা হিসাবে ভেরা রুবিনের লো-ল্যাটেন্সি ডিকোড রিজিওনের ফাঁক পূরণ করার কথা বলেছেন।

গ্রোকের চিপ ডিজাইনও এই বিষয়ের চারপাশে প্রায় ঘুরে বেড়ায়। একটি LPX র্যাকে 256টি LPU রয়েছে, যা মোটে শুধু 128 GB SRAM দেয়, যার ক্ষমতা GPU র্যাকের HBM-এর সাথে তুলনা করা যায় না, কিন্তু সমষ্টিগত SRAM ব্যান্ডউইথ পৌঁছায় 40 PB/s।

এই ডিজাইনের মূল বিষয় হল "নিকটতা"। HBM-এ অনেক মডেল স্টেট রাখা যায়, কিন্তু এটি ক্যালকুলেশন ইউনিট থেকে দূরে থাকে; SRAM খুব ব্যয়বহুল, এর ক্ষমতা বাড়ানো কঠিন, কিন্তু ডেটা চিপের ভিতরেই থাকে, যা অত্যন্ত উচ্চ ব্যান্ডউইথ এবং অত্যন্ত কম অ্যাক্সেস লেটেন্সি প্রদান করে।

প্রতিটি ধাপে করা গণনা সীমিত, এবং প্রায়শই ডেটা নেওয়া হয়, তাই ডেটাকে ALU-এর কাছাকাছি রাখলে পরবর্তী টোকেনের অপেক্ষা সময়ে সরাসরি উপকার দেখা যাবে।

গ্রোক আরও ডাইনামিক হার্ডওয়্যার নিয়ন্ত্রণ কমিয়ে দিয়েছে। এলপিই নির্ধারণমূলক এক্সিকিউশন আর্কিটেকচার, যেখানে ইনস্ট্রাকশন স্কেডিউলিং মূলত সফটওয়্যার দ্বারা আগে থেকেই সম্পন্ন হয়। প্রতিটি চিপ একসাথে প্রসেসর এবং রাউটারের ভূমিকা পালন করে, যেখানে কম্পাইলার গণনা এবং নেটওয়ার্ক সংস্থানগুলি একসাথে সাজায়, এমনকি প্রচলিত হার্ডওয়্যার ফ্লো কন্ট্রোল এবং ভার্চুয়াল চ্যানেলের মতো মেকানিজমগুলিও বাদ দেয়।

খরচও পরিষ্কার: এই আর্কিটেকচার GPU-এর মতো সামগ্রিক নয়, এবং অন-চিপ SRAM-এ পুরো বড় মডেলের অবস্থা ধরে রাখা সম্ভব নয়। তাই NVIDIA Groq 3 কে একা পুরো মডেল চালানোর জন্য না রেখে একটি আরও জটিল হাইব্রিড সিস্টেম তৈরি করেছে।

GPU-এ প্রিফিল করা হয়, বেশিরভাগ ডিকোড এলপিইতে স্থানান্তরিত হয়; ডিকোডের অ্যাটেনশন আবার GPU-এ ফিরে আসতে পারে। GPU এবং LPU নিজ নিজের KV Cache বজায় রাখে, এবং দুটি পক্ষের মধ্যে মূলত draft Tokens বিনিময় করা হয়, একইসাথে micro-batch ব্যবহার করে গণনা এবং যোগাযোগকে ওভারল্যাপ করা হয়। যেহেতু LPU সিঙ্ক্রোনাস ডোমেইন, যখন GPU এবং বাইরের KV Cache অ্যাসিঙ্ক্রোনাস সিস্টেম, NVIDIA-এর এমনকি FPGA-কে দুটি পক্ষের মধ্যে অ্যাসিঙ্ক্রোনাস ব্রিজ হিসেবে যোগ করা হয়েছে।

এই কাঠামোটি বোঝায় যে AI চিপের বিভাজন কতটা এগিয়েছে। এটি শুধুমাত্র “ট্রেনিং চিপ” এবং “ইনফারেন্স চিপ” কে বিভক্ত করেনি, বরং একটি ডিকোডের ভিন্ন ভিন্ন অংশগুলিও ভিন্ন আর্কিটেকচারে বাস্তবায়িত হয়।

তবে NVIDIA দ্বারা উপস্থাপিত ডেটা এই পথের সীমানা প্রদর্শন করে: যখন ব্যবসাটি শুধুমাত্র মোট থ্রুপুটের দিকে মনোযোগ দেয় এবং উচ্চ ল্যাটেন্সি গ্রহণযোগ্য হয়, তখন Rubin GPU এখনও খুব দক্ষ; একক ব্যবহারকারীর Token গতির প্রয়োজনীয়তা বাড়ার সাথে সাথে LPX-এর সুবিধা ধীরে ধীরে প্রকাশ পায়, এবং আরও বেশি LPU ব্যবহারের পরে মোট থ্রুপুট দক্ষতা কমে যায়।

সুতরাং Groq 3 এর উপস্থিতি মানে এই নয় যে GPU কে ইনফারেন্সের জন্য বাতিল করা হয়েছে। এটি অন্য একটি বিষয় বোঝায়: একই GPU একসাথে উচ্চ থ্রুপুট এবং অত্যন্ত কম ল্যাটেন্সি দুটোই দখল করা কঠিন, দুটি হার্ডওয়্যারকে তাদের নিজস্ব শক্তিশালী অঞ্চলে চালানোর মাধ্যমে সিস্টেমটি পারফরম্যান্স কার্ভটিকে আরও সহজেই প্রসারিত করতে পারে।

গুগল এই কাটিংকে আরও উপরের স্তরে রেখেছে।

ট্রেনিং এবং ইনফারেন্স, দুটি আলাদা চিপ রেসিপি ব্যবহার করুন

গুগল টিপিউ 8 জেনারেশনে টিপিউ 8t এবং টিপিউ 8i দুটি একসাথে তৈরি করেছে,t ট্রেনিংয়ের জন্য,i ইনফারেন্সের জন্য। এই বিভাজনের পিছনের যুক্তি সরাসরি চিপের মেমোরি কনফিগারেশনে লেখা আছে।

হট চিপস প্রদর্শনীতে, TPU 8t ব্যবহার করে 6 সেট HBM, অপরদিকে TPU 8i ব্যবহার করে 8 সেট। Google-এর ব্যাখ্যা হলো, ইনফারেন্সের জন্য প্রতি ইউনিট ক্যালকুলেশনের জন্য বেশি HBM প্রয়োজন হয়, এছাড়াও বেশি অনুপাতে SRAM প্রয়োজন হয়, তাই 8i বেশি সম্পদকে SRAM, মেমোরি ক্ষমতা এবং ব্যান্ডউইথের জন্য বরাদ্দ করেছে।

এই পার্থক্যটি বিচারযোগ্য। যদি এআই চিপগুলি শুধুমাত্র ম্যাট্রিক্স গণনা ক্ষমতার তুলনা করে, তবে ইনফারেন্স ভার্সনের জন্য মেমরির উপর এত চিপ এরিয়া এবং প্যাকেজিং সম্পদ ব্যয় করার কোনো কারণ নেই। TPU 8i-এর এই ডিজাইন বোঝায় যে Google-এর দেখা বাধা এখন ডেটা সরবরাহের দিকে সরে গেছে।

ট্রেনিংয়ের সময়, বড় ব্যাচ ওজন পড়ার খরচকে অনেক টোকেনের মধ্যে বিতরণ করে; ডিকোডিংয়ের সময় প্রতিবার তৈরি হওয়া টোকেনের সংখ্যা খুব কম, কিন্তু ওজন এবং KV ক্যাশে এখনও প্রায়শই অ্যাক্সেস করা হয়। তাই, প্রতি ইউনিট FLOPS-এর জন্য কতটা HBM ব্যান্ডউইথ প্রয়োজন, এই দুটি টাস্কের উত্তর ভিন্ন।

গুগল এই পার্থক্যটিকে নেটওয়ার্ক টপোলজিতেও প্রয়োগ করেছে। অতীতে TPU-এর জন্য প্রচলিত 3D Torus ট্রেনিংয়ের জন্য বেশি উপযুক্ত, যা বড় ক্লাস্টারের মধ্যে সামগ্রিক থ্রুপুটকে গুরুত্ব দেয়। TPU 8i BoardFly সমর্থন করে, যার নেটওয়ার্ক পথ সংক্ষিপ্ত: BoardFly-এর পথের সর্বোচ্চ সীমা হল 7 hops, যেখানে 3D Torus-এর ক্ষেত্রে এটি 16 hops।

ট্রেনিংয়ের জন্য, কয়েকটি অতিরিক্ত নেটওয়ার্ক হপের পরেও সাধারণত একটি বড় ম্যাট্রিক্স ক্যালকুলেশন থাকে, যার কমিউনিকেশন টাইম বিস্তারিত হয়ে যায়। ডিকোডের প্রতিটি ধাপের ক্যালকুলেশন উইন্ডো ছোট, তাই কয়েকটি হপের নেটওয়ার্ক ল্যাটেন্সি সহজেই টোকেন ইন্টারভ্যালের মধ্যে পড়ে যায়।

MoE এই সমস্যাটিকে আরও পরিষ্কার করে তোলে। MoE একটি টোকেনকে শুধুমাত্র কিছু এক্সপার্টকে সক্রিয় করতে দেয়, যা গণনার দিক থেকে লাভজনক, কিন্তু রাউটার টোকেনগুলিকে বিভিন্ন এক্সপার্টের দিকে পাঠায়। যখন এই এক্সপার্টগুলি বিভিন্ন চিপে বিন্যস্ত থাকে, তখন গণনা কমে যায়, কিন্তু All-to-All যোগাযোগ বাড়ে।

সুতরাং TPU 8i এ কলেক্টিভ অপারেশনগুলি নেটওয়ার্ক ইন্টারফেসের কাছাকাছি I/O Die-এ প্রক্রিয়া করার জন্য কলেক্টিভ অ্যাক্সিলারেশন ইঞ্জিনও যোগ করা হয়েছে। ডেটা প্রথমে Compute Die-এ নিয়ে আসার পর HBM এর মাধ্যমে অপারেশন সম্পন্ন করার প্রয়োজন নেই, যা চিপের ভিতরে ডেটা স্থানান্তরের একটি অংশকে সরাসরি বাদ দিয়ে দেয়।

ট্রেনিং ভার্সন টিপিইউ 8টির রিসোর্স বণ্টন স্পষ্টভাবে অন্য দিকে ঝুঁকেছে। ট্রেনিংয়ের জন্য বিপুল পরিমাণ FLOPS এবং প্যারামিটার এবং গ্রেডিয়েন্ট সিঙ্ক্রোনাইজ করার জন্য বিশাল স্কেল-আপ ডোমেইন প্রয়োজন। টিপিইউ 8টির সুপারপড প্রায় 9600 চিপে স্কেল করা যায়, যার কাছাকাছি 2 PB শেয়ার্ড HBM এবং 121 EFLOPS FP4 এগ্রিগেট কম্পিউটিং ক্ষমতা রয়েছে, Google এটির জন্য Virgo নেটওয়ার্কও চালু করেছে, যা বড় পরিসরের ট্রেনিংকে বিশেষভাবে সংযুক্ত করে।

গুগল স্থানে একটি খুব ব্যবহারিক চিপ ডিজাইন সমস্যা উল্লেখ করেছিল: ডার্ক সিলিকন।

চিপের ক্ষেত্রফল এবং শক্তি বাজেট সীমিত। যদি একই চিপে ট্রেনিংয়ের জন্য প্রয়োজনীয় বহু ম্যাট্রিক্স কম্পিউটেশন রিসোর্স এবং ইনফারেন্সের জন্য আরও বেশি SRAM, HBM এবং লো-ল্যাটেন্সি নেটওয়ার্ক একসাথে রাখা হয়, তবে কোনও একটি workload চলাকালীন সবসময় কিছু সার্কিট দীর্ঘক্ষণ অব্যবহৃত থাকবে।

যেহেতু দুটি কাজের জন্য ভিন্ন সংস্থান অনুপাত প্রয়োজন, তাই সরাসরি দুটি চিপ তৈরি করা আরও পরিষ্কার।

FLOPS থেকে টোকেন অর্থনীতি

তিনটি রুট একসাথে রাখলে, পার্থক্যটি পরিষ্কারভাবে দেখা যায়।

OpenAI জালাপেনো তৈরি করে, যেখানে চিপটিকে LLM ইনফারেন্স লেয়ারে স্পেসিফিক করা হয়, কিন্তু Prefill এবং Decode কে একই হোমোজেনিয়াস হার্ডওয়্যারে ফ্লেক্সিবলভাবে স্কেডিউল করা হয়; NVIDIA আরও নিচে ভাগ করে, GPU এবং Groq LPU কে একটি ইনফারেন্সের বিভিন্ন পর্যায়ে বণ্টন করে; Google উপরের দিকে কাটে, যেখানে ট্রেনিং এবং ইনফারেন্সকে সরাসরি দুটি TPU-তে পরিণত করা হয়।

এই কয়েকটি পথের পিছনে কোনও রহস্যময় নতুন গণনা নীতি নেই, পরিবর্তিত হয়েছে সম্পদের অনুপাত। প্রশিক্ষণের ক্ষেত্রে বেশি ট্রানজিস্টর ম্যাট্রিক্স গণনা এবং বৃহৎ সংযোগের জন্য ব্যবহার করা হয়, কারণ উচ্চ ব্যাচ ডেটা স্থানান্তরের খরচকে বিতরণ করে; কম ল্যাটেন্সি উপস্থাপনার জন্য উচ্চতর HBM ব্যান্ডউইথ, বড় SRAM, কার্যকর KV Cache স্থানীয়তা এবং সংক্ষিপ্ত নেটওয়ার্ক পথের প্রয়োজন, কারণ অনেক সময় ডেটা অপেক্ষা করার উপর ব্যয়িত হয়।

যখন দুটি ধরনের লোডের প্রয়োজনীয় “চিপ রেসিপি” একে অপরের থেকে আরও বেশি দূরে সরে যায়, তখন একটি সাধারণ চিপ দিয়ে এদের উভয়কেই সমানভাবে সমর্থন করা স্বাভাবিকভাবেই দক্ষতার ক্ষতি বাড়িয়ে তোলে।

এটাই কারণ যে এই হার্ডওয়্যার প্রতিযোগিতার মূল সংখ্যাগুলি পরিবর্তিত হচ্ছে। FLOPS এখনও গুরুত্বপূর্ণ, কিন্তু পাশাপাশি শুরু হচ্ছে Tokens/s/user、TBT、TTFT、Tokens/kW、HBM ব্যান্ডউইথ এবং নেটওয়ার্ক ল্যাটেন্সি।

এটি আসলে একই বিষয়টি বর্ণনা করে: ক্ষমতা ইতিমধ্যে সেখানে রাখা হয়েছে, সিস্টেম কি ধারাবাহিকভাবে ডেটা প্রবাহিত করতে পারবে এবং তৈরি করা Token গুলি দ্রুত বের করতে পারবে।

OpenAI, NVIDIA এবং Google এখন যে সীমানা বেছে নিয়েছে, তা এখনও একই নয়, এবং ভবিষ্যতে আসলে কোথায় এই সীমানা আঁকা হবে, তা আরও পরিবর্তিত হবে।

ট্রেনিং এবং ইনফারেন্স আলাদা করা যায়, প্রিফিল এবং ডিকোড আলাদা করা যায়, ডিকোডের ভিতরের অ্যাটেনশন এবং অন্যান্য গণনা আরও আলাদা করা যায়। যত বেশি বিভক্ত করা হয়, প্রতিটি এককের দক্ষতা বাড়ানোর সম্ভাবনা বেশি, কিন্তু সম্পদ সমন্বয়, KV Cache স্থানান্তর এবং হার্ডওয়্যারের মধ্যে কমিউনিকেশন আরও জটিল হয়ে পড়ে।

অতএব, পরবর্তী পর্যায়ের এআই চিপ প্রতিযোগিতার চ্যালেঞ্জটি হয়তো শুধুমাত্র একটি আরও শক্তিশালী চিপ তৈরি করা নয়।

আরও কঠিন হলো সিদ্ধান্ত নেওয়া: কোন কাজগুলির জন্য বিশেষ চিপ তৈরি করা উচিত, আর কোন কাজগুলি একই হার্ডওয়্যারের মধ্যেই রাখা উচিত, যাতে সম্পূর্ণ সিস্টেমের টোকেন খরচ কম হয়।