এআই মডেলগুলি বৃহৎ পরিসরে ব্যবহারের পরে, রিজনিং কম্পিউটিং ক্ষমতার জন্য বাজারের চাহিদা বৃদ্ধি পাচ্ছে। ট্রেনিং পর্যায়ের তুলনায়, মডেলগুলি অনলাইনে উত্তর তৈরি করা এবং এজেন্ট কাজ সম্পাদনের সময় চিপ আর্কিটেকচার, ল্যাটেন্সি এবং ডিপ্লয়মেন্ট খরচের প্রয়োজনীয়তা ভিন্ন। টেকক্রাঞ্চ রিপোর্ট করেছে যে, রিজনিং ক্লাউড সার্ভিসপ্রোভাইডার জেনারেল কমপিউট এই ক্ষেত্রে একটি আরও হালকা ডিপ্লয়মেন্ট সমাধান দিয়ে প্রবেশের চেষ্টা করছে।
জেনারেল কম্পিউট সম্প্রতি 15 মিলিয়ন ডলারের বীজ ফান্ডিং সফলভাবে সম্পন্ন করেছে এবং এর পরের মূল্যায়ন 60 মিলিয়ন ডলার। এই রাউন্ডটি FUSE VC-এর নেতৃত্বে এবং Carya Venture Partners এবং Village Global Ventures-এর অংশগ্রহণে সম্পন্ন হয়েছে। কোম্পানিটি “রিজনিং নিওক্লাউড” হিসাবে পরিচিতি পেয়েছে, যা মূলত AI প্রসেসিং ক্ষমতা ভাড়া দেয়।
সাম্বা নোভা ইনফারেন্স চিপে বেট করুন
AI ইনফ্রাস্ট্রাকচার মার্কেটে, GPU এখনও প্রধান বিকল্প, কিন্তু একেবারে বেশি কোম্পানি রিজনিং স্কেনারিওর জন্য বিশেষায়িত চিপের উপর জোর দিতে শুরু করেছে। রিপোর্টটি উল্লেখ করে যে, General Compute একটি আরও কঠিন GPU সম্পদের পথে যাওয়ার বদলে SambaNova-এর সাথে সহযোগিতা করছে।
সাম্বা নোভা হল একটি ইন্টেল সমর্থিত চিপ কোম্পানি, যা দীর্ঘদিন ধরে ইনফারেন্স কম্পিউটিং-এ ফোকাস করেছে। জেনারেল কম্পিউটের সহ-প্রতিষ্ঠাতা বলেছেন, সাম্বা নোভা এই বছর যে নতুন চিপ চালু করবে, তার ইনফারেন্সের সময় উচ্চতর কনটেক্সট মেমোরি এবং আরও নমনীয় আর্কিটেকচার থাকবে। কোম্পানির অনুসারে, নতুন চিপের গতি ৬০০ থেকে ৭০০টি টোকেন/সেকেন্ড, যখন GPU-এর গতি প্রায় ২৫০টি টোকেন/সেকেন্ড।
জেনারাল কম্পিউট জানিয়েছে যে, তারা 3 বিলিয়ন ডলারের সামবা নোভা SN50 চিপ অর্ডার করেছে এবং এই চিপগুলি স্থাপন করে প্রথম neocloud কোম্পানি হয়ে উঠবে।
বর্তমান ডেটা সেন্টারে সরাসরি ডিপ্লয় করা যাবে
চিপ সরবরাহের পাশাপাশি, এআই ক্যালকুলেশন বিস্তারের অন্যতম চ্যালেঞ্জ হল ডেটা সেন্টার স্থাপন। অনেক হাই-পারফরম্যান্স এআই চিপের জন্য তরল শীতলন এবং উচ্চতর বিদ্যুৎ ব্যবস্থা প্রয়োজন, যা ডেটা সেন্টার আপগ্রেডের খরচ বাড়ায় এবং লঞ্চ সময়কাল বাড়িয়ে দেয়।
জেনারাল কম্পিউট প্রস্তাব করেছে বাতাস দিয়ে শীতলকরণ এবং কম বিদ্যুৎ খরচের ইনফারেন্স চিপ ব্যবহার করা। এর ফলে ডিভাইসগুলিকে সরাসরি বিদ্যমান ডেটা সেন্টারে ইনস্টল করা যাবে, বড় পরিসরের অবকাঠামো আপগ্রেডের প্রয়োজন ছাড়াই। একটি নতুন মার্কেটে প্রবেশকারী ইনফারেন্স ক্লাউড কোম্পানির জন্য, এটি অধিকৃত কম্পিউটিং ক্ষমতা দ্রুত গঠনের অর্থ।
কোম্পানিটি বর্তমানে তাদের নিজস্ব হার্ডওয়্যারকে তৃতীয় পক্ষের সুবিধায় স্থানান্তরিত করার জন্য হোস্টিং সহযোগিতা চালিয়ে যাচ্ছে। এই সহযোগিতার পক্ষে শুধুমাত্র প্রাচীন ডেটা কেন্দ্র অপারেটরদের সম্পৃক্ত করা হচ্ছে, বরং ক্রিপ্টো মাইনিং কোম্পানিগুলিও যারা রূপান্তরিত হতে চায়। প্রতিবেদনটি উল্লেখ করে যে, কিছু সময়ে, বিটকয়েন উৎপাদনের খরচ বাজার মূল্যের চেয়ে বেশি হয়ে যায়, যা কিছু মাইনফার্মগুলিকে নতুন ইনফ্রাস্ট্রাকচার ব্যবহারের দিকে নিয়ে যায়।
রিজনিং ক্লাউড প্রতিযোগিতা গতি এবং খরচের দিকে সরে যাচ্ছে
গেনারাল কম্পিউট গত সপ্তাহে ক্লাউড সার্ভিস চালু করেছে এবং ওপেন-সোর্স বড় মডেল MiniMax 2.7 চালানোর সময় এর গতি সবচেয়ে বেশি বলে দাবি করেছে। কোম্পানিটি এক ঘন্টা লাগা কোডিং এজেন্ট টাস্কগুলিকে 5 থেকে 10 মিনিটে কমিয়ে আনতে চায় এবং কাস্টমার সাপোর্ট ভয়েস এজেন্টসহ রিয়েল-টাইম সিনারিওগুলিতে ইনফারেন্স খরচ কমাতে চায়।
বিনিয়োগকারী জো হ্যাসলম্যান মনে করেন, এই সহযোগিতা প্রাথমিক সময়ে CoreWeave-এর Nvidia-এর সাহায্যে ক্যালকুলেশন ক্ষমতা বাড়ানোর সাথে সাদৃশ্যপূর্ণ। SambaNova-এর জন্য, General Compute হল তাদের চিপগুলিকে উচ্চ বৃদ্ধির পরিস্থিতিতে প্রবেশ করানোর একটি গুরুত্বপূর্ণ চ্যানেল।
রিপোর্টটি মনে করে যে, রিজনিং ক্লাউড মূলত একটি "বহু-মডেল, বহু-এজেন্ট" বাজারের উপর বিনিয়োগ করছে। যদি ভবিষ্যতে কোনো একক মডেল সরবরাহকারী দীর্ঘমেয়াদে একচেটিয়া না হয়, তাহলে রিজনিং গতি এবং ইউনিট খরচই হবে বেশি সরাসরি প্রতিযোগিতার মাপকাঠি। সম্প্রতি OpenRouter-এর 113 মিলিয়ন ডলারের B-টার্ম ফান্ডিং সফলতা, বহু-মডেল অ্যাক্সেস এবং token খরচ অপ্টিমাইজেশনের প্রতি বাজারের চাহিদা বৃদ্ধির প্রতিফলন।