কিমি কে৩ বিশ্বের তৃতীয় সেরা এআই মডেল হিসেবে স্থান পায়, এনথ্রোপিক এবং ওপেনএআইকে চ্যালেঞ্জ করে

সংগঠিত ও সংকলিত: শেনচাও টেকফ্লো

অতিথি: জর্ডান এবং ম্যাক্স, সেমি অ্যানালিসিস বিশ্লেষক

হোস্ট: জর্ডান (SemiAnalysis ইন্টারনাল কনভার্সেশন)

পডকাস্ট সোর্স: SemiAnalysis

মূল শিরোনাম: [জরুরি পর্ব] মুনশটের কিমি কে৩ এসে গেছে! চীনের একটি ফ্রন্টিয়ার মডেল রয়েছে

প্রচারের তারিখ: 18 জুলাই, 2026

মুনশট (মুন অফ দ্য ডার্ক সাইড) কিমি K3 প্রকাশ করেছে, যা বিভিন্ন সমন্বিত বেঞ্চমার্কে গুগল এবং মেটা কে পরাজিত করে বিশ্বের তৃতীয় সেরা মডেল হয়ে উঠেছে, যা Anthropic-এর Fable এবং OpenAI-এর Soul 5.6-এর পরে। SemiAnalysis-এর দুই বিশ্লেষক জর্ডান এবং ম্যাক্স একটি জরুরি প্রোগ্রামে এই প্রকাশের অর্থ বিশ্লেষণ করেন: 2.8T প্যারামিটারের মডেলটি Sonnet-এর সমান মূল্যে (3/15 প্রতি মিলিয়ন টোকেন) সেবা প্রদান করে, যদি এটি অগ্রণী বন্ধ মডেলের সমান আকারের হয়, তাহলে Anthropic-এর 10/50-এর লাভক্ষতিরহার mindboggling-এর মতো হতে পারে।

জর্ডানের আরও তীক্ষ্ণ মতামত: প্রান্তিক ব্যবধান কমছে, যা তিনি মার্কিন সরকারের দ্বারা Anthropic/OpenAI-কে সবচেয়ে শক্তিশালী মডেলগুলি প্রকাশ করতে বাধা দেওয়ার কারণে ব্যাখ্যা করেন, যা অনুসরণকারীদের জন্য কৃত্রিমভাবে একটি সময়ের জানালা তৈরি করেছে। ওপেন-সোর্স সত্যিই অনুসরণ করেনি। একইসময়ে, পশ্চিমা ওপেন-সোর্স সম্পূর্ণ শূন্য, মার্কিন কোম্পানিগুলির কোনও ওপেন-সোর্স মডেলই চীনের পঞ্চম সেরা মডেলের সাথে প্রতিযোগিতা করতে পারছে না। মডেলের প্রতিযোগিতা এখন harness (টুলসের ব্যবহার) এবং ভূ-রাজনৈতিক প্রতিযোগিতায় পরিণত হচ্ছে।

কিমি কে 3-এর পজিশন সম্পর্কে

• যদি আপনি সমস্ত প্রধান বেঞ্চমার্কের সম্মিলিত র‍্যাঙ্কিং দেখেন, তবে আজ একটি খুব স্পষ্ট টপ তিন রয়েছে: Fable, Soul 5.6 এবং Kimi K3। এগুলি সবসময় অন্যদের চেয়ে উপরে, যার মধ্যে DeepSeek, Google, Meta এবং xAIও অন্তর্ভুক্ত।
• গুগল খুব বেশি লজ্জা পাওয়া উচিত। 2025 সালের নভেম্বর এবং ডিসেম্বরে, সবাই মনে করত যে AI ট্রাইপল হল Google, Anthropic এবং OpenAI। আজ কিছু 'পুরনো মানুষ' এর সাথে কথা বললে, তারা এখনও এটা মনে করে, কিন্তু এখন এটা আর সত্য নয়।
• এটি হয়তো বিশ্বের দ্বিতীয় সেরা মডেল, কারণ প্রতিবার আমি Fable দিয়ে কিছু গুরুত্বপূর্ণ কাজ করার চেষ্টা করি, আমাকে প্রত্যাখ্যান করা হয় এবং Opus-এ ফেরত পাঠানো হয়। যদিও আমি নিশ্চিত নই যে এটি Opus-এর চেয়ে ভালো কিনা, তবে অন্তত এটি প্রত্যাখ্যান হয় না।

প্রান্তিক মডেলের লাভজনকতা সম্পর্কে

• যদি কিমি ৩/১৫ এই মূল্যে K3 প্রদান করে ক্ষতি না করে, তাহলে ফেবল একই পরিসরের কিন্তু ১০/৫০ নেয়, তাহলে AI ল্যাবরেটরি লাভহীন ব্যবসা এই চিন্তাটি সম্পূর্ণভাবে দূর করা উচিত। API মূল্যে টোকেন বিক্রি করলে SaaS-এর চেয়েও বেশি লাভজনক হতে পারে।
• K2.7 থেকে K3 এ দাম তিন গুণের বেশি বেড়েছে, 0.95/4 থেকে 3/15 এ পৌঁছেছে। কিন্তু আমি মনে করি না যে তাদের আর বেশি দাম বাড়ানোর কোনো সুযোগ আছে, কারণ অনেক কাজের জন্য GLM বা MiniMax M3 যথেষ্ট।

আমেরিকান সরকার এবং ব্যবধান সম্পর্কে

• আমি বিশ্বাস করি এই ব্যবধান কমার জন্য সম্পূর্ণভাবে মার্কিন সরকারের Anthropic-কে সীমাবদ্ধ করার কারণে আমরা এই কোম্পানিগুলির সত্যিকারের সবচেয়ে শক্তিশালী মডেলগুলি পাইনি, তারা কৃত্রিমভাবে অনুসরণ করেছে।
• আমরা কেবল তখনই এটির সাথে যোগাযোগ করতে পারি যখন অগ্রগামী বুদ্ধিমত্তা এটির অনুমতি দেয়। এটি পরবর্তী চতুর্থ, পঞ্চম, ষষ্ঠ এবং সপ্তম স্থানের খেলোয়াড়দের জন্য একটি সুযোগ।

关于西方开源真空

• এই পুরো বাজারটি এতটাই অক্ষম যে, আমেরিকার কোনো কোম্পানি চীনের পঞ্চম সেরা কোম্পানির সাথে কমপক্ষে প্রতিযোগিতা করতে পারছে না, এটি আমাকে বিস্মিত করেছে।
• সরকার চীনা ওপেন সোর্স মডেলগুলিকে নিষিদ্ধ না করলেও, সাধারণ মার্কিন বড় কোম্পানিগুলি তাদের স্বত্বাধিকার প্রাপ্ত ডেটা চীনা ওপেন সোর্স মডেলগুলিকে খাওয়াতে চায় না। আপনি যদি একটি এয়ার-গ্যাপ ডেটা সেন্টারে ওয়েটস লোড করেন, যদিও সিসিপি আপনার ডেটা দেখতে পায় না, তবুও ম্যানেজমেন্ট এটি গ্রহণ করবে না।

হারনেস সম্পর্কে

• কিমি কে3 পরীক্ষা করে আমি প্রথমবারের মতো ওপেন কোড, হারমেস এবং পি কে গুরুত্বপূর্ণভাবে পর্যালোচনা করেছি। হারনেস এখনও পণ্যের একটি অংশ।
• একটি সাধারণ জিনিস আমাকে এই মডেলটি নির্বাচন করতে প্ররোচিত করে: এটি রিমোট SSH সার্ভারে ইনস্টল করা যায় কি? শর্টকাটগুলি কি সহজে ব্যবহারযোগ্য? এই হারনেসের বিস্তারিতগুলি আসলে আমি কোথায় টোকেন পাঠাব, অর্থাৎ বাজেটটি কোথায় পাঠাব, তা প্রভাবিত করে।

"এখনও অতিশয় তাড়াহুড়ো" সম্পর্কে

• আমি গত সপ্তাহে ICML-এ গিয়েছিলাম, আগের সপ্তাহে AI Engineer কনফারেন্সে। এটি একটি ঔপচারিক AI কনফারেন্স, 80% এরও বেশি মানুষ SemiAnalysis-এর কথা শোনেননি। আপনি নিজেকে AI শিল্পে কাজ করতে বলেন, কিন্তু SemiAnalysis-ও পড়েননি? আমরা এখনও খুব আগে।

জর্ডান: দ্রুত মন্তব্য, কিমি K3 কি এখন বিশ্বের তৃতীয় সেরা মডেল?

ম্যাক্স: উত্তরটি স্পষ্টভাবে "হ্যাঁ"। সবাই বেঞ্চমার্কের সমালোচনা করে, বেঞ্চমার্কের সত্যিই সমস্যা আছে, কিন্তু যদি আপনি সমস্ত প্রধান বেঞ্চমার্কের সমন্বিত র‍্যাঙ্কিং দেখেন, তবে তাদের সবগুলিরই ইঙ্গিত সবসময় সঠিক। আজ একটি অত্যন্ত স্পষ্ট টপ তিনটি রয়েছে: Fable, Soul 5.6 এবং Kimi K3, যারা DeepSeek-এর মতো open source প্লেয়ারদেরও অনেক উপরে এবং Google, Meta এবং xAI-এরও স্পষ্টভাবে উপরে। মনথ অফ দ্য ডার্কনেসের দলের জন্য এটি অত্যন্ত অসাধারণ একটি অর্জন।

গুগল খুব বেশি লজ্জা পাওয়া উচিত। 2025 সালের নভেম্বর এবং ডিসেম্বরে, সবাই মনে করত যে AI ট্রাইপল হল Google, Anthropic এবং OpenAI। আজ কিছু "পুরনো মানুষ" এর সাথে কথা বললে, তারা এখনও এটা মনে করে, কিন্তু স্পষ্টতই এটা আর তা নয়।

সামগ্রিকভাবে, আমি এটিকে Fable এবং Soul 5.6 এর চেয়ে কম ভালো বলে মনে করি। একটু হাস্যকর বিষয় হলো, তারা নিজেদের মডেল প্রকাশের ব্লগেও স্পষ্টভাবে এটি উল্লেখ করেছে। এটি হতে পারে পুরনো ধরনের চীনা বিনয়, অথবা আমেরিকান সরকারের পর্যবেক্ষণ এড়ানোর জন্য, যেহেতু Fable 5.6 প্রকাশের সময়ও কিছুটা বিলম্ব হয়েছিল। তবুও, এটি অত্যন্ত অসাধারণ।

জর্ডান: তারা ব্লগের সীমাবদ্ধতা বিভাগে লিখেছে: "যদিও K3 সামগ্রিকভাবে একটি অত্যন্ত প্রতিযোগিতামূলক মডেল, তবুও ব্যবহারকারীর অভিজ্ঞতায় Fable 5 এবং GPT 5.6-এর সাথে স্পষ্ট পার্থক্য রয়েছে।" আমার ব্যক্তিগত ব্যবহারের অভিজ্ঞতা হলো, এটি সত্যিই ভালো, কিন্তু এটি খুবই ধীর, যা খুবই বিরক্তিকর। এটি আমাকে প্রথমবারের মতো open source harness-এর পরীক্ষা করার জন্য উৎসাহিত করেছে। সত্যি বলতে, আমি মনে করি আমি model-এর চেয়ে harness-এর বিষয়ে বেশি কিছু শিখেছি, কারণ এইসব মডেলগুলোই যথেষ্ট ভালো, আমি যা করছি তা সহজেই সম্পন্ন করতে পারে, এবং আমি এমন জটিল কাজগুলোর সন্ধান পাচ্ছি না, যা এগুলো করতে অক্ষম।

এটি আমার জন্য সম্ভবত বিশ্বের দ্বিতীয় সেরা মডেল, কারণ প্রতিবার আমি Fable ব্যবহার করে গুরুত্বপূর্ণ কাজ করার চেষ্টা করি, তখনই আমাকে অস্বীকার করা হয় এবং Opus-এ ফিরিয়ে দেওয়া হয়। যদিও আমি নিশ্চিত নই যে এটি Opus-এর চেয়ে ভালো কিনা, কিন্তু অস্বীকার না হওয়াটাই কম বিরক্তিকর। তবে API key ব্যবহার করে পে-পার-ইউজের মাধ্যমে আমাকে অস্বীকার করা হয়নি, শুধুমাত্র web console বা deep research-এর সময়ই লিমিটে আটকে যাই। তাদের এই মডেলের চাহিদা পূরণের জন্য যথেষ্ট GPU নেই। আগে এই সমস্যা ওপেন-সোর্স স্ট্র্যাটেজির মাধ্যমে সমাধান করা হয়েছিল, অর্থাৎওয়েটস্‌গুলোকে প্রকাশ্যে ছেড়ে দেওয়া হতো। কিন্তু এবারওয়েটস্‌গুলো এখনও প্রকাশিত হয়নি, তারা ১০ দিনের মধ্যেই এটি মুক্তি দেওয়ার কথা বলেছে।

জর্ডান: আপনি এই বিলম্বের কৌশলটি কী মনে করেন?

ম্যাক্স: এটা আমার শুধুমাত্র অনুমান। একটি বড় কারণ হতে পারে যে তাদের প্রয়োজন vLLM এবং SGLang এর মতো ইনফারেন্স ইঞ্জিন টিমগুলিকে যথেষ্ট সময় দেওয়ার, যাতে এই মডেলটিকে উচ্চ পারফরম্যান্সে সার্ভ করতে পারে। যদি আজই ওয়েটস প্রকাশ করা হয়, এবং সবাই সার্ভ করছে কিন্তু শুধুমাত্র ২০ টোকেন/সেকেন্ড দিচ্ছে, তাহলে এটি তাদের ব্র্যান্ড ক্যাপচারের জন্য খুবই খারাপ। এখনই তাদের কাছে বিপুল পিআর এবং গ্রহণযোগ্যতা পাওয়ার অসাধারণ সুযোগ রয়েছে, কিন্তু যদি এটি পারফরম্যান্সের কারণেই বিলম্বিত হয়, তবে এটি গতিরও ক্ষতি করবে।

অন্য একটি সম্ভাবনা হল তারা Together AI, Fireworks, Nebius, Groq এর মতো ইনফারেন্স সার্ভিস প্রোভাইডারদের সাথে লাইসেন্সিং চুক্তি করছে, যাতে তারা GB300 এর মতো সর্বশেষ চিপগুলি ব্যবহার করে ইনক্রিমেন্টাল ক্যাপাসিটি সার্ভ করতে পারে। এই দুটি কারণই হয়তো ১০ দিন বিলম্বের মূল কারণ।

জর্ডান: মডেল আর্কিটেকচার নিয়ে কথা বলি। এটি 2.8T প্যারামিটার বিশিষ্ট, যা B200-এ ফিট হয় না; আপনাকে একক 8-কার্ড HGX সার্ভারে এটি সার্ভ করতে B300, GB300 বা AMD MI355X প্রয়োজন। অবশ্যই আপনি নোডের মধ্যে পাইপলাইন প্যারালালিজম করতে পারেন, কিন্তু এটি পারফরম্যান্সকে গুরুতরভাবে প্রভাবিত করবে। তাই শুধুমাত্র সর্বশেষ চিপ ধারণকারীরাই এই মডেলটি সার্ভ করতে পারবেন।

আপনি যে বিষয়ে গুগল নিয়ে কথা বলেছিলেন, সেটাতে ফিরে আসি, এই মডেলটি 2.8T প্যারামিটারেই অগ্রণী প্রতিদ্বন্দ্বীতা অর্জন করেছে, যা আমাদের বন্ধ মডেলগুলির আকার সম্পর্কে কিছু ইঙ্গিত দেয়। যদি তারা 10T প্যারামিটারের মডেল দিয়ে এটির তুলনা করে, তাহলে তা আরও অপমানজনক। আমাদের ধরে নিতে হবে যে এটি Soul এবং Fable-এর একই পরিসরে।

ম্যাক্স: হ্যাঁ, তুমি ঠিক বলেছ। আমি এখনও অ্যানথ্রোপিক গবেষণা দলের ক্ষমতা এবং সংবেদনশীলতায় বিশ্বাস রাখি। যদি টুইটারে কেউ বলে যে বর্তমানে বন্ধ মডেলে 10T প্যারামিটার আছে, এবং যদি এটি সত্য হয়, তাহলে বন্ধু, তোমার ব্যাগ প্যাক করা উচিত, নিভেডা শেয়ারের দাম আগামীকাল 50% পড়ে যাবে, এবং সবকিছুই শেষ।

আমি প্রায় নিশ্চিত যে Kimi K3 বর্তমানে শীর্ষস্থানীয় বন্দী মডেলের চেয়ে কম হবে না, বরং এটি কিছুটা বড়ও হতে পারে। যদি এটি সত্যি হয়, তাহলে এটি SemiAnalysis-এর আমাদের একটি প্রধান দাবিকে আরও শক্তিশালী করে: এই বন্দী ল্যাবগুলির মুনাফার হার অবশ্যই mindboggling লেভেলের। যদি Kimi 3/15-এর দামে K3-এর জন্য লোকসানে চলছে না—যা Sonnet-এর দামের সমান—এবং Fable-এর সাইজ প্রায় একই, কিন্তু 10/50-এর দামে চার্জ করছে, তাহলে AI ল্যাবগুলির অর্জনের প্রতি সন্দেহগুলি সম্পূর্ণভাবে দূর হয়ে যাবে। আজকের জন্য, API-এর মূল্যে token-এর বিক্রয় SaaS-এর চেয়েও বেশি লাভজনক হতে পারে।

জর্ডান: কোনো কর্মচারী খরচ নেই, শুধু GPU। আগের মূল্যের সাথে তুলনা করলে কেমন? আপনি 3/15 বলেছেন, কিন্তু আগের মুনশট সরাসরি 0.95/4 মূল্যে ছিল, তাই K2.7 থেকে K3-এ মূল্য তিনগুণেরও বেশি বেড়েছে। তাদের আরও কতটা মূল্যবৃদ্ধির সম্ভাবনা আছে?

ম্যাক্স: আমি মনে করি তাদের আর কতটা উপরে নিয়ে যাওয়ার জায়গা আছে। 3/15 এই দামেও অনেকেই এটিকে খুব মহঙ্গা বলবে। তাদের কাজের জন্য GLM বা MiniMax M3 যথেষ্ট। এখানে একটি আকর্ষণীয় বিভাজন রয়েছে: আমাদের SemiAnalysis-এর মতো, যারা Dylan-এর token পোড়ানোর বিষয়ে চিন্তা করে না, তারা Fable-এর সাহায্যে প্রায় সবকিছুই করবে; আর অত্যন্ত খরচ-সংবেদনশীল, যেমন Tesla, Uber—যারা শুধুমাত্র $200 token ব্যবহার করে—তারা GLM-এর মূল্যস্তরে যাবে। তাহলে, সত্যিকারের Kimi K3-এ স্যুইচ করবে কে? সম্ভবত, open source-এর প্রতি দার্শনিকভাবে আকৃষ্ট এবং নতুন মডেলকে সমর্থন করতে চাওয়া একটি গোষ্ঠী। বড় কোম্পানিগুলি কি সত্যিই এই মডেলটি গ্রহণ করবে? আমি অপেক্ষা করব উত্তরটি 'না'।

জর্ডান: এটি একটি সম্পূর্ণ নতুন আর্কিটেকচার। 2.8T প্যারামিটার, কিমির ডেল্টা অ্যাটেনশন, পটেনশিয়াল রেসিডুয়ালস, স্টেবল ল্যাটেন্ট সহ, মূলত আগের মডেলের দ্বিগুণ আকারের বড় সংস্করণ। আগে K2.5-এ, আমরা দেখেছিলাম যে Cursor এটিকে composer হিসাবে ব্যবহার করছে, continued pre-training এবং MRL-এর ভিত্তিতে, তারপর 2.5, 2.6, 2.6.7 ইত্যাদি checkpoint প্রকাশ করা হয়েছিল। এটি একটি নতুন base model, কিন্তু এটি ব্যবহার করা ইতিমধ্যেই পর্যাপ্তভাবে সম্পূর্ণ, প্রাথমিক মডেলের সাধারণ খসড়া প্রান্তগুলির অভাব রয়েছে। পরবর্তী পদক্ষেপ? 3.1 কখন আসবে? মূল্যনির্ধারণ পরিবর্তিত হবে? K3-এর উপর ভিত্তি করে composer থাকবে?

ম্যাক্স: K3-এর উপর ভিত্তি করে কম্পোজার অ্যাপ্লিকেশন হবে না, কারণ কার্সরের দল নিজেদের মডেলটি শূন্য থেকে প্রশিক্ষণ দেওয়ার সিদ্ধান্ত নিয়েছে। K3.1, K3.2-এর মতো সংস্করণগুলির জন্য, আগামী এক বা দুই মাসে দুই থেকে তিনটি আপডেট আসবে, যা শুধুমাত্র পোস্ট-ট্রেনিংয়ের সাথে সম্পর্কিত। মূল্যনির্ধারণ অপরিবর্তিত থাকবে বলে আমি অনুমান করি, কারণ তারা আগামী দুই-তিন মাসের মধ্যে নতুন হার্ডওয়্যারে চলবে না, এবং কোনও থ্রুপুট বৃদ্ধি না থাকায় মূল্য কমানোরও কোনও কারণ নেই। হয়তো একজন বিশেষভাবে দক্ষ কার্নেল ইঞ্জিনিয়ার 3T প্যারামিটারের মডেলটিকে DeepSeek V4-এর মতো খরচে চালাতে পারবেন, কিন্তু 3T প্যারামিটারের মডেলের জন্য এটি করা আমি সন্দেহজনক মনে করি। বর্তমানে GLM এবং MiniMax-এর মূল্যনির্ধারণই 1T-1.5T মডেলগুলির জন্য serve-এর সীমা।

ম্যাক্স: আরও আকর্ষণীয় প্রশ্ন হলো ওপেন সোর্স এবং ক্লোজড সোর্সের মধ্যে ব্যবধান কি আরও কমে যাবে, এবং ওপেন সোর্স কি প্রান্তিক স্তরের সমতা অর্জন করতে পারবে। যদি এটি ঘটে, তাহলে আমাদের সমগ্র শিল্পের উপর এর প্রভাব অসাধারণ হবে। আপনি কীভাবে দেখেন?

জর্ডান: আমার মতে, এখন এই ব্যবধান কমেছে, এবং এর কারণ সম্পূর্ণভাবে মার্কিন সরকারের দ্বারা Anthropic-কে সীমাবদ্ধ করা, যার ফলে আমরা এই কোম্পানিগুলির সত্যিকারের সবচেয়ে শক্তিশালী মডেলগুলি পাচ্ছি না। তারা কৃত্রিমভাবে অনুসরণ করা হচ্ছে।

আমরা মাইথোস এবং ফেবলের তুলনা দেখতে পাই। মাইথোস আমি ব্যবহার করতে পারি না, ফেবল ব্যবহার করতে হলে আমাকে ভালোভাবে অনুরোধ করতে হয়। 5.6 Soul-এর ক্ষেত্রে, আমাদের অভ্যন্তরীণ মূল্যায়ন অনুযায়ী, এটি OpenAI-এর প্রশিক্ষিত সবচেয়ে বড় মডেল নয়, 4.5-এর চেয়েও ছোট। তাদের কাছে একটি আরও বড় মডেল আছে। ফলাফলস্বরূপ, আমরা শুধুমাত্র সেই অগ্রগামী বুদ্ধিমত্তা যখন সরকার দ্বারা অনুমোদিত হয়, তখনই এটির সাথে যোগাযোগ করতে পারি।

এটি পরের চতুর্থ, পঞ্চম, ষষ্ঠ এবং সপ্তম স্থানের খেলোয়াড়দের জন্য একটি সুযোগ, যারা কোনো সীমার মধ্যে সবকিছু খুলে দিয়ে ব্যবহারকারীদের শেয়ার নিয়ে আসতে পারে, কিন্তু প্রকৃত ফ্রন্টিয়ারে কখনই পৌঁছাতে পারবে না। আমি মনে করি, ফ্রন্টিয়ারটি এই গ্রীষ্মের শেষের দিকে আরও একটি বড় পদক্ষেপ নিতে পারে, অথবা রাজনৈতিক পরিস্থিতি আরও কিছুটা পরিবর্তিত হতে পারে। অথবা আমরা কোডিংয়ের বাইরের মোডগুলি খুঁজে পেতে শুরু করতে পারি, যাতে তারা সত্যিকারভাবে সেই ক্ষেত্রগুলির অন্বেষণ করতে পারে।

Thinking Machines-এর Inkling প্রকাশের কথা উল্লেখ করে বলি, ন্যাটিভ অডিও ইনপুট আমার কাছে খুবই আকর্ষণীয়, এটি ভবিষ্যতের সংকেত।

Max： Inkling সম্পর্কে বলতে গেলে, পশ্চিমা বিশ্বে সত্যিই একটা ভালো, নষ্ট না-হওয়া open source মডেলের খুব, খুব, খুব অভাব আছে। বাজার এখনো এতটা অদক্ষ যে, আমরা এখনও এমন কোনো মার্কিন কোম্পানি পর্যন্ত পাইনি, যারা অন্তত চীনের পঞ্চম সেরা মডেলের সমকক্ষ হতে পারে—এটা আমাকে বিস্মিত করে। একদিকে, মার্কিন সরকার চীনা ওপেন সোর্স মডেল সম্পূর্ণ নিষিদ্ধ করবে—এটা শুধু সময়ের অপেক্ষা হতে পারে। অন্যদিকে, নিষিদ্ধ না করলেও, সাধারণ মার্কিন বড় কোম্পানিগুলো তাদের মালিকানাধীন ডেটা চীনা ওপেন সোর্স মডেলে খাওয়াতে রাজি নয়। তুমি যদি air-gapped ডেটা সেন্টারে মডেলের ওজন (weights) লোড করো, CCP তোমার ডেটা দেখতে না পারলেও, কোম্পানির উচ্চপদস্থরা তাতে রাজি হবে না। অনেক প্রতিষ্ঠান token বাজেট নিয়ে চিন্তিত থাকে, একই সঙ্গে তারা শুধু পশ্চিমা বা নন-চীনা মডেলই চালাতে চায়। Inkling হলো বর্তমানে আমাদের কাছে থাকা সেরা পশ্চিমা OSS, কিন্তু ওপেন সোর্সের ফ্রন্টিয়ার থেকে এখনো অনেক দূরে—এটা আমাকে বিস্মিত করে।

জর্ডান: আগে ছিল নিওট্রন, এখন ইন্কলিং। ইন্কলিংয়ের কৌশল সম্পর্কে আমার মনে হয় দুটি সুযোগ রয়েছে: প্রথমত, তাদের অধিকাংশ চীনা ওপেন-সোর্সের চেয়ে ভালো হতে হবে, যাতে তারা প্রবেশ করতে পারে। দ্বিতীয়ত, তাদের অগ্রণী ল্যাবের সেকেন্ডারি এবং টার্টিয়ারি মডেলগুলির চেয়েও ভালো হতে হবে, Sonnet-এর চেয়েও ভালো হতে হবে, কারণ আপনি Bedrock বা Foundry-এর মাধ্যমে অগ্রণী বুদ্ধিমত্তা পেতে পারেন, এবং বন্ধ-সোর্স সেকেন্ডারি মডেল ব্যবহার করে টাকা বাঁচাতে পারেন। পশ্চিমা ওপেন-সোর্সের "মানুষকে টাকা বাঁচানো" এই দিকটি আমি সবসময়ই বুঝতে পারিনি। Fireworks, Together, Base10-এর মতো ইকোসিস্টেমগুলিতে মডেলগুলি এগিয়ে নিয়ে যাওয়া অবশ্যই ভালো, কিন্তু বাজারের বড় অংশটি সরকারি স্তরের।

জর্ডান: আরেকটি বিষয় যা উল্লেখযোগ্য, K3 ব্লগে উল্লেখ করা হয়েছে যে SFT পর্যায়ে কোয়ান্টাইজেশন করা হয়েছে, যেখানে মূলত MXFP4 এবং MXFP8 ব্যবহার করা হয়েছে ওজন এবং এক্টিভেশনের জন্য, অফিসিয়াল বিবৃতি অনুযায়ী "ব্রড হার্ডওয়্যার কম্প্যাটিবিলিটি"। আপনি কি মনে করেন মুনশট অন্য কোনো হার্ডওয়্যারের প্রতি মনোযোগ দেয়?

ম্যাক্স: আমার চীনা অ্যাক্সেলারেটরগুলির একটি তালিকা আছে, যা আপনাকে সেমি অ্যানালিসিস অ্যাক্সেলারেটর মডেলের বিষয়ে আরও জানতে উৎসাহিত করবে। হুয়াওয়ে আইটেন, বাইডু কুনলুন, মেইওয়ানজি, মোয়ার টেমস—সব ধরনের চিপ পেপারে এবং কোডেই দেখা গেছে। চীনা অ্যাক্সেলারেটরে ফ্রন্টিয়ার মডেলগুলি চালানো এখন চীনের জাতীয় অগ্রাধিকার। যদি 2025 সালের শেষের দিকেও আমরা বলি যে Google হল ফ্রন্টিয়ার ল্যাব, তাহলে এখন Moonshot-কেও ফ্রন্টিয়ার ল্যাব বলতে হবে।

জর্ডান: একটা বিষয় বাদ দিয়ে বলি, আমার বাবা চীনে বিজনেস ট্রিপে আছেন, তিনি বলেছেন যে হোটেলগুলো সম্পূর্ণ ভর্তি, কারণ শীঘ্রই সিজিনপিং সেই এলাকায় AI-কে চীনের প্রথম অগ্রাধিকার হিসেবে নিয়ে একটি বক্তব্য দেবেন। আপনি যা বলেছেন, তার অনেকই ঠিক।

জর্ডান: আমি যখন এই মডেলগুলি ব্যবহার করি, তখন আমার সবচেয়ে বড় অনুভূতি হলো, প্রথমত, পুরোপুরি অগ্রণী মডেল এবং max thinking mode ব্যবহার করা এবং medium effort ব্যবহার করা এর মধ্যে পার্থক্য খুঁজে পাওয়া越来越 কঠিন হয়ে পড়ছে। দৈনন্দিন কাজগুলিতে আমি এমন কোনো কিছুই খুঁজে পাই না যা এই মডেলগুলি সমাধান করতে অক্ষম। আমার ডিফল্ট আচরণ হলো সবসময় সবচেয়ে বড়, সবচেয়ে কঠিন মোডটি চালু করা, কারণ আমি Dylan-এর বাজেটকে গুরুত্ব দিই না।

কিন্তু একটি দিক হলো হারনেস নিজেই পণ্যের অংশ। কিমি K3 পরীক্ষা করে আমি প্রথমবারের মতো Open Code, Hermes এবং Pi কে গুরুত্বপূর্ণভাবে পর্যালোচনা করি। হারনেস এখনও পণ্যের অংশ। কিছু সাধারণ বিস্তারিত আমাকে এই মডেলটি অন্যটির চেয়ে বেছে নিতে সাহায্য করে: এটি রিমোট SSH সার্ভারে ইনস্টল করা যায় কি? শর্টকাটগুলি কি সহজে ব্যবহারযোগ্য? আগের কমান্ডগুলি সম্পাদনা করা যায় কি? এই হারনেসের ছোট ছোট বিস্তারিতগুলি আসলে আমি কোথায় token পাঠাব, অর্থাৎ বাজেটটি কোথায় পাঠাব, তা প্রভাবিত করে।

ম্যাক্স: অনেকে টোকেন বাজেট নিয়ে কথা বলে, কিন্তু আপনার কাজের প্রবাহের বর্ণনা থেকে বোঝা যায় যে GLM-এর মাধ্যমে সম্পন্ন করা যায় এমন কাজগুলিও আমি Fable-এর সাথে max intelligence ব্যবহার করতে পছন্দ করি, কারণ ROI এটির মূল্য দেয়। বেঞ্চমার্কগুলি বলে যে অনেকগুলি কাজ GLM-এ স্থানান্তরিত করা যায়, কিন্তু আপনি এখনও Anthropic বা OpenAI-এর মডেলগুলিতেই থাকতে পছন্দ করেন।

জর্ডান: প্রায় তাই। কিন্তু আমি অনেক Slack বট ব্যবহার করি, কিন্তু তাদের পিছনে কোন মডেল চলছে তা আমি জানি না। উদাহরণস্বরূপ, Perplexity-এর Slack ইন্টিগ্রেশন, যদি এটি K3-এ রাউট করতে শুরু করে, GLM-এ রাউট করে, Sonnet-এ রাউট করে, তাহলে আমার কোনো পার্থক্য নেই। আগে ব্যবহারের পরিমাণ দেখেই বুঝতে পারলাম যে OpenAI মডেলগুলি কতটা ব্যবহার হচ্ছে, কারণ এটি নিজেই সিদ্ধান্ত নিচ্ছিল। এই অংশের যৌক্তিকতা হলো harness-এর সিদ্ধান্ত।

ম্যাক্স: এটি বাস্তবে outcome-based pricing-এর একটি প্রবেশার্ধ। যদি কোনো পরীক্ষাগার outcome-based pricing করে, তাহলে সম্ভবত এটি 95% এর বেশি মোট লাভ অর্জন করতে পারে, কারণ আপনি যেসব কাজের জন্য stable pricing দিতে চান, আজকের দিনে সেগুলো মাত্র ছোট অংশেই সম্পন্ন হয়ে যায়।

জর্ডান: দ্বিতীয় বিষয়, আমি মনে করি এই ল্যাবগুলির কোনও ধারণা শেষ হয়ে যায়নি। তারা অসাধারণ মডেল ট্রেন করতে পারে, কোডিং-সাইড RSI-এর জন্য, কিন্তু আমাদের তা মুক্ত করে না, তাদের "চিরস্থায়ী নিম্নবর্গ" বজায় রাখতে। তারা ডিস্টিলেশন চালিয়ে যেতে পারে, আমাদের একটু চেখিয়ে দিতে, একইসাথে ভিডিও জেনারেশন, অডিও-টু-অডিও, ডিপ রিসার্চের মতো অন্যান্য ব্যবহারের অন্বেষণ চালিয়ে যেতে পারে, যা কোডিং-এর সাথে খুব বেশি মিলে যায় না। রোবোটিক্স এবংওয়ার্ল্ড মডেলস্‌ই একটি সহজ দিক। যদি Anthropic-এর লক্ষ্য জ্ঞানভিত্তিক কাজ থেকে শারীরিক কাজের দিকে সরে যায়? বলা যায়, তারা বিশ্বের সবচেয়ে মহান প্রযুক্তি দিয়েও একটি টেকসই,ভালো ROI-এর ব্যবসা গড়তে পারবেনা,আমি এটা বিশ্বাসই করি না।

ম্যাক্স: এগুলো নিয়ে কথা না বললেও, আমি প্রতিদিন এই মডেলগুলো খুব বেশি ব্যবহার করি, আমার সফটওয়্যার ইঞ্জিনিয়ার বন্ধুরা আমার চেয়ে দশগুণ কম ব্যবহার করে এবং দশগুণ কম খরচ করে। একজন Fable ব্যবহারকারী এবং Sonnet ব্যবহারকারী একই পরিমাণে ব্যবহার করে, কিন্তু Fable ব্যবহারকারী দশগুণ বেশি টাকা খরচ করে, 90% মার্জিন, যা ব্যবসার বড় অংশকে সমর্থন করে। যখন এই মানুষগুলো বড় মডেলগুলোতে স্যুইচ করবে এবং আরও বেশি ব্যবহার করবে, তখন চাহিদা আরও বেড়ে যাবে, মডেলগুলোকে আরও ভালো হতেই হবে না। তারপরও আমাকে টেকনোলজির সঙ্গে সম্পর্কহীন প্রতিবেশীদের সঙ্গে কথা বলতে হয়, তাদের মধ্যে আমি 0.1%এরও কম, 0.01%এরও কম, 1000গুণেরও বেশি বৃদ্ধির সম্ভাবনা। Masa-san (মাসা)এর "সোনারহাঁসের সূচকক্রম"এরদিকেই ফিরে যাই।

জর্ডান: তিনি যা বলেছেন যে "এখনও খুব তাড়াতাড়ি," তা সম্পূর্ণ সঠিক, এবং এই কারণেই আমি মনে করি Kimi K3 Anthropic এবং OpenAI-এর নিট নতুন ARR-এর গতি ধীর করবে না। আজ Fable এবং 5.6 ব্যবহারকারীদের মধ্যে যদি কিছু লোক অপরিবর্তনীয়ভাবে Kimi K3-এ স্যুইচ করে, তবুও এই লোকদের সংখ্যা এখনও এই প্রযুক্তির সঙ্গে এখনও গভীরভাবে পরিচিত হয়নি এমন লোকদের দ্বারা পুরোপুরি অতিক্রম করা হবে। এই লোকেরা প্রতিদিন নতুন, উচ্চ ROI-এর ব্যবহারের ক্ষেত্রগুলি আবিষ্কার করছে, এবং তারা এই নতুন সিনেরিওগুলি আনলক করতে 5.6 Soul বা Fable 5-কেই ডিফল্টভাবেই ব্যবহার করবে। আপনি ARR-এর বৃদ্ধির গতি ধীর হতে দেখবেন না।

ম্যাক্স: ভাবুন দেখুন, এই পডকাস্টটি এখনও কতজন সাবস্ক্রাইব করেনি, সেমি অ্যানালিসিসকে ফলো করেনি। আমি গত সপ্তাহে ICML-এ গিয়েছিলাম, আগের সপ্তাহে AI Engineer কনফারেন্সে গিয়েছিলাম, যা মূলত AI-এর জন্য একটি কনফারেন্স, যাদের ৮০% এরও বেশি কখনও সেমি অ্যানালিসিস শোনেনি। আপনি বলছেন আপনি AI শিল্পে কাজ করেন, কিন্তু সেমি অ্যানালিসিসও পড়েননি? আমরা এখনও খুবই আগে।

জর্ডান: এটা তোমার নিজের জন্য একটা অহংকার চেক, ম্যাক্স, শান্ত হও।