2026 জুলাইতে, Moon Shadow কিমি K3 মডেলটি ওপেন-সোর্স করে এবং প্রথমবারের মতো 401 জন অবদানকারীর তালিকা প্রকাশ করে। কোম্পানির সর্বশেষ মূল্যায়ন 31.5 বিলিয়ন ডলারে পৌঁছেছে, টিমের সদস্যসংখ্যা প্রায় 300 জন, যাদের গড় বয়স 30 বছরের কম। প্রতিটি সদস্য গড়ে 7 বিলিয়ন ডলারের মূল্যায়ন বহন করছেন। মূল টিমের মধ্যে রয়েছে তিনজন সহ-প্রতিষ্ঠাতা: অ্যালগরিদম পরিচালক জৌ শিনই, আর্কিটেক্ট উ ইউশিন, CTO জাং ইউতাও, এবং তাঁদের সঙ্গে চিংহুয়া, CMU সহ শীর্ষস্থানীয় বিশ্ববিদ্যালয়গুলির অন্যান্য কোর সদস্যরা। টিমটি MoBA মিক্সড-ব্লক অ্যাটেনশন মেকানিজম, Mooncake ডিকপলড ইনফারেন্স আর্কিটেকচার, Muon অপটিমাইজারের মতো বেসিক টেকনোলজিতে অনেকগুলি নবাচার করেছে, যা FAST 2025-এর মতো স্টোরেজ-সংক্রান্ত শীর্ষকনফারেন্সের 'বেস্ট পেপার'সহ বিভিন্নসম্মানের সম্মানিত। এই 젊া-জিক-টিমটি ফ্ল্যাট ম্যানেজমেন্টের জন্যই বিখ্যাত, 'দীর্ঘ, দ্রুত, সাশ্রয়ী'—এই 3টি 'এনজিনিয়ারিং'效率কে極致তেওপৌঁছেছে,যা 2026-এরপরথেকেচীনাLLMক্ষেত্রেএকটিগুরুভূমিকা ।

লেখক, উৎস: লেইফেঙ্গওয়ে

২৭ জুলাই, মুন অফ দ্য ডার্ক সম্পূর্ণ ইচ্ছাশক্তি প্রকাশ করে কিমি K3-এর পূর্ণাঙ্গ 2.8T মডেলটি ওপেন সোর্স করেছে। প্রযুক্তিগত রিপোর্টের শেষে, তারা প্রথমবারের মতো কিমি K3-এর পিছনের বাস্তব অবদানকারীদের তালিকা প্রকাশ করেছে, আমরা গণনা করেছি, ৪০১ জন সদস্য রয়েছে, যা মুন অফ দ্য ডার্কের প্রতিভাবান দলের একটি সম্পূর্ণ উপস্থিতি।

প্রাথমিক পর্যায়ে কেবল কয়েকশ মিলিয়ন ডলার মূল্যায়ন বিশিষ্ট একটি স্টার্টআপ দল থেকে শুরু করে আজকের প্রকৃত “স্থানীয় বড় মডেলের আলো”-এ পরিণত হয়েছে মাস অফ দ্য ডার্ক, যা এখন বিশ্বব্যাপী টেবিলে Claude Fable 5 এবং GPT-5.6 Sol-এর মতো শীর্ষস্থানীয় মডেলগুলির সাথে “প্রতিদ্বন্দ্বিতা” করতে পারে এমন কয়েকটি গিক দলের মধ্যে একটি।

K3 প্রকাশের সাথে সাথে মুন অফ দ্য ডার্ক এর নতুন মূল্যায়ন 315 বিলিয়ন ডলার, প্রায় 2100 বিলিয়ন চীনা ইয়ুয়ানে পৌঁছেছে, এবং এই 2100 বিলিয়ন ডলারের মূল্যায়নকে সমর্থন করছে একটি অত্যন্ত তরুণ দল।

প্রকাশিত তথ্য অনুযায়ী, মুন অফ দ্য ডার্ক এর প্রায় ৩০০ জনের বেশি কর্মচারী রয়েছে, যাদের গড় বয়স ৩০ বছরের কম, যাদের ৮০% আই-টাইপ। যদি এটি হিসাব করা হয়, তবে প্রতিজনের উপর প্রায় ৭ শতকোটি চীনা ইয়ানের মূল্যায়ন বহন করা হয়।

মুন অফ দ্য ডার্ক সাইডের সংগঠনগত কাঠামো অত্যন্ত সমতল। মুন অফ দ্য ডার্ক সাইডের পাঁচজন প্রতিষ্ঠাতা রয়েছেন, যারা গড়ে প্রত্যেকে ৪০-৫০ জনের সাথে সরাসরি যোগাযোগ করেন। অভ্যন্তরীণভাবে এটি “কোনো পদবী নেই, কোনো KPI নেই, কোনো বিভাগীয় দেয়াল নেই” বলে পরিচিত, এবং কর্মচারীরা যেকোনো সময় বসকে চ্যালেঞ্জ করতে পারে। একটি বিস্তারিত বিষয় হলো, ২০২৫ সালের শুরুতে একটি পুনর্বিবেচনা সভায়, একজন কর্মচারী একটি উদ্ভট প্রস্তাব দেন, যারপর ইয়াং জিলিন সেই প্রস্তাবেরও বেশি উদ্ভটভাবে পদক্ষেপ নেন—তিনি K1 ত্যাগ করে K2-এর দিকে যান।

এই অসাধারণতা কোম্পানির “আত্মা”-তেও প্রকাশ পায়। রক প্রেমী ইয়াং জিলিন মিটিং রুমগুলিকে রোলিং স্টোনস, নিরভানা, রেডিওহেড ইত্যাদি প্রতিষ্ঠিত ব্যান্ডের নামে নামকরণ করেছেন, এমনকি কিমির সদস্যতা প্যাকেজগুলিও অ্যাডাজিও, অ্যালেগ্রো ইত্যাদি সঙ্গীতের শব্দাবলী দিয়ে নামকরণ করা হয়েছে।

মুন অফ দ্য ডার্ক বিশ্বাস করে যে, আজকের যুগে যেখানে ক্যালকুলেশন পাওয়ার এবং ডেটা একরকম হয়ে পড়ছে, তখন "স্বাদ" হল পার্থক্য তৈরির মূল চালিকাশক্তি। এই স্বাদ শুধুমাত্র মডেলের পরিশীলনেই প্রকাশ পায় না, বরং তাদের মানুষের প্রতি নির্বাচনশীলতা এবং আকাঙ্ক্ষায়ও গভীরভাবে প্রতিফলিত হয়।

মুন অফ দ্য ডার্ক সাইড সিইওদের নিয়োগ দেওয়ার পছন্দ করে, বিশেষ করে "উদ্যোক্তা হ্যালো" বা "গেমবলার জিন" সম্পন্ন ব্যক্তিদের। প্রকাশিত তথ্য অনুযায়ী, কোম্পানির ভিতরে কমপক্ষে 50 জন কোনও স্টার্টআপ প্রতিষ্ঠা করেছেন বা তাতে যোগ দিয়েছেন। এবং গত বছর, মুন অফ দ্য ডার্ক সাইড দ্বারা নিয়োগপ্রাপ্ত নতুন কর্মচারীদের মধ্যে 100-এরও বেশি জন অভ্যন্তরীণ সুপারিশের মাধ্যমে আসছেন।

আজ, আমরা তালিকাভিত্তিকভাবে গভীরভাবে অনুসন্ধান করে K3 অবদানকারীদের সম্পর্কে সমস্ত প্রকাশ্য এবং বিশ্বস্ত তথ্য এখানে একত্রিত করেছি। এই শীর্ষস্থানীয় হ্যাকার দলের মূল পটভূমি এবং কঠোর দক্ষতা সম্পূর্ণরূপে প্রকাশিত হয়েছে।

01 কিমি টেকনোলজি সিস্টেমের শীর্ষস্থানীয় ভিত্তি

চৌ শিনযু মুন অফ দ্য ডার্ক সাইডের প্রধান সহ-প্রতিষ্ঠাতা এবং অ্যালগরিদম টিমের প্রধান।

চৌ শিনযু এবং ইয়াং জিলিন আগে থেকেই পরিচিত ছিলেন, একটি আকর্ষণীয় বিস্তারিত হল যে, চৌ শিনযু ছিলেন তসিংহু বিশ্ববিদ্যালয়ের Splay ব্যান্ডের গিটারবাদক, এবং ড্রামার ছিলেন ইয়াং জিলিন।

মুন অফ দ্য ডার্ক এর সাথে যোগ দেওয়ার আগে, জোউ শিনয়ু ম্যাইক্রোভিশনে অ্যালগরিদম প্রোডাকশন এবং মোবাইল মডেল গবেষণা করেছিলেন। তিনি ম্যাইক্রোভিশনের তৎকালীন বেসিক রিসার্চ পরিচালক এবং বর্তমান জিয়ায়ে স্টার্সের চিফ সায়েন্টিস্ট জাং শিয়াংয়ুর সাথে ঘনিষ্ঠভাবে কাজ করেছিলেন এবং হালকা নেটওয়ার্কের প্রসিদ্ধ কাজ ShuffleNet-এর মূল লেখক হিসেবে এটি লিখেছিলেন।

ঝো শিনয়ের মুখ্য গবেষণা ক্ষেত্র হল বড় মডেল অ্যালগরিদমের বড় পরিসরে উৎপাদনের প্রক্রিয়াকরণ, যিনি সবচেয়ে উন্নত ল্যাব অ্যালগরিদমগুলিকে দক্ষতার সাথে এবং কম খরচে বড় পরিসরের উৎপাদন লাইন সিস্টেমে রূপান্তরিত করতে পারেন। তিনি মিক্সড আর্কিটেকচার অপ্টিমাইজেশনেও দক্ষ, এবং Reddit কমিউনিটির টেকনিক্যাল AMA-তে প্রথমবারের মতো Kimi K3 KDA মিক্সড আর্কিটেকচারের সাথে NoPE MLA-এর তুলনামূলক সুবিধা বিশ্লেষণ করেন, যা প্রমাণ করে যে এই আর্কিটেকচারটি প্রি-ট্রেনিং এবং রিইনফোর্সমেন্ট লার্নিংয়ে কম কম্পিউটেশনাল শক্তি ব্যবহার করে এবং দ্রুততর।

উ যুয়েন মাসের অন্ধকারের সহ-প্রতিষ্ঠাতা একজন। এছাড়াও, তিনি কৃত্রিম বুদ্ধিমত্তা ক্ষেত্রের একজন শীর্ষ বিশেষজ্ঞ এবং স্টার আর্কিটেক্ট, যিনি ডিপ লার্নিং, কম্পিউটার ভিশন (CV) এবং বড় ভাষা মডেল (LLM)-এর নীচের ইঞ্জিনিয়ারিং আর্কিটেকচার এবং ইনফ্রাস্ট্রাকচারে গভীর দক্ষতা রাখেন।

ও যুয়েন এবং ইয়াং জিলিনের শিক্ষাগত পটভূমি একই, যারা উভয়েই তসিংহু বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞান বিভাগ থেকে স্নাতক ডিগ্রি অর্জন করেন এবং তারপর মার্কিন যুক্তরাষ্ট্রের কার্নেগি মেলন বিশ্ববিদ্যালয় (CMU)-এ উচ্চশিক্ষা লাভ করেন। তিনি মেটা AI গবেষণা পরীক্ষাগার (FAIR)-এ গবেষণা ইঞ্জিনিয়ার হিসেবে কাজ করেছিলেন, যেখানে তিনি কম্পিউটার দৃষ্টির অনেকগুলি মাইলফলকীয় প্রযুক্তির নেতৃত্ব দিয়েছিলেন এবং অবদান রেখেছিলেন।

মুন অফ দ্য ডার্ক সাইড প্রতিষ্ঠা করার আগেই উ ইয়ুসিন ডিপ লার্নিং এবং কম্পিউটার ভিশন ক্ষেত্রে দুটি শিল্প-মানক বড় অবদান রেখেছেন:

একটি হল ডিটেকট্রন২-এর প্রধান প্রতিষ্ঠাতা এবং ডেভেলপারদের মধ্যে একজন, যে প্রকল্পটি বিশ্বব্যাপী কম্পিউটার দৃশ্য গবেষণা জগতকে পুনর্গঠন করেছে এবং বিশ্বব্যাপী হাজার হাজার ভিজুয়াল মডেল এবং অবজেক্ট ডিটেকশন প্রকল্পের জন্য “সাধারণ ভিত” হয়ে উঠেছে।

এর চেয়ে বেশি গুরুত্বপূর্ণ হলো, তিনি 2018 সালে শীর্ষ গবেষক হে কাইমিং-এর সাথে গ্রুপ নরমালাইজেশন সম্পর্কিত একটি প্রামাণিক গবেষণাপত্র প্রকাশ করেন, যা ECCV 2018-এর জন্য সেরা পেপার সম্মাননা (Best Paper Honorable Mention) অর্জন করে।

এই ক্লাসিকটি ছোট নমুনা প্রশিক্ষণের ক্ষেত্রে পারম্পরিক ব্যাচ নরমালাইজেশনের মারাত্মক বাধাকে সম্পূর্ণভাবে ভেঙে দিয়েছে। এই এক-দুই লাইনের নিম্নস্তরীয় উদ্ভাবন দিয়ে “বিশ্বব্যাপী AI প্রশিক্ষণের নিয়মগুলি পুনর্লিখন” করার ক্ষমতা বাও ইয়ুশেনকে ওপেন-সোর্স বিশ্বে অত্যন্ত উচ্চ প্রযুক্তিগত আকর্ষণ দিয়েছে।

মুন অফ দ্য ডার্ক সাইডে, তিনি হলেন যিনি ভিত্তি স্থাপন করেছিলেন। তিনি বড় মডেল আর্কিটেকচার এবং প্রশিক্ষণ দক্ষতা উন্নয়নে গভীরভাবে অংশগ্রহণ করেছিলেন এবং বিশ্বব্যাপী PyTorch ডেভেলপার কনফারেন্সে উপস্থিত হয়ে বিশ্বব্যাপী Kimi-এর ওপেন-সোর্স ইনফ্রাস্ট্রাকচারের মূল অবদানকে বিশদভাবে ব্যাখ্যা করেছিলেন।

উ যুয়েনের বিশেষজ্ঞতা, কিমির পরবর্তী প্রজন্মের মাল্টিমোডাল দীর্ঘ টেক্সট সীমানা আক্রমণের শেষ টুকরো পূরণ করেছে। তিনি উচ্চ কার্যক্ষমতা বিশিষ্ট ডিপ লার্নিং সিস্টেম অপ্টিমাইজেশনে দক্ষ, যা বিশাল মডেলগুলিকে ট্রিলিয়ন প্যারামিটারের মধ্যে আরও স্থিতিশীলভাবে, দ্রুততরভাবে এবং কম মেমোরি ব্যবহার করে চালানোর সমস্যা সমাধান করে। এটিই হলো কিমির দীর্ঘ টেক্সট এবং উচ্চ সমান্তরালতার অধীনে স্মুথ অভিজ্ঞতা বজায় রাখার জন্য প্রযুক্তিগত দৃঢ় প্রতিরোধ।

তিনি ডিপ লার্নিং-এর একটি মাইলস্টোন কাজ MoCo v1-এর প্রধান লেখকদের একজন হিসেবে, কিমির কাছে শুধুমাত্র শিল্পের সবচেয়ে শক্তিশালী মস্তিষ্ক (প্রাকৃতিক ভাষা বোঝা) নয়, বরং বাস্তব পদার্থবিদ্যার বিশ্বকে গভীরভাবে বুঝতে পারে এমন চোখ (মাল্টিমোডাল ভিজুয়াল) বাড়তে শুরু করেছে।

জাং যুতাও মুন অফ দ্য ডার্ক এর সহ-প্রতিষ্ঠাতা এবং সিটিও হিসেবে কাজ করেন। তিনি ইয়াং জিলিনের সাথে তসিংহুয়া বিশ্ববিদ্যালয়ের সহপাঠী এবং জিজ্ঞাপের প্রতিষ্ঠাতা টাং জিয়ে তাঁর শিক্ষক।

২০১৬ সালে, চাং ইউতাও এবং ইয়াং জিলিন একসাথে "সাইক্লিক ইন্টেলিজেন্স" প্রতিষ্ঠা করেন, তারপর তিনি ইয়াং জিলিনের সাথে "মুনের অন্ধকার পাশ" প্রতিষ্ঠা করেন। যদি ইয়াং জিলিন মুনের অন্ধকার পাশের "নেভিগেটর" হন, তবে চাং ইউতাও হলেন সেই প্রধান ইঞ্জিনিয়ার যিনি "ইন্টেলিজেন্স" নামক এই বিশাল জাহাজের ডাইনামিক সিস্টেমকে চরম মাত্রায় সমন্বিত করেন। কিমি দীর্ঘ টেক্সট, জটিল যুক্তি এবং এজেন্ট টাস্ক বাস্তবায়নে বিপ্লবী উন্নতি করতে পারেছে, এতে চাং ইউতাওয়ের অবদান অপরিসীম।

মানসিক অন্ধকারে যোগ দেওয়ার আগে, তিনি জ্ঞান গ্রাফ এবং হেটারোজিনিয়াস ডেটা ফিউশন ক্ষেত্রে কয়েকটি "শিল্প-স্তরের" গুরুত্বপূর্ণ অর্জন করেছিলেন।

তার সবচেয়ে পরিচিত প্রযুক্তিগত অবদানগুলির একটি হল প্রযুক্তিগত দায়িত্ব পালন করে AMiner নামক বৈজ্ঞানিক বিশাল ডেটা বিশ্লেষণ প্ল্যাটফর্মের উন্নয়ন পরিচালনা। বিশ্বব্যাপী কোটি কোটি গবেষকদের সেবা প্রদানকারী এই প্ল্যাটফর্মের পিছনের মূল হেটারোজিনিয়াস ডেটা ফিউশন প্রযুক্তির মূল ক্ষমতা হল জাং ইউতাওয়ার চিংহুয়া বিশ্ববিদ্যালয়ে ডক্টরেট পড়াকালীন সময়ে তিনি অংশগ্রহণকৃত ভিত্তি। 'অসংখ্য জ্ঞানকে মেশিন কীভাবে গ্রহণ, বুঝতে এবং অনুসন্ধান করে'—এই গভীর বোধই Kimi-এর অতি-দীর্ঘ টেক্সট প্রসেসিং ক্ষমতার প্রযুক্তিগত ভিত্তি গঠন করে।

তিনি KDD, CIKM ইত্যাদি কম্পিউটার বিজ্ঞানের শীর্ষ কনফারেন্সগুলিতে অসংখ্য উচ্চ-উদ্ধৃত পেপার প্রকাশ করেছেন। তিনি শুধুমাত্র জ্ঞান গ্রাফের মাধ্যমে AI-কে "লজিক্যাল সেন্স" দেওয়ার দক্ষতা রাখেন না, বরং সাইক্লিক ইন্টেলিজেন্স যুগেই "হাজার সাইক্ল জিরো-শট AI প্ল্যাটফর্ম" ডেভেলপ করার নেতৃত্ব দেন, যা কোম্পানির সার্ভিস স্কেলে বড় মডেলগুলির ব্যাপক বাস্তবায়নকে সম্ভব করেছে।

জাং যুতাওয়ের গবেষণা ক্ষেত্র ছিল AI-এর পরিবর্তনের প্রতিটি পদক্ষেপ—যেখানে AI শুধু “কথা বলতে পারে” থেকে “কাজ করতে পারে” এই রূপান্তরটি সঠিকভাবে পূর্বাভাস করা হয়েছিল। তিনি দীর্ঘ কনটেক্সট উইন্ডো প্রযুক্তি এবং ডাইনামিক এক্সটেনশন নেটওয়ার্ক আর্কিটেকচারের উন্নয়নে কেন্দ্রীভূত হন, যা AI-কে বিশাল পরিমাণের তথ্যের মধ্যে “সচেতন” রাখতে সহায়তা করে।

2026 সালের জুলাইয়ের সর্বশেষ প্রযুক্তি শিখির উপর, তিনি শিল্পের প্রকৌশলীকরণের তিনটি প্রযুক্তিগত প্রবাহকে স্পষ্টভাবে ব্যাখ্যা করেন: 2023 সাল ছিল “কীভাবে জিজ্ঞাসা করবেন” এর Prompt যুগ, 2024 সালে এটি “পর্যাপ্ত তথ্য প্রদান” এর Context যুগে উন্নীত হয়, এবং 2026 সালে, বড় মডেলগুলি অবশেষে Harness প্রকৌশলের নতুন পর্যায়ে প্রবেশ করে। এখন, তিনি তাঁর দলকে নিয়ে “কীভাবে রানটাইম পরিবেশ তৈরি করবেন, এবং AI-এর সমস্যা হলে এটি নিজেই সমাধান করতে পারবে” — Agent-এর চূড়ান্ত যুদ্ধক্ষেত্রটি সমাধানের দিকে অগ্রসর হচ্ছেন।

হসিনরান মুনশিট এআই-এর প্রকৌশল উপাধ্যক্ষ এবং এআই ইনফ্রাস্ট্রাকচার প্রধান।

তিনি ফুল-স্ট্যাক লো-লেভেল ডেভেলপমেন্টের অভিজ্ঞতা রাখেন, যেখানে পূর্বে মেগভিশনে মেগএঞ্জিন (টিয়ান ইয়ুয়ান) ডিপ লার্নিং ফ্রেমওয়ার্ক এবং বিলিয়ন-লেভেল ভেক্টর রিট্রিভাল সিস্টেমের গবেষণা ও উন্নয়নের দায়িত্ব পালন করেছিলেন। বর্তমানে, তিনি মুন অফ দ্য ডার্ক মডেল ট্রেনিং, ইনফারেন্স এবং ইনফ্রাস্ট্রাকচারের সমগ্র আর্কিটেকচার ডিজাইনের দায়িত্ব পালন করছেন।

বড় মডেল ইনফারেন্স প্রান্তে, কিমির দীর্ঘ টেক্সট ব্যবসায়িক পরিস্থিতির জন্য, তিনি এবং তাঁর দল কেভ ক্যাশেকে কেন্দ্র করে মুনকেক নামক একটি বিচ্ছিন্ন ইনফারেন্স আর্কিটেকচার ডিজাইন করেছেন। এই অর্জনটি প্রিফিল (Prefill) এবং ডিকোড (Decode) পর্যায়গুলিকে সম্পূর্ণভাবে বিচ্ছিন্ন করে, লাখ লাখ দীর্ঘ কনটেক্সটের জন্য গ্রাফিক্স মেমোরি এবং I/O চাপকে হালকা করার জন্য FAST 2025-এর শীর্ষস্থানীয় স্টোরেজ কনফারেন্সের সেরা পেপার পুরস্কার লাভ করেছে।

একইসাথে, মোবা (মিক্সড ব্লক অ্যাটেনশন) মেকানিজমের প্রধান লেখকদের একজন হিসেবে, তিনি ব্লক-লেভেল অ্যাটেনশন বিভাজনের মাধ্যমে কিমির ট্রেনিং এবং ইনফারেন্স উভয় প্রক্রিয়ায় ব্যয় কমিয়ে দক্ষতা বাড়িয়েছেন।

মডেল ট্রেনিং প্রান্তে, তিনি ওপেন-সোর্স প্রকল্প মুনলাইট এবং এর নিম্নস্তরের অপ্টিমাইজার মিউনের উন্নয়নে অংশগ্রহণ করেছিলেন, যেখানে তিনি ম্যাট্রিক্স অর্থোগোনালাইজেশন ব্যবহার করে প্রচলিত AdamW কে প্রতিস্থাপন করেছিলেন, যার ফলে ডিস্ট্রিবিউটেড ট্রেনিংয়ে ট্রিলিয়ন প্যারামিটার মডেলগুলির কম্পিউটেশনাল খরচ কমেছে।

এই বৃহৎ পরিসরের দীর্ঘ টেক্সট ট্রাফিকের জন্য বিতরণকৃত স্টোরেজ এবং ইনফারেন্সের অভিজ্ঞতার ভিত্তিতে, তিনি GOSIM China গ্লোবাল ওপেন সোর্স কনফারেন্সে বক্তৃতা দেওয়ার আমন্ত্রণ পেয়েছিলেন। তার পেশাগত ফোকাস সর্বদা ফুল-স্ট্যাক লার্জ মডেল আর্কিটেকচারের উপর কেন্দ্রীভূত, যা কম FLOPs এবং KV Cache ব্যবহারের মাধ্যমে উচ্চ-বুদ্ধিমত্তাসম্পন্ন দীর্ঘ টেক্সট ইনফারেন্সকে সমর্থন করে।

মুন অফ দ্য ডার্ক রিজনিং সিস্টেমের প্রধান হিসাবে, তিনি FAST 2025-এর সেরা পেপারের কী লেখক এবং Kimi-এর দীর্ঘ টেক্সট রিজনিং আর্কিটেকচারের ইঞ্জিনিয়ারিং বাস্তবায়নের প্রধান প্রযুক্তিগত সদস্য। Kimi k1.5, Kimi-VL, K2 থেকে Kimi Linear, Kimi-Audio পর্যন্ত, এবং MoBA, Muon, AttnRes সহ প্রধান আর্কিটেকচার পেপারগুলিতে তাঁর নাম ছয়টি প্রজন্মের প্রযুক্তির সাথে জড়িত। তাঁর সমস্ত কাজ একটি কেন্দ্রীয় লক্ষ্যকে কেন্দ্র করে: সিস্টেম ডিজাইনের মাধ্যমে দক্ষতা অর্জন করা, যাতে বড় মডেলগুলি প্রকৃতপক্ষে সহজলভ্য হয়।

মুন অফ দ্য ডার্ক এর সাথে যোগ দেওয়ার আগে, হে ওয়েরান উচ্চ কার্যক্ষমতা গণনার ক্ষেত্রে বহু বছর ধরে কাজ করেছেন। তিনি তসিংহুয়া বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞান বিভাগ থেকে স্নাতক হন, এবং প্রাথমিক সময়ে চিপ রাউটিং এবং লোয়ার-লেভেল পারফরম্যান্স অপ্টিমাইজেশনের উপর কাজ করেছেন; কুয়াংশির সময়ে তিনি নিজস্ব AI চিপ এবং লো-বিটওয়িডথ নিউরাল নেটওয়ার্কের উপর কাজ করেছেন, যেখানে তিনি মুন অফ দ্য ডার্কের সহ-প্রতিষ্ঠাতা জুও শিনইয়ুর সাথে একইসময়ে কাজ করেছেন—জুও শিনইয়ুই হলেন ক্লাসিক OCR টেক্সট ডিটেকশন সলিউশন EAST-এর প্রথম আবিষ্কারক।

2023 সালে মুন অফ দ্য ডার্ক সাইড-এ যোগ দেওয়ার পর, তিনি বছরের পর বছর জমা করা সিস্টেম ইঞ্জিনিয়ারিংয়ের অভিজ্ঞতা সম্পূর্ণরূপে ট্রিলিয়ন প্যারামিটারের মডেলের ইনফারেন্স সার্ভিসে বাস্তবায়িত করেন।

তার সবচেয়ে প্রতিনিধিত্বকারী অবদান হল KVCache বিচ্ছিন্ন ইনফারেন্স আর্কিটেকচার মুনকেক। এই সিস্টেমটি প্রচলিত ইনফারেন্স সার্ভিসের আর্কিটেকচারের ধারণা ভাঙল, যা বড় মডেলের সবচেয়ে বেশি VRAM খরচকারী মেমোরি ক্যাশেকে আলাদা করে কেন্দ্রীয়ভাবে স্কিডিউল করে, গ্লোবাল ক্যাশে রিউজ এবং সূক্ষ্ম রাউটিংয়ের মাধ্যমে, ক্যালকুলেশন ক্ষমতা অপরিবর্তিত রেখে, Kimi-এর রিকোয়েস্ট ক্ষমতা 75% এরও বেশি বৃদ্ধি পায়। 2024 সালের QCon কনফারেন্সে তিনি প্রকাশ করেন যে, এই আর্কিটেকচার এবং নিরন্তর ইঞ্জিনিয়ারিং অপটিমাইজেশনের ভিত্তিতে, Kimi ইনফারেন্স ক্লাস্টারের ইউনিট খরচ 1 বছরে 20-এরও বেশি হারে হ্রাস পায়।

২০২৫ সালের ফেব্রুয়ারিতে, মুনকেক সম্পর্কিত পেপারটি FAST কনফারেন্সের এরিক রিডেল বেস্ট পেপার অ্যাওয়ার্ড জিতেছে—এটি স্টোরেজ সিস্টেম ক্ষেত্রের মধ্যে সবচেয়ে বড় সম্মানগুলির একটি। এর ইঞ্জিনিয়ারিং মূল্য আরও ভালভাবে প্রকাশ পায় যখন পেপারটি আনুষ্ঠানিকভাবে পুরস্কার পাওয়ার আগেই এই আর্কিটেকচারটি Kimi-এর প্রডাকশন এনভায়রনমেন্টে হাজার হাজার নোডে স্থিতিশীলভাবে চলছিল এবং প্রতিদিন হাজার হাজার বিলিয়ন token-এর ইউজার রিকোয়েস্ট প্রসেস করছিল।

যদিও K3 টেকনোলজি রিপোর্টে ব্যক্তিগত দায়িত্বের বিস্তারিত বিবরণ উল্লেখ করা হয়নি, তবুও অনেকগুলি মৌলিক অগ্রগতি তাঁর দলের প্রযুক্তিগত প্রবাহকে অনুসরণ করে: KDA+MLA হাইব্রিড আর্কিটেকচারের অধীনে প্রাচীন প্রিফিক্স ক্যাশে ব্যর্থতার সমস্যার সমাধানে, দলটি vLLM সম্প্রদায়কে অফিসিয়াল অ্যাডাপ্টেশন ইমপ্লিমেন্টেশনটি অবদান রাখে; লক্ষ লক্ষটোকেনের দীর্ঘ অনুরোধের জন্য, ক্লাস্টারটি ক্যাশে-অবগত রাউটিং স্কিডিউলিং পলিসি ব্যবহার করে, যা ক্যাশে পুনঃব্যবহারের দক্ষতা সর্বোচ্চকরণ করে। ফলস্বরূপ K3-এর পারফরম্যান্সটি Claude Fable 5-এর তুলনায় 38% মাত্র ইনফারেন্স খরচের সাথে আসে, এবং KVCache অপ্টিমাইজেশন, প্রিফিক্স ক্যাশে, এবং খরচ নিয়ন্ত্রণ—এগুলি সবই Mooncake সিস্টেমের মূল বিষয়।

চিপ ওয়েয়িং থেকে ট্রিলিয়ন-স্কেল মডেল ইনফারেন্স পর্যন্ত, হে ওয়েরানের প্রযুক্তিগত পথ সর্বদা স্পষ্ট: সিস্টেমের দক্ষতা নিয়ে কঠোরভাবে কাজ করা, ইঞ্জিনিয়ারিং ডিজাইন ব্যবহার করে কমপ্যুটেশনাল খরচ কমানো। যদি শীর্ষস্থানীয় অ্যালগরিদম গবেষকদের মাধ্যমে Kimi-এর ক্ষমতার সীমা বাড়ানো হয়েছে, তবে তিনি এবং তাঁর দল এই ফ্ল্যাগশিপ-লেভেলের ক্ষমতা বাস্তবে বাস্তবায়িত করেছেন, যাতে আরও বেশি সাধারণ ব্যবহারকারীরা এটি সহজেই ব্যবহার করতে পারেন।

02 মধ্যবর্তী আক্রমণ · বাস্তবায়ন-স্তরের মূল কর্মচারী

ডু ইউলুন মুন অফ দ্য ডার্ক এর প্রিট্রেনিং এবং স্কেলিং দিকে দায়িত্ব পালন করেন।

তিনি মার্কিন যুক্তরাষ্ট্রের ইলিনয় বিশ্ববিদ্যালয়, শিকাগো ক্যাম্পাস এবং কার্নেগি মেলন বিশ্ববিদ্যালয়ের কৃত্রিম বুদ্ধিমত্তা বিভাগ থেকে স্নাতক হন। তারপর সাইক্লিক ইন্টেলিজেন্সে যোগ দেন, যেখানে তিনি গবেষক এবং এআই ল্যাবের পরিচালক হিসেবে দায়িত্ব পালন করেন, এবং মুন অফ দ্য ডার্কনেসের প্রধান প্রযুক্তিগত প্রতিষ্ঠাতা।

মডেল বেস প্রিট্রেইনিং এবং স্কেলিং দিকের মূল দায়িত্বপ্রাপ্ত হিসাবে, তাঁর প্রযুক্তিগত অবদান Kimi-এর সমস্ত প্রধান ফ্ল্যাগশিপ বেস মডেল এবং VL, অডিও সহ সমস্ত মাল্টিমোডাল আর্কিটেকচার ডিজাইনের সম্পূর্ণ ধারাবাহিকতায় বিদ্যমান।

তিনি অধীনস্থ প্রযুক্তিগত বিপ্লবের মধ্যে অ্যাটেনশন রেসিডুয়ালস, মোবা (মিক্সড ব্লক অ্যাটেনশন) এবং প্রি-ট্রেইনিং অপটিমাইজার পেপার "মুওন ইজ স্কেলেবল ফর এলএলএম ট্রেইনিং"-এর সহ-লেখক। তাঁর কাজের মূল কেন্দ্র হল: ব্লক-লেভেল অ্যাটেনশন বিভাজন এবং ট্রেইনিং ফ্লো পুনঃগঠনের মাধ্যমে অতি-গভীর নেটওয়ার্কে সংকেত হ্রাস কমানো, যা ট্রিলিয়ন-স্কেল মডেলের ডিস্ট্রিবিউটেড ট্রেইনিং দক্ষতা উল্লেখযোগ্যভাবে বৃদ্ধি করে।

ইঞ্জিনিয়ারিং ওপেন সোর্স স্তরে, তিনি MoonshotAI-এর অফিসিয়াল ওপেন সোর্স প্রজেক্টের সক্রিয় কোর কন্ট্রিবিউটর। কোড কোঅপারেশন রেকর্ড অনুযায়ী, ডু ইউলুন অ্যালগরিদম বিশেষজ্ঞ সু জিয়ানলিন এবং রিজনিং সিস্টেমের দায়িত্বপ্রাপ্ত হে ওয়েরানের সাথে উচ্চ ফ্রিকোয়েন্সির কোঅপারেটিভ ডেভেলপমেন্ট এবং কোড রিভিউতে জড়িত, যারা একসাথে Kimi-এর মিলিয়ন-স্তরের দীর্ঘ টেক্সট এবং ফুল-মডাল দক্ষ ট্রান্সফারের নীচের টেকনোলজি সাইকেল গঠন করেছেন।

জাং যু মুন অফ দ্য ডার্ক এর কোর আর্কিটেক্ট এবং বড় ভাষা মডেলের দক্ষ, স্কেলেবল এবং হার্ডওয়্যার-বান্ধব আর্কিটেকচার ডিজাইনে বিশেষজ্ঞ। ট্রান্সফরমার এবং লিনিয়ার অ্যাটেনশন পথের প্রবক্তা হিসেবে, তিনি দীর্ঘ টেক্সটের “যত লম্বা, তত ধীর এবং অত্যন্ত ব্যয়বহুল” ইঞ্জিনিয়ারিং শ্রাপের সমাধানের জন্য কাজ করছেন।

শিক্ষাগত এবং প্রকৌশল অনুশীলনে জাং ইউয়ের অর্জন অসংখ্য। তিনি শুধুমাত্র রেজিডুয়াল কানেকশন পেপার "Attention Residuals"-এর সহ-প্রথম লেখকই নন, বরং মুন অফ দ্য ডার্ক এর দক্ষ মডেল আর্কিটেকচারের প্রধান গবেষকও।

তিনি ওপেন সোর্স করা Kimi Linear মডেলের নেতৃত্ব দিয়েছিলেন, যা প্রথমবারের মতো লিনিয়ার অ্যাটেনশন মেকানিজমকে অত্যন্ত দীর্ঘ কনটেক্সট টাস্কে সফলভাবে প্রয়োগ করে বিপ্লবী দক্ষতা বৃদ্ধি ঘটিয়েছে। এছাড়াও, তিনি জিহুয়ানসহ প্রযুক্তিগত সম্প্রদায়গুলিতে শেয়ার করা “Kimi Linear ডেভেলপমেন্ট জার্নি” এখনও অসংখ্য লার্জ মডেল ডেটা ইঞ্জিনিয়ারদের দ্বারা অপরিহার্য গাইডলাইন হিসাবে বিবেচিত।

7B মডেলের নিম্নস্তরের বিপ্লব থেকে শুরু করে একটি যুদ্ধে ট্রিলিয়ন প্যারামিটারের বড় মডেলকে বিশ্বের শীর্ষস্থানীয় দলে নিয়ে আসা পর্যন্ত, জাং ইউ শিক্ষাগত ও শিল্প ক্ষেত্রের মধ্যে সহজেই চলাফেরা করেছেন এবং শীর্ষস্থানীয় শিক্ষাগত সম্মেলন এবং ওপেন-সোর্স সম্প্রদায়ে অসংখ্য কঠিন কোড রেখে গিয়েছেন।

এই সিরিজের অগ্রগতি তার কোর টেকনোলজিতে গভীর প্রচেষ্টার ফলাফল: দক্ষ মডেল আর্কিটেকচার ডিজাইনে, তিনি মডেলের গভীরতা বাড়ানোর সময় যোগাযোগ এবং মেমোরি বটলনেক অপ্টিমাইজেশনের উপর ফোকাস করেছেন; ট্রেনিং ডাইনামিক্স এবং দক্ষতা বৃদ্ধির ক্ষেত্রে, তিনি বেসিক রেসিডুয়াল ফ্লোকে পুনঃগঠন করে PreNorm-এর কারণে বড় মডেলে গ্রেডিয়েন্ট ডাইলুশন এবং হিডেন স্টেট এক্সপ্লোশনের মৌলিক সমস্যা সমাধান করেছেন।

লাই গুওকুন হলেন ইয়াং জিলিনের তসিংহু এবং কার্নেগি মেলন বিশ্ববিদ্যালয়ের দ্বৈত অ্যালুমনি।

তিনি কিমি দলের সবচেয়ে বেশি গবেষণাপত্র লেখা গবেষকদের একজন, যার দশটিরও বেশি গবেষণাপত্র রয়েছে। তিনি শুধুমাত্র মুন অফ দ্য ডার্কের “জিনিয়াস ক্লাব”-এর প্রতিনিধি নন, কিমি K3-এর প্রধান অবদানকারী, বরং একজন শিক্ষাগত বিশ্বে “সংজ্ঞায়িত” অর্জনের মালিক।

মহিনার অন্ধকারের সাথে যোগ দেওয়ার আগে, লাই গুওকুন এনএলপি (প্রাকৃতিক ভাষা প্রক্রিয়াকরণ) ক্ষেত্রে দুটি শিল্প-মানের বড় অবদান রেখেছেন।

একটি হল বিশ্বের সবচেয়ে বড় মেশিন রিডিং কম্প্রিহেনশন ডেটাসেটগুলির একটি তৈরি করা, "RACE ডেটাসেট", যা চীনা ছাত্রদের ইংরেজি পরীক্ষার প্রশ্ন ব্যবহার করে AI প্রশিক্ষণ দিয়েছে এবং বিশ্বব্যাপী মেশিন রিডিং কম্প্রিহেনশনের জন্য একটি মানদণ্ড হয়ে উঠেছে।

আরও অবাক করনীয় বিষয় হলো, তিনি স্নাতক পর্যায়ে লিখিত রিকমেন্ডেশন অ্যালগরিদম সম্পর্কিত পেপার “Explicit factor models for explainable recommendation” 2024 সালে, অর্থাৎ দশ বছর পরেও SIGIR টাইম-টেস্টেড অ্যাওয়ার্ড পেয়েছেন, যা তথ্য অনুসন্ধান ক্ষেত্রের মধ্যে সবচেয়ে উচ্চতর সম্মানগুলির একটি এবং যা দশ বছর আগে প্রকাশিত, সময়ের পরীক্ষা পার করা এবং শিল্পে দীর্ঘস্থায়ী প্রভাব ফেলা পেপারগুলির জন্য প্রদান করা হয়।

মাসের অন্ধকারে, স্নাতক পর্যায়েই 'আগামী দশকের প্রযুক্তি পথনির্দেশ সংজ্ঞায়িত' করার ক্ষমতা রাখা এমন ব্যক্তি একা নন।

লাই গুওকুনের প্রতিশ্রুতি কিমির মূল ক্ষমতার সাথে খুব ভালোভাবে মেলে, যেমন তিনি «মেশিন রিডিং কম্প্রিহেনশন»-এ দক্ষ, যা AI-কে দীর্ঘ ডকুমেন্ট বুঝতে এবং প্রশ্নের উত্তর দিতে শেখায়, যা কিমির দীর্ঘ টেক্সট ক্ষমতার মূল প্রযুক্তিগত ভিত্তি।

তিনি CMU-এর সময়ে প্রি-ট্রেনড বড় মডেলকে তাঁর গবেষণার একটি প্রধান কেন্দ্র হিসাবে নিয়েছিলেন, এছাড়াও নিউরাল আর্কিটেকচার সার্চে দক্ষতা অর্জন করেছিলেন, যেখানে তিনি AI-কে কীভাবে স্বয়ংক্রিয়ভাবে ভালো নেটওয়ার্ক স্ট্রাকচার ডিজাইন করতে শেখানোর উপর গবেষণা করেছিলেন। এছাড়াও, ব্যাখ্যাযোগ্য রিকমেন্ডেশন সিস্টেমের উপর কাজ করেছিলেন, যাতে AI শুধুমাত্র কনটেন্ট রিকমেন্ড করেই থাকবে না, বরং ব্যবহারকারীকে বুঝিয়ে দেবে যে কেন এই কনটেন্টটি রিকমেন্ড করা হয়েছে।

গো হাইচিং (Haiqing Guo) মুন অফ দ্য ডার্ক কিমি টিমের প্রাথমিক কোর রিসার্চ অ্যান্ড ডেভেলপমেন্ট সদস্য, যিনি টিমের প্রাচীন সদস্য হিসেবে কিমির সব প্রজন্মের কোর প্রকল্পের রিসার্চ ও আপডেটে সম্পূর্ণভাবে অংশগ্রহণ করেছেন।

সার্বজনীনভাবে যাচাইযোগ্য অংশগ্রহণকারী প্রকল্পগুলি হল Kimi k1.5 টেকনিক্যাল রিপোর্ট, Kimi K2 টেকনিক্যাল রিপোর্ট, অ্যাটেনশন রেজিডুয়াল (AttnRes) কোর আর্কিটেকচার পেপার এবং Kimi K3 টেকনিক্যাল রিপোর্ট। এর মধ্যে AttnRes হল Kimi K3-এর দুটি কোর আর্কিটেকচার ইনোভেশনের মধ্যে একটি।

স্বাক্ষর ট্রেস অনুযায়ী, তিনি Kimi-এর k1.5 থেকে K3 পর্যন্ত তিনটি ফ্ল্যাগশিপ ভার্সনের পূর্ণাঙ্গ পুনর্বিকাশ চক্রকে কভার করেছেন এবং বহু প্রজন্মের পণ্যের মূল গবেষণা ও উন্নয়ন প্রক্রিয়ার সাথে জড়িত ছিলেন, যা Kimi টেকনোলজি টিমের একজন স্থায়ী মূল অংশগ্রহণকারী। বর্তমানে প্রকাশ্যে তাঁর নির্দিষ্ট পদ এবং বিশদ গবেষণা বিভাগের তথ্য প্রকাশিত হয়নি।

চেন গুয়াংয়ু হয়তো মুন অফ দ্য ডার্কের সবচেয়ে যুবক গবেষক, ২০০৯ সালে জন্মগ্রহণকারী, ১৭ বছর বয়সী, যিনি এলন মাস্ককে এক্স-এ প্রকাশ্যে "Impressive" বলে অভিহিত করতে বাধ্য করেছিলেন।

যখন মুন অফ দ্য ডার্ক সাইড ২.৮ ট্রিলিয়ন প্যারামিটারের বিশ্বব্যাপী আতঙ্কিত ফ্ল্যাগশিপ Kimi K3 চালু করল, তখন তিনি প্রযুক্তিগত বিশেষজ্ঞ সু জিয়ানলিন এবং অন্যান্যদের সাথে সমান স্থান পেয়েছিলেন, Kimi K3-এর কোর আর্কিটেকচারের ভিত্তি হিসেবে কাজ করা《Attention Residuals》-এর সহ-প্রথম লেখক হিসেবে।

তিনি অংশগ্রহণ করেছেন অ্যাটেনশন রেসিডুয়ালস মেকানিজমে, যা দশকের পর দশক ধরে ডিপ লার্নিং ক্ষেত্রে ব্যবহৃত হয়ে আসছে স্ট্যান্ডার্ড রেসিডুয়াল কানেকশনকে সরাসরি পুনর্গঠন করেছে, "শিক্ষযোগ্য গভীর অ্যাটেনশন" ব্যবহার করে মডেলকে বুদ্ধিমানের মতো "পিছনে ফিরে তাকানোর" ক্ষমতা দিয়েছে। এই মৌলিক পুনর্গঠনটি সরাসরি মডেলের স্কেলিং দক্ষতা 1.25 গুণ বাড়িয়েছে, যার ফলে চীনা কোম্পানিগুলি ট্রিলিয়ন-স্কেলের শীর্ষ কম্পিউটিং প্রতিযোগিতায় কম খরচে দ্রুততরভাবে এগিয়ে যাওয়ার সক্ষমতা অর্জন করেছে। তিনি "মুন অফ দ্য ডার্ক"এ যোগদানের গল্পটি অত্যন্ত অসাধারণ। একবছর আগে, তিনি এমনকি Transformer-এর কথাও জানতেন না, কিন্তু একটি হ্যাকাথনে "মানবজাতির তৃতীয়টি মেকানিক্যাল অ্যাসিস্টিভ হ্যান্ড" ধারণাটির জন্য সিলিকনভ্যালির একটি স্টার্টআপের attention-এর শিকড়ে পড়েন। 7সপ্তাহেরও কমসময়ে, Kimi-এর টিম তাঁকে সম্পূর্ণভাবে খুঁজেপেয়েছিল এবং সরাসরি কোম্পানির কোর রিসার্চ গ্রুপের সদস্যপদের প্রস্তাবটি দিয়েছিল। চাকরির প্রথমসপ্তাহেই, তিনি সবকিছুকেই ৩য়ভাবেই 48-ঘণ্টা Kimi-এর internal hackathon-এর overall champion-এর title-টি ।

কিমির প্রযুক্তিগত রিপোর্টে, ডু আংআং-এর নাম সবসময় সবচেয়ে আগে থাকে। তিনি মাসের অন্ধকারের মাল্টিমোডাল সিস্টেমের একজন প্রধান কর্মচারী এবং কিমি প্রযুক্তিগত রিপোর্টের মধ্যে কমই যারা পাঁচটি প্রজন্মের সমস্ত সম্মিলনে উপস্থিত ছিলেন। তিনি দুইবার দলের নামের পরে প্রথম স্থান অধিকার করেছেন, যা অনুমান করা হয় যে তিনি কিমি K3-এর ভিজুয়াল ডোমেইনে কেন্দ্রীয় অবদান রেখেছেন।

মুন অফ দ্য ডার্ক এর সাথে যোগ দেওয়ার আগে, ডু আংআং কম্পিউটার ভিশন ক্ষেত্রে দুটি গুরুত্বপূর্ণ ভিত্তি গড়ে তুলেছিলেন।

একটি অধ্যয়ন করা হয়েছে জলের নিচের মাইক্রোস্কোপিক দৃশ্য নিয়ে। চীনা সমুদ্র বিশ্ববিদ্যালয়ের জলের নিচের দৃশ্য ল্যাবে স্নাতক ও স্নাতকোত্তর পড়াশোনা করেছি, যেখানে আমি অত্যন্ত কঠিন প্লাঙ্কটন মাইক্রোস্কোপিক ছবি শ্রেণীবদ্ধকরণের উপর কাজ করেছি—যেখানে ধোঁয়াশা, নমুনার অভাব এবং প্রজাতির অত্যন্ত সূক্ষ্ম পার্থক্য থাকা মাইক্রোস্কোপিক ছবিতে AI-কে সমুদ্রের সবচেয়ে ছোট জীবকে সঠিকভাবে চিহ্নিত করতে হয়।

২০২০ সালে তিনি গ্লোবাল ওশনস-এ প্রথম লেখক হিসেবে সংশ্লিষ্ট গবেষণা প্রকাশ করেন, যেখানে দ্বিতীয় ক্রমের বৈশিষ্ট্য মডেলিং ব্যবহার করে ফাইন-গ্রেনেড ক্লাসিফিকেশনের সমস্যা সমাধান করেন, যা ল্যাবের দশকব্যাপী এই দিকের গবেষণার মধ্যে একমাত্র মাস্টার্স ছাত্র প্রথম লেখক হিসেবে অবদান রাখা ফলাফল।

তার কুয়ানশি টেকনোলজির সময়কালের আউটপুটই শিল্পে বেশি প্রভাব ফেলেছে। তিনি যে মাল্টি-পারসন পোজ এস্টিমেশন গবেষণায় অংশ নিয়েছিলেন, তা ECCV 2020 নামক কম্পিউটার ভিশনের শীর্ষ কনফারেন্সে গ্রহণ করা হয়েছিল এবং এই পেপারটির মোট 300-এরও বেশি উদ্ধৃতি রয়েছে, যা বডি পোজ এস্টিমেশন ক্ষেত্রের একটি গুরুত্বপূর্ণ রেফারেন্স হয়ে উঠেছে। এই কাজের সহযোগীদের তালিকায় সুন জিয়ান, চাং শিয়াঙউইয়ের মতো ভিশন ফিল্ডের নেতৃত্বদানকারীরা থাকলেও, পরবর্তীতে মুন অফ দ্য ডার্কনেসের সহ-প্রতিষ্ঠাতা জোউ শিনইউও অন্তর্ভুক্ত ছিলেন।

কিমির সাথে যোগ দেওয়ার পর তিনি ভিজুয়াল এনকোডার ডিজাইন, মাল্টিমোডাল অ্যালাইনমেন্ট এবং ভিজুয়াল এজেন্ট প্রযুক্তির উপর গভীরভাবে কাজ করেছেন, বিশেষ করে উচ্চ-রেজোলিউশন ইমেজ বুঝতে, দীর্ঘ-সময়কালের ভিডিও বিশ্লেষণ এবং মাল্টিমোডাল রিইনফোর্সমেন্ট লার্নিংয়ে দক্ষতা রাখেন, যা কিমির ন্যাটিভ মাল্টিমোডাল ক্ষমতার মূল প্রযুক্তিগত ভিত্তি। এছাড়াও, তার দক্ষতা বড় মডেল ট্রেনিং ইনফ্রাস্ট্রাকচারের দিকেও নেমেছে—অপটিমাইজার স্থিতিশীলতা থেকে শুরু করে এজেন্ট ডেটা সিনথেসিস পর্যন্ত, যা নিম্নস্তরের ভিজুয়াল অ্যালগরিদম থেকে শুরু করে মডেল ট্রেনিং, এবং শেষপর্যন্ত উচ্চস্তরের এজেন্টগুলির বাস্তবায়ন—এইসবকেই একটি পূর্ণাঙ্গ ক্ষমতা হিসেবে গড়ে তুলেছে।

২০২৫ সালে তিনি প্রথম লেখক হিসেবে Kimi-VL ওপেন-সোর্স মাল্টিমোডাল মডেল প্রকাশ করেন, যার স্ব-উন্নয়নকৃত MoonViT ভিজুয়াল এনকোডার মূলত অত্যন্ত উচ্চ রেজোলিউশন ইনপুটকে সমর্থন করে এবং 128K দীর্ঘ কনটেক্সট ক্ষমতার সাথে যুক্ত হয়ে Kimi-কে প্রথমবারের মতো দীর্ঘ ভিডিও এবং দীর্ঘ ডকুমেন্টের মাল্টিমোডাল দীর্ঘ টেক্সট বুঝতে সক্ষম করে তোলে, যা Kimi-এর সমস্ত মাল্টিমোডাল ক্ষমতার জন্য প্রযুক্তিগত ভিত্তি প্রতিষ্ঠা করে।

K2 পর্যায়ে, তিনি MuonClip অপ্টিমাইজার ডেভেলপমেন্টে গভীরভাবে অংশগ্রহণ করেন, যেখানে QK-Clip মেকানিজমের সাহায্যে বড় মডেল ট্রেনিংয়ের স্পাইক সমস্যা সমাধান করা হয়, যা 15.5 ট্রিলিয়ন টোকেনের অতি-বৃহৎ ট্রেনিংয়ের জন্য "শূন্য লস স্পাইক" অর্জনে সহায়তা করেছে এবং ট্রেনিংয়ের ক্যালকুলেশন খরচ ও ঝুঁকি উল্লেখযোগ্যভাবে কমিয়েছে; K3 পর্যায়ে, তিনি পরিচালিত স্মার্ট এজেন্ট ডেটা সিনথেসিস পাইপলাইনটির মাধ্যমে মডেলটি স্বয়ংক্রিয়ভাবে উচ্চ-গুণমানযুক্ত ট্রেনিং ডেটা তৈরি করতে পারে, যা K3-কে প্রোগ্রামিং, স্মার্ট এজেন্টসহ কঠিন টাস্কগুলিতে বিশ্বের শীর্ষস্থানীয়দের মধ্যে অন্তর্ভুক্ত করতে গুরুত্বপূর্ণ ডেটা সমর্থন প্রদান করেছে।

কিমির জন্য, তাঁর অবদান বহুমাধ্যম ক্ষমতার সম্পূর্ণ উন্নয়ন পথে বিস্তৃত।

কু বোয়েন (Bowen Qu / Brian Qu) মডেল পোস্ট-ট্রেনিং টিমের সদস্য। তিনি চীনা হুয়াজং বিজ্ঞান ও প্রযুক্তি বিশ্ববিদ্যালয়ের ইলেকট্রনিক্স, ইনফরমেশন এবং কমিউনিকেশন কলেজ থেকে স্নাতক এবং বেইজিং বিশ্ববিদ্যালয়ের ইলেকট্রনিক্স কলেজ থেকে স্নাতকোত্তর ডিগ্রি অর্জন করেছেন। তার গবেষণার মুখ্য দিকগুলি হল মাল্টিমডাল লার্জ মডেল, যার মধ্যে রয়েছে মাল্টিমডাল রিইনফোর্সমেন্ট লার্নিং, ভিজুয়াল-ল্যাঙ্গুয়েজ মডেল, AI এজেন্ট এবং AIGC কনটেন্ট কোয়ালিটি ইভালুয়েশন।

মুন অফ দ্য ডার্ক এর সাথে যোগ দেওয়ার পর, চুয়ান বোয়েনের মূল কাজ হল Kimi সিরিজ মডেলের মাল্টিমোডাল ক্ষমতা গঠন, Kimi-K2.5 প্রকল্পে গভীরভাবে অংশগ্রহণ এবং ন্যাটিভ মাল্টিমোডাল রিইনফোর্সমেন্ট লার্নিংয়ের দিকে গবেষণা করা। Kimi-K2.5 হল মুন অফ দ্য ডার্ক দ্বারা চালুকৃত ন্যাটিভ মাল্টিমোডাল ইন্টেলিজেন্ট এজেন্ট মডেল, যার মোট প্যারামিটার সাইজ 1T এবং সক্রিয় প্যারামিটার 32B।

কু বোয়েন দ্বারা পরিচালিত ন্যাটিভ মাল্টিমোডাল রিইনফোর্সমেন্ট লার্নিং সিস্টেমটি প্রচলিত মাল্টিমোডাল মডেলের সাধারণ পথ—যেখানে প্রথমে ভিজুয়াল সুপারভাইজড ফাইন-টিউনিং সম্পন্ন করা হয় এবং তারপর রিইনফোর্সমেন্ট লার্নিং শুরু হয়—কে পরিহার করে, এবং শূন্য ভিজুয়াল সুপারভাইজড ফাইন-টিউনিংয়ের উপর ভিত্তি করে শুধুমাত্র টেক্সট-ভিত্তিক রিজনিং মডেল থেকে শুরু করে, ভিজুয়াল রিইনফোর্সমেন্ট লার্নিংয়ের মাধ্যমে সরাসরি ভিজুয়াল রিজনিং ক্ষমতা অর্জনের একটি প্রশিক্ষণ পদ্ধতি প্রস্তাব করে, যাতে নিম্ন-গুণগত ভিজুয়াল ডেটা মডেলের মূলভাবে ভাষাগত রিজনিং ক্ষমতাকে ব্যাহত না করে।

চু বোয়েনের গবেষণা AIGC কন্টেন্ট কোয়ালিটি ইভালুয়েশন দিকে শুরু হয়েছিল, এবং সংশ্লিষ্ট ফলাফলগুলি যথাক্রমে ICME 2024, CVPRW 2024 ইত্যাদি আন্তর্জাতিক কনফারেন্সে প্রকাশিত হয়েছে। ICME 2024-এ প্রকাশিত সংশ্লিষ্ট পেপারটি তখনকার AI-জেনারেটেড ইমেজ মূল্যায়ন সিস্টেমের সমস্যা—যা শুধুমাত্র দৃশ্যমান সৌন্দর্য এবং ক্ল্যারিটির দিকেই মনোযোগ দিত, AI-জেনারেটেড কন্টেন্টের ইউজার ইনস্ট্রাকশনের সাথে মিল বিবেচনা করত না—এই সমস্যার সমাধানের জন্য টেক্সট প্রম্পটকে AI-জেনারেটেড ইমেজ কোয়ালিটি মূল্যায়ন সিস্টেমের অংশ হিসাবে অন্তর্ভুক্ত করার প্রস্তাব দেয়। এটি ভিজুয়াল কোয়ালিটি এবং ইনস্ট্রাকশন ফলো-আপ উভয়কেই কভার করে এমন একটি মূল্যায়ন মানদণ্ড তৈরি করে, যা AI-জেনারেটেড কন্টেন্ট মূল্যায়নের সমগ্রতা এবং মানবীয় পরিলক্ষণের সাথে সঙ্গতির মাত্রা বৃদ্ধি করে।

চু বোয়েন কিমি সিরিজের মাল্টিমোডাল ভার্সনের অবদানকারীদের তালিকায়ও রয়েছেন। যুব গবেষক হিসেবে, চু বোয়েনের গবেষণা পথটি মূল্যায়ন ব্যবস্থা গঠন থেকে শুরু করে মডেলের ক্ষমতা নির্মাণের দিকে এগিয়েছে এবং তারপর উচ্চতর এজেন্ট ক্ষমতা গবেষণায় প্রয়োগ করা হয়েছে—এই ফলাফলগুলি শিল্পের বাস্তব প্রয়োজনীয়তার সাথে ঘনিষ্ঠভাবে সম্পর্কিত এবং উৎপাদন-প্রস্তুত মডেলগুলির পুনরায় উন্নয়নের জন্য সরাসরি পরিষেবা প্রদান করে।

কিমি কে৩-এর ৪০০-এরও বেশি অবদানকারীর তালিকায় লু এনজে সবচেয়ে আগের স্থানে নাম লেখাননি, কিন্তু তাঁর কাজ অসাধারণভাবে সঠিক ছিল। প্রতিটি অর্জনই বড় মডেলের বাস্তবায়নের মূল সমস্যাগুলিকে লক্ষ্য করেছে, এবং তিনিই কিমির দক্ষ কম্পিউটিং সিস্টেমের প্রধান গঠনকারী।

লু এনজের গবেষণার দিকটি তিনটি শব্দে সঠিকভাবে সারসংক্ষেপ করা যায়: দীর্ঘ, দ্রুত, অর্থনৈতিক। মূল লক্ষ্য হলো বড় মডেলগুলিকে কম খরচে, দ্রুততর গতিতে দীর্ঘ টেক্সট প্রক্রিয়াকরণের জন্য সক্ষম করা। কিমির জন্য, তিনি প্রশিক্ষণ থেকে উপসংহার পর্যন্ত সম্পূর্ণ লিঙ্কের দক্ষতা উন্নয়নের দায়িত্ব বহন করেন।

২০২৫ সালের ফেব্রুয়ারিতে, তিনি প্রথম লেখক হিসেবে MoBA মিক্সড ব্লক অ্যাটেনশন মেকানিজম প্রকাশ করেন, যা MoE-এর এক্সপার্ট চয়েস ধারণাকে অ্যাটেনশন লেয়ারে স্থানান্তরিত করে, যাতে মডেলটি অনুরোধ প্রক্রিয়াকরণের সময় শুধুমাত্র সবচেয়ে সংশ্লিষ্ট কনটেক্সট ব্লকগুলি ক্যালকুলেশনের জন্য কল করে। ৯৫% স্পারসিটির অধীনে এটি ফুল-অ্যাটেনশনের সমান ফলাফল দেয়, যা মিলিয়ন টোকেন ইনফারেন্সকে ৬.৫ গুণ এবং ক্রোড়টোকেন ইনফারেন্সকে ১৬ গুণ ত্বরান্বিত করে, যা Kimi-এর অতি-দীর্ঘ কনটেক্সট ক্ষমতার নিম্নস্তরের আর্কিটেকচারকে সুদৃঢ়ভাবে সমর্থন করে।

প্রকাশের দিনে এই পেপারটি DeepSeek-এর NSA পেপারের সাথে একই সময়ে উপস্থিত হয় এবং সেই বছর দেশীয় বড় মডেল সম্প্রদায়ের সবচেয়ে বেশি মনোযোগ আকর্ষণকারী প্রযুক্তিগত সংঘর্ষ হয়ে ওঠে; NeurIPS 2025-এ Spotlight পেপার হিসাবে গ্রহণের আগেই এই সমাধানটি Kimi-এর উৎপাদন পরিবেশে প্রায় এক বছর ধরে দীর্ঘ কনটেক্সট ইউজার অনুরোধগুলি স্থিরভাবে বহন করেছিল।

এছাড়াও, MoBA থেকে Kimi Linear পর্যন্ত KDA মনোযোগ সহ তিনি হার্ডওয়্যার ইনফারেন্স দক্ষতা নিয়ে সম্পূর্ণ আর্কিটেকচার ডিজাইনে অংশগ্রহণ করেছেন; ট্রেনিং পাশে, তিনি Muon অপ্টিমাইজারের ডিস্ট্রিবিউটেড বাস্তবায়নে অংশগ্রহণ করেছেন, যা মেমোরি ব্যবহারকে অপ্টিমাইজ করে এবং যোগাযোগের খরচকে দক্ষভাবে কমিয়েছে, ফলে বড় মডেল ট্রেনিংয়ের কম্পিউটেশনাল খরচ প্রকৃতপক্ষে কমিয়েছে। AttnRes এবং K1.5, K2, Kimi-VL-এর মতো অনেকগুলি প্রজন্মের টেকনিক্যাল রিপোর্টসহ, তাঁর পেপারগুলি দক্ষ বড় মডেলের সম্পূর্ণ লিঙ্কলেজ টেকনোলজির সম্পূর্ণ কভারেজ দেয়।

টিমের ভিতরে, তিনি MoBA পেপারের যোগাযোগ লেখকদের একজন চিউ জিয়েজং-এর সাথে নিয়মিত জুটি গঠন করেন, একজন আক্রমণাত্মকভাবে ল্যান্ড করেন, অন্যজন দিকনির্দেশনা নিয়ন্ত্রণ করেন, এবং তাদের সমন্বয় অত্যন্ত সুসংগঠিত।

ওয়াং ইউজি মুনশট এআই-এর একজন গবেষক এবং কিমি সিরিজের প্রযুক্তিগত রিপোর্টের মধ্যে সবচেয়ে বেশি উল্লিখিত স্বাক্ষরকারীদের একজন।

2025 এর জানুয়ারিতে K1.5 থেকে 2026 এর জুলাইতে Kimi K3 পর্যন্ত, তাঁর নাম এই কোম্পানির প্রায় প্রতিটি প্রযুক্তিগত ফাইলে উপস্থিত, যা ভিজুয়াল, অডিও, অনুধাবন আর্কিটেকচার, ট্রেনিং অপ্টিমাইজার, ফ্ল্যাগশিপ মডেল এবং অগ্রণী AI ঝুঁকি পরিচালনা কাঠামোকে কভার করে।

তিনি সিয়ান ইলেকট্রনিক বিজ্ঞান ও প্রযুক্তি বিশ্ববিদ্যালয় থেকে স্নাতক এবং তসিংহু বিশ্ববিদ্যালয়ের ইলেকট্রনিক ইঞ্জিনিয়ারিং বিভাগ থেকে ডক্টরেট সম্পন্ন করেন; মেঘ গবেষণাগারে যোগদানের পর তিনি গবেষণা প্রকৌশলী হিসাবে কাজ করেন; ২০২৪ সালে মুন অফ দ্য ডার্ক এ গবেষক হিসাবে যোগদান করেন এবং এখনও সেখানে কাজ করছেন।

মান্ডা যোগ দেওয়ার আগে, তাঁর গবেষণা কম্পিউটেশনাল ফটোগ্রাফি এবং লোয়ার-লেভেল ভিজুয়ালের উপর কেন্দ্রীভূত ছিল। প্রতিনিধিত্বমূলক অবদানগুলির মধ্যে রয়েছে: ECCV 2020-এ প্রথম লেখক হিসাবে মোবাইল-ভিত্তিক RAW ইমেজ নয়েজ রিডাকশন পেপার প্রকাশ; এই দিকটি এখনও মোবাইল ইমেজিং-এর একটি মানদণ্ডের কাজ। NTIRE 2019-এর রিয়েল-ইমেজ ডিনয়জিং চ্যালেঞ্জের raw-RGB ট্র্যাকে কুয়াংশি টিমের সদস্য হিসাবে বিশ্বব্যাপী চ্যাম্পিয়ন হওয়া; EAST (CVPR 2017, 2500-এরও বেশি উদ্ধৃতি) এর মতো OCR-এর ক্লাসিক কাজগুলিতে সহ-লেখক হিসাবে অবদান রাখা।

মুন অফ দ্য ডার্ক সময়ে, তিনি ১০টি প্রযুক্তিগত দলিলে স্বাক্ষর করেছেন, যার মধ্যে রয়েছে: k1.5, K2, K3, Kimi-VL, Kimi-Audio, MoBA, Muon, Kimi Linear, এবং চারটি আর্কিটেকচার ও দক্ষতা পেপার—Attention Residuals—এবং অগ্রণী AI ঝুঁকি ব্যবস্থাপনা কাঠামো।

উল্লেখযোগ্য যে, কোম্পানির চারটি সম্পূর্ণ কাঠামো এবং দক্ষতা পেপারের সমস্তই তাঁকে লেখক হিসাবে অন্তর্ভুক্ত করে, যা প্রায় চারশোজন অবদানকারীর তালিকায় দুর্লভ। K3-এ তাঁর নির্দিষ্ট দায়িত্বগুলি এখনও প্রকাশিত হয়নি।

মাও শাওগুয়াং হলেন কিমি এজেন্ট টেকনোলজি লাইনের প্রধান সদস্য, যিনি K2, K2-Thinking, K2.5 এবং K3 চারটি ফ্ল্যাগশিপ প্রজেক্টের বিকাশে সম্পূর্ণভাবে অংশগ্রহণ করেছেন এবং এজেন্ট শিল্পের দুটি প্যারাডাইম শিফটের সম্পূর্ণ অভিজ্ঞতা রাখা বিরল গবেষকদের মধ্যে একজন।

মুন অফ দ্য ডার্ক এর আগে, তিনি দেশের প্রথম প্রজন্মের এজেন্ট বাস্তবায়নকারীদের মধ্যে একজন ছিলেন।

ক্লিয়ার কম্পিউটার বিজ্ঞানে মাস্টার্স ডিগ্রি অর্জন করেন, বিশ্ববিদ্যালয়ে তাঁর র্যাঙ্ক ছিল শীর্ষ ০.২% এবং জাতীয় বৃত্তি পান। তিনি যথাক্রমে হংকং ক্রিশ্চিয়ান ইউনিভার্সিটির গবেষণা সহকারী এবং মাইক্রোসফট এশিয়া রিসার্চ ইনস্টিটিউটের স্পিচ গ্রুপে ইন্টার্নশিপ করেন। স্নাতকোত্তর ডিগ্রি অর্জনের পর তিনি মাইক্রোসফটে প্রায় ছয় বছর কাজ করেন, যেখানে তিনি গবেষণা প্রকৌশলী থেকে সিনিয়র রিসার্চ অ্যান্ড ডেভেলপমেন্ট ইঞ্জিনিয়ারে পরিণত হন।

2023 এর শুরুতে TaskMatrix.AI এর ডেভেলপমেন্টে অংশগ্রহণ করেন, যেখানে ChatGPT কে লক্ষ লক্ষ API ক্ষমতা সংযুক্ত করা হয়; তারপর সোলো পারফরম্যান্স প্রম্পটিং পদ্ধতি প্রস্তাব করেন, যা একটি মডেলকে একাধিক ভূমিকা পালন করে একাধিক বুদ্ধিমত্তা সহযোগিতা অনুকরণ করতে সক্ষম করে, এই প্রযুক্তিটি Microsoft 365 Word-এ বাস্তবায়িত হয়।

এটি এজেন্টের "ফ্রেমওয়ার্ক যুগ" — সমস্ত ক্ষমতা বাহ্যিক টুলগুলির সংমিশ্রণ এবং প্রম্পট দ্বারা নির্দেশিত হয়, এবং তিনিই এই প্রযুক্তি পথের প্রত্যক্ষদর্শী এবং নির্মাতা।

কিন্তু এই পথটি নিজের হাতে অতিক্রম করেছেন মাও শাওগুয়াং, তিনিই প্রথম পুরনো প্যারাডাইমের বাধা চেনেন। ২০২৫ সালের জুনে, তিনি জিহুয়ে একটি শিল্প আত্মসমর্পণ লিখেছিলেন: "এই দিকটি আরও কম মজাদার হয়ে পড়ছে, কিছুটা ত্বরান্বিত পতনের অনুভূতি হচ্ছে।"

2025 সালের ফেব্রুয়ারিতে মুন অফ দ্য ডার্ক এ যোগ দেওয়ার পর, তিনি সম্পূর্ণভাবে “মডেল হিসাবে এজেন্ট” এন্ড-টু-এন্ড পথে সরে যান। মাত্র চার মাসের মধ্যে তিনি Kimi-এর প্রথম Agent পণ্য Kimi Researcher-এর বিতরণে অংশগ্রহণ করেন:

কোনো প্রক্রিয়া ডিফল্টের সহায়তা ছাড়াই শুধুমাত্র এন্ড-টু-এন্ড রিইনফোর্সমেন্ট লার্নিং দিয়ে প্রশিক্ষিত, একটি একক কাজের গড়ে ২৩টি ধাপের যুক্তিসহ কাজ সম্পন্ন করে, ২০৬টি ওয়েবপেজ স্বয়ংক্রিয়ভাবে স্ক্যান করে, নিয়মিত উদ্ধৃতি সহ একটি দশহাজার শব্দের গবেষণা প্রতিবেদন তৈরি করে, HLE বেঞ্চমার্কে ২৬.৯% স্কোর অর্জন করে এবং সেই সময়ের বিশ্বসর্বোচ্চ পর্যায়ের রেকর্ড ভাঙে। তিনি এই পণ্যের অফিসিয়াল টেকনিক্যাল ডিসক্রিপশনের দুইজন সাইনড লেখকের মধ্যে একজন।

তারপরে K2 থেকে K3 পর্যন্ত চারটি ফ্ল্যাগশিপ প্রোজেক্টের গবেষণা ও উন্নয়নে তিনি সম্পূর্ণভাবে গভীরভাবে অংশগ্রহণ করেন। HLE ইনডেক্স 8.6% থেকে বেড়ে 26.9% হয়, এই প্রায় সম্পূর্ণরূপে শক্তিশালী শিক্ষা দ্বারা পরিচালিত পারফরম্যান্স কার্ভটি তাঁর নতুন প্রযুক্তির পথের ফলাফল।

বড় মডেলগুলির জন্য বাহ্যিক API দিয়ে ক্ষমতা বাড়ানোর থেকে শুরু করে মডেলগুলিকে স্বয়ংক্রিয়ভাবে টুল ব্যবহার করতে এবং জটিল কাজগুলি স্বাধীনভাবে সম্পন্ন করতে শেখানো পর্যন্ত, মাও শাওগুয়াংয়ের গত দশকের ক্যারিয়ারের পথটি ঠিকই Agent শিল্পের “সংযোজন এবং সংমিশ্রণ” থেকে “মূলতঃ বিকশিত”-এর পূর্ণ বক্ররেখা চিত্রিত করে। পুরনো পদ্ধতির সাথে সক্রিয়ভাবে অংশগ্রহণ করেছেন এবং নতুন পথও নিজেই তৈরি করেছেন—তিনি শিল্পের সম্পর্কে যে মূল্যায়ন করেন, তার পিছনে সবচেয়ে শক্তিশালী বাস্তবায়নের ফলাফলই রয়েছে।

চিন রুয়ু হলেন তসিংহু বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞান বিভাগের MADSys ল্যাবরেটরিতে পড়ুয়া ডক্টরাল ছাত্র, যিনি প্রফেসর জাং মিংশিংয়ের অধীনে অধ্যয়ন করছেন। তাঁর গবেষণার মূল ফোকাস হল দক্ষ মেশিন লার্নিং সিস্টেম, যা বড় পরিসরের ডিস্ট্রিবিউটেড লার্জ ল্যাঙ্গুয়েজ মডেল ইনফারেন্স সার্ভিস এবং রিইনফোর্সমেন্ট লার্নিং রোলআউট সিস্টেমের দুটি দিককে কভার করে।

কিন রুয়ি এবং মুন অফ দ্য ডার্ক দলের সহযোগিতায় বিকাশকৃত মুনকেক, একটি KVCache-কেন্দ্রিক ডিকাপ্লড ইনফারেন্স আর্কিটেকচার। এই আর্কিটেকচারটি Prefill এবং Decode পর্যায়কে পৃথক ক্লাস্টারে চালানোর মাধ্যমে বিভক্ত করে, এবং GPU ক্লাস্টারের অব্যবহৃত CPU, মেমোরি এবং SSD সম্পদগুলিকে একটি ডিস্ট্রিবিউটেড ক্যাশে পুলের মধ্যে একীভূত করে। এই অর্জনটি FAST 2025-এর স্টোরেজ ক্ষেত্রের শীর্ষ কনফারেন্সে Erik Riedel সেরা পেপার পুরস্কার লাভ করেছে।

মুনকেক হল একটি প্রোডাকশন-লেভেল সার্ভিস প্ল্যাটফর্ম যা বাস্তবায়িত হয়েছে, এবং গবেষণাপত্রের সারাংশে প্রথমেই উল্লেখ করা হয়েছে যে "মুনকেক হল কিমির জন্য সার্ভিং প্ল্যাটফর্ম।" বাস্তব ব্যবসায়িক লোডের অধীনে, মুনকেক কিমির অনুরোধ প্রক্রিয়াকরণ ক্ষমতা 75% বৃদ্ধি করে; দীর্ঘ কনটেক্সট পরিস্থিতিতে, কার্যকর অনুরোধ প্রক্রিয়াকরণ ক্ষমতা 59% থেকে 498% পর্যন্ত বৃদ্ধি পায়। বর্তমানে এই সিস্টেমটি হাজার হাজার নোডে ডিপ্লয় করা হয়েছে এবং প্রতিদিন 100 বিলিয়নেরও বেশি টোকেন প্রক্রিয়াকরণ করে।

২০২৪ সালে, মুন অফ দ্য ডার্ক এবং ক্লিংহুয়া বিশ্ববিদ্যালয়ের MADSys ল্যাব মিলে মুনকেক প্রকল্পটি ওপেন-সোর্স করে (ওপেন-সোর্স রিপোজিটরি kvcache-ai/Mooncake), এখন পর্যন্ত প্রকল্পটির GitHub Star সংখ্যা 6000 এর বেশি। সংশ্লিষ্ট ডেটা এবং তথ্যের জন্য arXiv পেপার (নম্বর 2407.00079), ক্লিংহুয়া কম্পিউটার সায়েন্স ডিপার্টমেন্টের অফিসিয়াল বিজ্ঞপ্তি এবং প্রকল্পের ওপেন-সোর্স রিপোজিটরি দেখুন।

মুনকেকের পরে, চিন রুয়িয়ের গবেষণা যুক্তিসঙ্গত সিস্টেমের দিকে ক্রমাগত গভীর হয়। তিনি প্রথম লেখক হিসাবে সম্পাদিত Seer পেপারটি OSDI 2026-এ নির্বাচিত হয়, যা শক্তিশালী শিক্ষার রোলআউট পারফরম্যান্স বাধা সমাধানের জন্য রোলআউট বিভাজন, কনটেক্সট-অনুভূত স্কেডিউলিং এবং গ্রুপড স্পিউলেটিভ ডিকোডিং প্রযুক্তির মাধ্যমে এন্ড-টু-এন্ড রোলআউট থ্রুপুট 2.04 গুণ পর্যন্ত বৃদ্ধি করে এবং লং-টেইল ল্যাটেন্সি 72% থেকে 94% পর্যন্ত কমিয়েছে। অন্য একটি প্রথম লেখকের পেপার Prefill-as-a-Service, KVCache-এর ক্রস-ডেটা সেন্টার শেয়ারিংয়ের উপর ভিত্তি করে পরবর্তী প্রজন্মের ইনফারেন্স আর্কিটেকচারের ডিজাইন ধারণা প্রস্তাব করে।

কিন রুয়িও K3 প্রকল্পের অবদানকারীদের তালিকায় উপস্থিত রয়েছেন। বড় মডেলের পণ্য পারফরম্যান্স দুটি দক্ষতার উপর নির্ভর করে: মডেল গবেষণা মডেলের ক্ষমতার সীমানা নির্ধারণ করে, এবং সিস্টেম ইঞ্জিনিয়ারিং উচ্চ সমান্তরালতা পরিস্থিতিতে সেবার উপলব্ধতা এবং পরিচালনা খরচ নির্ধারণ করে।

বর্তমানে বড় মডেল শিল্পের প্রতিযোগিতা শিক্ষণ ক্ষমতার প্রতিযোগিতা থেকে ধীরে ধীরে সেবা প্রকৌশল ক্ষমতার প্রতিযোগিতার দিকে বিস্তৃত হচ্ছে। একজন ডক্টরাল ছাত্র হিসাবে, কিন রুয়ি এই ক্ষেত্রে শীর্ষ কনফারেন্সের সেরা পেপার মানের ফলাফল উৎপাদন করতে পারেন, যার মূল কারণ হলো তাঁর গবেষণা সরাসরি উৎপাদন পরিস্থিতির দিকে মনোনিবেশ করে এবং ফলাফলগুলি বাস্তব ব্যবসায়িক সিস্টেমে বাস্তবায়িত হয়।

মুন অফ দ্য ডার্ক সাইড কিমি টিমের প্রধান গবেষক এবং ডেভেলপার, যার গবেষণা পথ কম্পিউটেশনাল বায়োলজি, রিকমেন্ডেশন সিস্টেম এবং বড় মডেল—এই তিনটি ক্ষেত্রকে কভার করে, এবং কিমির সমস্ত প্রজন্মের কোর মডেলের টেকনোলজি আপগ্রেডে সম্পূর্ণভাবে অংশগ্রহণ করেছেন।

তিনি প্রাথমিকভাবে তসিংহু বিশ্ববিদ্যালয়ের ক্রস-ডিসিপলিনারি ইনফরমেশন ইনস্টিটিউটে চিয়ান-ইয়াং দলে এআই-ভিত্তিক ওষুধ গবেষণায় কাজ করেছিলেন। 2020 থেকে 2021 এর মধ্যে, তিনি ইনফ্লুয়েঞ্জা ওষুধের পুনঃনির্ধারণ ফ্রেমওয়ার্ক গবেষণায় অংশগ্রহণ করেন, যা যথাক্রমে bioRxiv প্রিপ্রিন্ট এবং জার্নাল "Signal Transduction and Targeted Therapy"-এ প্রকাশিত হয়, এবং নিউক্লিওক্যাপসিড প্রোটিন-সংক্রান্ত ফলাফলগুলি "Protein & Cell"-এ প্রকাশিত হয়।

2022 থেকে 2023 সাল পর্যন্ত, ইয়ুয়ান ইনমিং হুয়াওয়ে নোআহ আর্ক ল্যাবে কাজ করেন, যেখানে তিনি রিকমেন্ডেশন সিস্টেমের দিকে ফোকাস করেন এবং তাঁর গবেষণা বিভিন্ন আন্তর্জাতিক শীর্ষস্থানীয় শৈক্ষিক কনফারেন্সে প্রকাশিত হয়। তিনি প্রথম লেখক হিসাবে একটি মাল্টি-বিহেভিয়ার সিকোয়েন্স রিকমেন্ডেশন সংক্রান্ত পেপার SIGIR 2022-এ নির্বাচিত হন, এবং অন্যান্য সহযোগিতামূলক গবেষণা CIKM 2022 এবং WWW 2023-এ নির্বাচিত হয়।

মুন অফ দ্য ডার্ক এ যোগ দেওয়ার পর, ইয়ুয়ান এনমিং কিমির বহু প্রজন্মের কোর মডেল এবং টেকনোলজি প্রকল্পগুলির গভীরভাবে অংশগ্রহণ করেছেন। প্রকাশিত এবং যাচাইযোগ্য নামসহ প্রকল্পগুলির মধ্যে রয়েছে: Kimi k1.5 রিইনফোর্সমেন্ট লার্নিং টেকনিক্যাল রিপোর্ট, MoBA টেকনোলজি রিসার্চ, Kimi-VL টেকনিক্যাল রিপোর্ট, Kimi K2 লার্জ মডেল টেকনিক্যাল রিপোর্ট, Kimi Linear টেকনিক্যাল রিপোর্ট, Kimi K2.5 মাল্টিমডাল মডেল টেকনিক্যাল রিপোর্ট এবং Kimi K3 ফ্ল্যাগশিপ লার্জ মডেল টেকনিক্যাল রিপোর্ট।

তিনি রিইনফোর্সমেন্ট লার্নিং ট্রেনিং, মাল্টিমোডাল ক্ষমতা, বেসিক মডেল আর্কিটেকচার, দীর্ঘ কনটেক্সট সিস্টেম সহ বেশ কয়েকটি কেন্দ্রীয় প্রযুক্তি দিককে কভার করেন, যা Kimi-এর k1.5 থেকে K3 পর্যন্ত তিনটি ফ্ল্যাগশিপ মডেলের পুনরায় বিকাশ চক্রকে সম্পূর্ণভাবে কভার করে, এবং টিমের মধ্যে প্রযুক্তি কভারেজের দিক থেকে সবচেয়ে ব্যাপক গবেষকদের একজন।

এখন পর্যন্ত পাবলিক চ্যানেলগুলিতে ইয়ুয়ান এনমিংয়ের মুন অফ দ্য ডার্ক এর নির্দিষ্ট পদ এবং বিশদ গবেষণা বিভাগ প্রকাশিত হয়নি। পাবলিক সাইনেট ট্রেসগুলির ভিত্তিতে, বহু ক্ষেত্রের গবেষণা পটভূমি তাকে বড় মডেলের বহু প্রযুক্তি দিকে অংশগ্রহণের ক্ষমতা প্রদান করেছে, যা Kimi টেকনোলজি সিস্টেমের পুনরায় উন্নয়নের প্রক্রিয়ায় একজন গুরুত্বপূর্ণ নিয়মিত অংশগ্রহণকারী।

হুয়ে ওয়েইশেন বর্তমানে মুনশট এআই-এর গবেষক হিসেবে কাজ করছেন, যার গবেষণার ক্ষেত্র বড় মডেলের মৌলিক কাঠামো, দক্ষ প্রশিক্ষণ পদ্ধতি এবং অ্যাটেনশন মেকানিজমের অপ্টিমাইজেশন অন্তর্ভুক্ত।

হস ঵েইশিন কিমির বহু প্রজন্মের কোর মডেল এবং নিম্নlevel প্রযুক্তি গবেষণা-উন্নয়নে গভীরভাবে অংশগ্রহণ করেছেন, এবং তাঁর নাম ক1.5 থেকে K3 পর্যন্ত সম্পূর্ণ পণ্য পুনর্বিকাশ চক্রের প্রকাশিত প্রকল্পগুলিতে রয়েছে। মুন অফ দ্য মুনের অফিসিয়াল K3 প্রকাশের পরে তিনটি মূল স্ব-উন্নয়নকৃত প্রযুক্তি—মিউন অপটিমাইজার, কিমি লিনিয়ার লিনিয়ার অ্যাটেনশন, এবং অ্যাটেনশন রেসিডুয়ালস—প্রকাশ করে। হস ওয়েইশিন হলেন এখনও যাচাইযোগ্য একমাত্র অবদানকারী, যিনি এই তিনটি মূল প্রযুক্তির সংশ্লিষ্ট গবেষণা পত্রগুলিতে নাম উল্লেখ করা হয়েছে এবং সমস্ত ক্ষেত্রেই 15-এর মধ্যে স্থান পেয়েছেন, এবং K3-এর আর্কিটেকচারের পারফরম্যান্স আপগ্রেডের জন্য একজন কোর গবেষক।

2025 ফেব্রুয়ারিতে প্রকাশিত Muon অপ্টিমাইজার পেপারে তিনি লেখকদের তালিকায় ৮ম স্থানে রয়েছেন, যেখানে অপ্টিমাইজারটির ক্যালকুলেশন দক্ষতা AdamW-এর প্রায় দ্বিগুণ; পরবর্তীতে ওপেন-সোর্স করা Moonlight ট্রেনিং ইমপ্লিমেন্টেশনেও তিনি অংশগ্রহণ করেছেন;

2025 সালের অক্টোবরে প্রকাশিত Kimi Linear টেকনিক্যাল পেপারে, তিনি ১৫তম স্থানে রয়েছেন; এই আর্কিটেকচার দ্বারা প্রস্তাবিত KDA মেকানিজমটি KV Cache আকারকে সর্বোচ্চ 75% পর্যন্ত কমাতে পারে এবং মিলিয়ন টোকেন সিনারিওতে ডিকোডিং থ্রুপুটকে সর্বোচ্চ 6 গুণ বাড়াতে পারে;

2026 সালের মার্চে প্রকাশিত অ্যাটেনশন রেসিডুয়ালস পেপারটিতে (K3-এর দুটি প্রধান আর্কিটেকচার ইনোভেশনের একটি), তিনি তিনজন সহ-প্রথম লেখকের পরে প্রথম প্রধান অবদানকারী হিসেবে ৪র্থ স্থানে রয়েছেন, এবং সংশ্লিষ্ট প্রযুক্তিটি গভীরভাবে Kimi K3 বেস মডেল আর্কিটেকচারে একীভূত করা হয়েছে।

এছাড়াও, তাঁর নাম Kimi k1.5 রিইনফোর্সমেন্ট লার্নিং টেকনিক্যাল রিপোর্ট, Kimi-VL টেকনিক্যাল রিপোর্ট, Kimi K2 এবং K2.5 টেকনিক্যাল রিপোর্ট এবং সর্বশেষ Kimi K3 ফ্ল্যাগশিপ মডেল টেকনিক্যাল রিপোর্টের অবদানকারীদের তালিকায় রয়েছে, যেখানে তিনি বেসিক মডেল, মাল্টিমোডাল, রিইনফোর্সমেন্ট লার্নিং সহ অনেকগুলি কোর রিসার্চ দিকে অংশগ্রহণ করেছেন। এটি স্পষ্টভাবে উল্লেখ্য যে, MoBA পেপারের লেখকদের তালিকায় তাঁর নাম নেই, এবং দুটির মধ্যে কোনও প্রকাশ্যে চেনা যায় এমন গবেষণা-সম্পর্ক নেই।

এছাড়াও, তিনি অক্কডেপ্থ থ্রি-ডি সেমান্টিক স্কিন কমপ্লিশন, পিভিডি-এএল অ্যাক্টিভ লার্নিং ডিস্টিলেশন, ACCV 2024 ইমপ্লিসিট এসডিএফ রিকনস্ট্রাকশন সহ অনেকগুলি থ্রি-ডি ভিশুয়াল গবেষণায় অংশগ্রহণ করেছেন, যার শৈক্ষিক অর্জনগুলি মডেল কম্প্রেশন, 3D রিকনস্ট্রাকশন, সেমান্টিক স্কিন বুঝতে পারা ইত্যাদি বিভিন্ন উপ-ক্ষেত্রকে কভার করে।

পাবলিক সাইনেচার ট্রেক অনুযায়ী, হুয়ে ওয়েইশেনের গবেষণা পথটি এন্ড-সাইড মডেল ডিপ্লয়মেন্ট এবং 3D ভিজুয়াল পারসেপশন থেকে শুরু করে বড় মডেলের লো-লেভেল আর্কিটেকচার ইনোভেশনের দিকে বিস্তৃত হয়েছে, যা দীর্ঘদিন ধরে হাই-ইফিশিয়েন্ট কম্পিউটিংয়ের দিকে কেন্দ্রীভূত, এবং তাঁর প্রযুক্তির পরিসর ব্যাপক। তিনি মুন অফ দ্য ডার্কের লো-লেভেল টেকনোলজি স্ট্যাকের পুনরায় বিকাশের একজন মূল সদস্য।

দু চেনজিয়াং মুন অফ দ্য ডার্ক এর প্রধান গবেষক, যিনি শক্তিশালী শিক্ষা এবং যুক্তিসঙ্গত ক্ষমতা বৃদ্ধির জন্য দলের প্রধান সদস্য।

তিনি বিজিএইচইউ-এর তথ্য পরিচালনা এবং তথ্য সিস্টেম বিষয়ে স্নাতক ডিগ্রি অর্জন করেন, এরপর বড় মডেল পেশাদারদের হুয়াংপু সেনাবাহিনী—চিংহুয়া বিশ্ববিদ্যালয়ের ইন্টারডিসিপ্লিনারি ইনফরমেশন ইনস্টিটিউটে পিএইচডির জন্য ভর্তি হন।

তিনি চিংহুয়া বিশ্ববিদ্যালয়ে কাজ করার সময় কৃত্রিম বুদ্ধিমত্তার প্রখ্যাত বিশেষজ্ঞ জাও হাং-এর অধীনে অধ্যয়ন করেন এবং প্রতিষ্ঠিত MARS Lab (মাল্টিমোডাল এবং অটোনোমাস রিজনিং ল্যাব) -এ যোগ দেন, যেখানে তিনি মাল্টিমোডাল মেশিন লার্নিং, রিইনফোর্সমেন্ট লার্নিং এবং বড় ভাষা মডেলের রিইনফোর্সমেন্ট মেকানিজমের উপর ফোকাস করেন।

ডক্টরেট পড়াকালীন সময়ে, তিনি একজন প্রধান লেখক হিসেবে বিখ্যাত চ্যাটডিবি আর্কিটেকচার উন্নয়ন করেন, যা প্রথমবারের মতো "ডেটাবেসকে সিম্বলিক মেমরি মডিউল হিসেবে ব্যবহার করে বড় মডেলকে শক্তিশালী করা" ধারণা প্রস্তাব করে, যা সেই সময়ের এআই শিক্ষাগত ও শিল্প সম্প্রদায়ে বিশাল আলোচনার সৃষ্টি করে।

শিল্প-স্তরের বড় সিস্টেমের ব্যবহারিক অভিজ্ঞতা সঞ্চয় করার জন্য, তিনি ডক্টরেট পড়াকালীন বেইজিং হাইহুয়া আর্টিফিশিয়াল ইন্টেলিজেন্স রিসার্চ ইনস্টিটিউটে ইন্টার্ন হিসেবে যোগ দেন এবং শূন্য থেকে লো-লেভেল সিস্টেম তৈরির একটি কঠোর গবেষণা প্রকল্পে গভীরভাবে অংশগ্রহণ করেন। এটি তাকে মাল্টিমোডাল এবং রিইনফোর্সমেন্ট লার্নিংয়ের ক্ষেত্রে অনেক অভিজ্ঞতা দেয়, এবং সিস্টেম-সহ-অ্যালগরিদমের লো-লেভেল দৃষ্টিভঙ্গি অর্জন করে।

তিনি স্নাতক হওয়ার পর মুন অফ দ্য ডার্ক এ যোগ দেন এবং কোর মডেলের টেকনিক্যাল রিপোর্টগুলিতে প্রায়শই দেখা যায়। তিনি রিইনফোর্সমেন্ট লার্নিংয়ের স্কেলিং লজিক নিয়ে গুরুত্বপূর্ণ পেপার “Kimi k1.5: Scaling Reinforcement Learning with LLMs”-এ সরাসরি অবদান রাখেন, এবং Kimi K2 এবং K2.5-এর মতো ফ্ল্যাগশিপ মডেলের টেকনিক্যাল রিপোর্টগুলিতেও তিনি একজন কীভূমিকা পালনকারী হিসেবে কাজ করেন।

তিনি Kimi-এর মাল্টিমোডাল ভিজুয়াল বড় মডেল, Kimi-VL Technical Report-এর একজন কোর সহ-লেখক হিসেবেও গভীরভাবে অংশগ্রহণ করেছেন, যেখানে তিনি জটিল চিত্র, গ্রাফ এবং বাস্তব বিশ্বের ভিজুয়াল তথ্যের প্রতি বড় মডেলের অনুভূতি এবং মাল্টিমোডাল গভীর যুক্তিকরণের ক্ষমতা বাড়ানোর উপর ফোকাস করেছেন।

ডু চেনজিয়াংয়ের প্রধান গবেষণার দিক হল বৃহৎ ভাষা মডেল (LLM) প্রশিক্ষণ ইঞ্জিনিয়ারিং, যা ট্রিলিয়ন-স্কেলের মডেল (MoE আর্কিটেকচার) এর সুপারক্লাস্টারে সম্পদ সমন্বয়, স্থিতিশীল প্রশিক্ষণ এবং সর্বোচ্চ সিস্টেম অপ্টিমাইজেশনের উপর ফোকাস করে; এবং শক্তিশালী শেখা এবং মাল্টিমোডাল ফিউশন, যেখানে মডেলগুলি জটিল দীর্ঘ যুক্তি কাজের সময় স্ব-নিরীক্ষণ এবং শক্তিশালী শেখার মাধ্যমে বুদ্ধিমত্তার সীমা অতিক্রম করে এবং দৃশ্যমান তথ্য এবং ভাষা মডেলের মধ্যে দক্ষ নিম্ন-স্তরের ফিউশন অর্জন করে।

যান রু চেন হলেন মুন অফ দ্য ডার্ক এর প্রধান গবেষক, যিনি বড় মডেলের মৌলিক আর্কিটেকচার, দীর্ঘ টেক্সট প্রযুক্তি, ক্যালকুলেশন অপ্টিমাইজেশন এবং মাল্টিমোডাল ইঞ্জিনিয়ারিংয়ের গবেষণা ও বাস্তবায়নের উপর কাজ করেন।

তিনি অ্যাটেনশন রেসিডুয়ালস পেপারের সহ-লেখক হিসেবে বড় মডেলের গভীরতা দিকে তথ্য প্রবাহকে পুনর্গঠন করেন এবং অতিগভীর নেটওয়ার্কের প্রশিক্ষণ দক্ষতা এবং তথ্য প্রবাহ বন্ধ হওয়ার শিল্পের চ্যালেঞ্জগুলি সমাধান করেন।

তিনি MoBA (মিক্সড ব্লক অ্যাটেনশন) এর সহ-লেখক হিসেবে, কিমির সবচেয়ে প্রধান নীচের কৌশলগুলির গবেষণায় নেতৃত্ব দেন এবং অংশগ্রহণ করেন, যেখানে ব্লক-স্তরের অ্যাটেনশন বিভাজনের মাধ্যমে লক্ষ লক্ষ দীর্ঘ প্রসঙ্গের প্রশিক্ষণ এবং উপসংহারের সময় কম্পিউটিং খরচের সমস্যা সমাধান করা হয়েছে, যা কিমির খরচ কমানো এবং দক্ষতা বাড়ানোর জন্য কেন্দ্রীয় ভিত্তি হয়ে উঠেছে।

একই সময়ে, তিনি "Muon is Scalable for LLM Training" শীর্ষক পেপারের সহ-লেখক এবং গুরুত্বপূর্ণ ওপেন-সোর্স প্রজেক্ট Moonlight এবং এর অধীনস্থ Muon অপ্টিমাইজারের গবেষণায় গভীরভাবে অংশগ্রহণ করেছেন, যেখানে ম্যাট্রিক্স অর্থোগোনালাইজেশনের মাধ্যমে প্রচলিত AdamW কে চ্যালেঞ্জ করে ডিস্ট্রিবিউটেড ট্রেনিংয়ে ট্রিলিয়ন-স্কেল মডেলগুলির কম্পিউটেশনাল খরচ কার্যকরভাবে কমিয়েছেন।

তিনি কিমির সমস্ত পূর্ববর্তী কোর ফ্ল্যাগশিপ (k1.5, K2, K2.5, K3) এর গবেষণা ও উন্নয়নের পুরো জীবনচক্রকে গভীরভাবে এম্বেড করেছেন এবং বৃহৎ স্কেলে রিইনফোর্সমেন্ট লার্নিং এবং ট্রিলিয়ন প্যারামিটার স্কেলিংয়ের অধীনে মডেলের স্থিতিশীলতা এবং সম্পদ সমন্বয়ের সমস্যাগুলি সমাধান করেছেন।

এছাড়াও, কিমির মাল্টিমোডাল লিনিয়ার, ভিএল এবং অডিও টেকনোলজির উন্নয়নে, তিনি অপ্রচলিত ট্রান্সফরমার স্ট্রাকচারের লিনিয়ার অ্যাটেনশন ইনোভেশন অনুসন্ধান করেছেন এবং কিমির ভিজুয়াল এবং অডিও মাল্টিমোডাল টেকনোলজি রিপোর্টের ইঞ্জিনিয়ারিং বাস্তবায়নে নেতৃত্ব দিয়েছেন, যা মাল্টিমোডাল ইনফরমেশন ফ্লোর বেসমেন্ট ফিউশনের দক্ষতা বাধা দক্ষতার সাথে সমাধান করেছে।

লিউ শাওয়ে তসিংহু বিশ্ববিদ্যালয়ের শীর্ষস্থানীয় কম্পিউটার সিস্টেম ল্যাব, MADSys ল্যাবের প্রধান সদস্য এবং মুন অফ দ্য ডার্ক এর কোর ইনফ্রা টিমের নেতৃত্বদানকারী বিশেষজ্ঞ।

যখন আপনি মনে করেন যে কিমি ট্রিলিয়ন প্যারামিটার নিয়ে বসে আছে এবং তার API মূল্য অত্যন্ত কম, তখন এর পিছনে রয়েছে তার এবং তার দলের কঠোর পরিশ্রমের “অত্যুত্তম কোয়ান্টিটেটিভ আর্ট”। সে বছরের পর বছর ট্রিলিয়ন-স্কেল বড় মডেলের অত্যন্ত কম খরচে ইনফারেন্স, ন্যাটিভ কোয়ান্টাইজেশন এবং বৃহৎ পরিসরের ডিস্ট্রিবিউটেড কম্পিউটিং টপোলজি ডিজাইনের উপর কাজ করে আসছে।

বিশ্বের সবচেয়ে অ্যাডভান্সড এআই ওপেন-সোর্স কমিউনিটি Reddit LocalLLaMA-এ, তিনি Kimi-এর অফিসিয়াল এক্সপার্ট হিসেবে বিখ্যাত টেকনিক্যাল ডিকোনস্ট্রাকশন আর্টিকেলটি প্রকাশ করেন: “Kimi infra team: Quantization is not a compromise, it's the next paradigm”। এই দীর্ঘ আর্টিকেলটি Kimi K2 এবং K2.5-এর অত্যন্ত উন্নত Native INT4 ন্যাটিভ কোয়ান্টাইজেশন ফরম্যাটের গভীরে প্রবেশ করে।

তিনি শুধুমাত্র MoBA (মিক্সড ব্লক অ্যাটেনশন মেকানিজম) এর প্রধান সহ-লেখকই নন, বরং মুনলাইট এবং এর অধীনস্থ মুয়ন অপ্টিমাইজারের ডিস্ট্রিবিউটেড আর্কিটেকচার গবেষণায় গভীরভাবে অংশগ্রহণ করেছেন, যেখানে ম্যাট্রিক্স অর্থোগোনালাইজেশনের মাধ্যমে ট্রিলিয়ন-স্কেল মডেলের ডিস্ট্রিবিউটেড ট্রেনিংয়ের কম্পিউটেশনাল খরচ প্রচুর হ্রাস করা হয়েছে।

তিনি মুন অফ দ্য ডার্ক সাইডের গুরুত্বপূর্ণ ওপেন-সোর্স প্রকল্প KTransformers-এর একজন প্রধান প্রতিষ্ঠাতা এবং কোড মেইনটেইনারও, যিনি হেটারোজেনিয়াস ক্লাস্টারে ট্রিলিয়ন মোএ মডেলের মিক্সড ইনফারেন্সের কম্পিউটিং ব্যারিয়ার সম্পূর্ণরূপে অতিক্রম করেছেন।

চেন গুয়ানডুও মুন অফ দ্য ডার্ক সাইডের ইনফ্রা টিমের প্রধান গবেষক। তিনি বিশেষভাবে "সিস্টেম + অ্যালগরিদম" ক্রস-ডোমেইন রিসার্চ ও ডেভেলপমেন্টের দক্ষতা রাখেন, এবং তাঁর গবেষণা ক্ষেত্রগুলি বড় মডেল ইনফ্রাস্ট্রাকচার, কার্যকরী অ্যাটেনশন আর্কিটেকচার, বড় মডেল ফাইন-টিউনিং গতি বৃদ্ধি এবং বৃহৎ পরিসরের সঞ্চয় ও অনুসন্ধান অপ্টিমাইজেশনের উপর কেন্দ্রীভূত।

তিনি ফুডান বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞান বিভাগ থেকে স্নাতক এবং স্নাতকোত্তর ডিগ্রি অর্জন করেন, যেখানে তিনি ডিস্ট্রিবিউটেড সিস্টেম এবং লো-লেভেল আর্কিটেকচারের ক্ষেত্রে দৃঢ় পেশাদার ভিত্তি গড়ে তোলেন। তারপর, তিনি নানইয়াং প্রযুক্তি বিশ্ববিদ্যালয় এবং হংকং বিজ্ঞান ও প্রযুক্তি বিশ্ববিদ্যালয়ে অধ্যয়নের জন্য যান, যেখানে তিনি য lần lượt là các học giả nổi tiếng trong lĩnh vực tính toán hiệu năng cao và cơ sở hạ tầng mô hình lớn là Yuan Binhang và Luo Siqiang, tích lũy được tầm nhìn học thuật và kinh nghiệm nghiên cứu phát triển tiên tiến.

মান্স অফ দ্য ডার্ক এর সাথে আনুষ্ঠানিকভাবে যোগ দেওয়ার আগে, তিনি শীর্ষস্থানীয় ইন্টারনেট কোম্পানিগুলির লোয়ার-লেভেল কোর ডিপার্টমেন্টে গভীরভাবে অভিজ্ঞতা অর্জন করেছিলেন। তিনি যথাক্রমে ByteDance ডেটাবেস সিস্টেম রিসার্চ এবং Meituan ইনফ্রাস্ট্রাকচার টিমে রিসার্চ ইন্টার্ন হিসেবে কাজ করেছিলেন, যেখানে তিনি শিল্প-স্তরের হাই-কনকারেন্সি, বড়-স্কেল ডিস্ট্রিবিউটেড সিস্টেমের ডেভেলপমেন্ট এবং আর্কিটেকচার অপটিমাইজেশনে গভীরভাবে অংশগ্রহণ করেছিলেন।

এই সময়ে, তিনি একজন কোর লেখক হিসেবে দুটি গুরুত্বপূর্ণ অবদান রাখেন। নিম্নস্তরের স্টোরেজে, তিনি অ্যাসিস প্রকাশ করেন, যা একটি অপ্টিমাল ডিসজয়েন্ট পার্টিশনিং লার্নিং রেঞ্জ ফিল্টার প্রস্তাব করে, যা বড় পরিসরের কোয়েরির সময় ডেটাবেসের ইনডেক্স বোতলের গলা সমাধান করে।

অ্যাপ্লিকেশন লেয়ারে বাস্তবায়নে, তিনি একটি "জেনারেট এন্ড র‍্যাঙ্ক" পদ্ধতির মাধ্যমে "Gar" প্রকাশ করেন, যা বড় মডেলগুলির মানুষের জটিল ইচ্ছা বুঝতে এবং এগুলিকে SQL ডেটাবেস কোয়েরি বাক্যে রূপান্তরিত করতে (Text-to-SQL) সঠিকতা উল্লেখযোগ্যভাবে বাড়িয়েছে।

চেন গুয়ানডু ২০২৫ সালের মার্চে মুন অফ দ্য ডার্ক এর সাথে যোগ দেন। ইনফ্রা টিমের একজন মূল সদস্য হিসেবে, তিনি মুন অফ দ্য ডার্কের ফ্ল্যাগশিপ বড় মডেল Kimi K2 এবং Kimi K2.5-এর প্রধান সম-লেখক হিসেবেও কাজ করেছেন, এবং বড় মডেল ফাইন-টিউনিং ত্বরণ, কার্যকরী মনোযোগ আর্কিটেকচার, এমনকি শেষ নেটওয়ার্ক আর্কিটেকচারের পুনর্গঠনের মতো দিকগুলিতে একাধিক প্রযুক্তিগত বিপ্লব ঘটিয়েছেন।

বড় মডেল ফাইন-টিউনিংয়ের জন্য গ্রাফিক্স মেমোরি খুব বেশি ব্যবহারের সমস্যা সমাধানের জন্য, চেন গুয়ানডু প্রধানত একটি গবেষণাপত্র "Ce-LoRA" প্রকাশ করেন, যা একটি কম্পিউটেশনালি দক্ষ LoRA ফাইন-টিউনিং পদ্ধতি প্রস্তাব করে। এই প্রযুক্তিটি বড় মডেলের প্যারামিটার ফাইন-টিউনিংয়ের সময় গ্রাফিক্স মেমোরির ব্যবহার এবং গণনা খরচ কমিয়ে, ইনফ্রা স্তরের ট্রেইনিং থ্রুপুটকে সরাসরি বাড়িয়েছে, যা বড় মডেল ফাইন-টিউনিংয়ের "গ্রাফিক্স মেমোরি লাইটওয়েটিং" হিসাবে বিবেচিত।

দীর্ঘ টেক্সটের গণনার জটিলতা বর্গাকারে বিস্ফোরিত হওয়ার সমস্যার সমাধানে, তিনি কিমি লিনিয়ার আর্কিটেকচার উন্নয়ন ও প্রকাশ করেন, যা ওপেন-সোর্স সম্প্রদায়ে বড় আলোচনার বিষয় হয়ে উঠেছে। এটি একটি প্রকাশমূলক এবং দক্ষ লিনিয়ার অ্যাটেনশন আর্কিটেকচার, যা মডেলের শক্তিশালী প্রতিনিধিত্ব ক্ষমতা বজায় রেখে দীর্ঘ টেক্সটের গণনার জটিলতা অনেকটা কমিয়েছে, KV Cache (কী-ভ্যালু ক্যাশ) ব্যবহার 75% পর্যন্ত কমিয়েছে, এবং 100 হাজার টেক্সট দৈর্ঘ্যে 6 গুণ ডিকোডিং থ্রুপুট অর্জন করেছে—এটি কিমির দীর্ঘ টেক্সট প্রযুক্তির বাধা অতিক্রমের জন্য একটি শক্তিশালী ভিত্তি।

তিনি একজন সহ-লেখকও হন অ্যাটেনশন রেসিডুয়ালস।

সবচেয়ে বেসিক স্টোরেজ ফিল্টার থেকে কম্পিউটেশনালি ইফিশিয়েন্ট ফাইন-টিউনিং অ্যালগরিদম পর্যন্ত, এবং পরবর্তী প্রজন্মের Transformer নেটওয়ার্ক আর্কিটেকচার পর্যন্ত, চেন গুয়ানডুয়ের ক্যারিয়ার ট্র্যাজেক্টরি বর্তমানে বড় মডেলের শিল্প প্যারাডাইম—যা “শুধুমাত্র প্যারামিটার কুয়ান্টাইজেশন” থেকে “অত্যন্ত কম্পিউটেশনাল দক্ষতা এবং ইঞ্জিনিয়ারিং বাস্তবায়ন”-এর দিকে যাচ্ছে—কে পূর্ণতা দিয়েছে।

শেষ কথা

K3-এর গবেষণা ও উন্নয়ন দল সর্বদা নীরব ও রহস্যময় ছিল, ডেটা পর্যালোচনার সময় আমরা সমস্ত সদস্যদের নির্দিষ্ট দায়িত্ব এবং সম্পূর্ণ জীবনী পুরোপুরি চিহ্নিত করতে পারিনি। কিন্তু এই ভারী তালিকার মাধ্যমে, উত্তরগুলি স্পষ্টভাবে ভাসছে: কেন মুখ্য অন্ধকার? কেন তারা 7 বিলিয়ন ডলারের অসাধারণ মূল্যায়নকে সমর্থন করতে পারে?

এই যুবকদের গড় বয়স 30 বছরের কম, তারা প্রকৃতপক্ষে ক্যালকুলেশন অর্থনীতি বুঝে থাকেন এমন সিস্টেম আর্কিটেক্ট। শীর্ষ কনফারেন্সের সেরা পেপার জিতে নেওয়া স্টোরেজ স্কিডিউলিং থেকে শুরু করে অ্যাটেনশন মেকানিজমের ভিত্তি পুনঃগঠন পর্যন্ত, তারা 'দীর্ঘ, দ্রুত, সাশ্রয়ী' ইঞ্জিনিয়ারিং দক্ষতাকে চরমে নিয়ে গেছেন।

এই উপরের অ্যালগরিদম থেকে নিচের হার্ডওয়্যার পর্যন্ত সম্পূর্ণ স্ট্যাক একীভূতকরণই মুন অফ দ্য ডার্কনেসকে "কম্পিউটেশনাল পাওয়ার হোমোজেনিজেশন" এর শ্রাপ ভাঙতে সক্ষম করেছে।

একটি আকর্ষণীয় বিষয় হলো, সমস্ত সদস্যের তালিকার শেষে, কিমি K3 সম্পূর্ণ গবেষণা ও উন্নয়ন দলের একটি গুরুত্বপূর্ণ সদস্য হয়ে উঠেছে। সৃষ্টিকর্তা এবং সৃষ্টি এখন একই তালিকায় পাশাপাশি দাঁড়িয়েছে, চীনা বড় মডেলের “স্বর্ণযুগ” ইতিমধ্যেই গর্জন শুরু করেছে।