AI-згенерований короткий звіт: У липні 2026 року Moonshot відкрила код моделі Kimi K3 та вперше оприлюднила список з 401 учасника. Остання оцінка компанії досягла 31,5 млрд доларів США, команда налічує більше 300 осіб, середній вік яких менше 30 років — кожен член команди припадає на 700 мільйонів доларів оцінки. До ядра команди входять три співзасновники: керівник алгоритмів Чжоу Сіньюй, архітектор Ву Юсінь та CTO Чжан Ютао, а також інші ключові фахівці з таких топових університетів, як Цинхуа та CMU. Команда зробила кілька інновацій у базових технологіях, зокрема у гібридному механізмі уваги MoBA, архітектурі роз’єднаного висновку Mooncake та оптимізаторі Muon; їхні досягнення отримали визнання, зокрема премію за найкращу статтю на провідній конференції з зберігання даних FAST 2025. Ця молодша команда геймерів відома своєю плоскою структурою управління та досягненням екстремальної інженерної ефективності за принципами «довго, швидко, економно», ставши важливою силою у сфері великих моделей Китаю.

Автор статті, джерело:雷锋网

27 липня Moonshot виявила всю свою щирість, повністю відкрила код моделі Kimi K3 з повною потужністю 2,8 Т. У кінці технічного звіту вони вперше оприлюднили список реальних учасників, які зробили внесок у Kimi K3 — ми порахували: 401 учасник. Це справжнє повне представлення команди талантів Moonshot.

Від початкової команди з оцінкою лише в кілька мільйонів доларів до сьогоднішнього справжнього «світла китайських великих моделей» — Місячна Тінь стала однією з небагатьох груп гіків у світовій грі, які можуть посперечатися з такими топовими моделями, як Claude Fable 5 і GPT-5.6 Sol.

З випуском K3 оцінка Moonlight досягла 31,5 млрд доларів США, що становить близько 210 мільярдів юанів, і цю оцінку підтримує надзвичайно молодий командний склад.

Згідно з відкритою інформацією, у Місячної Тіні близько 300 осіб, середній вік яких менше 30 років, причому 80% — це І-люди. Якщо перерахувати, то в середньому кожен з них несе оцінку в 700 мільйонів юанів.

Організаційна структура Moonshot дуже плоска. У Moonshot п’ять засновників, кожен з яких безпосередньо взаємодіє з 40–50 людьми. Внутрішньо відома як «без рангів, без KPI, без віддільних стін» — працівники можуть у будь-який момент викликати на обговорення керівників. Один із деталей: на зустрічі з рефлексії на початку 2025 року один із працівників запропонував радикальну ідею; після того як Ян Чжілінь її почув, він зробив ще більше — він повністю відмовився від K1 і перейшов на K2.

Ця незвичайність так само проявляється в «душі» компанії. Ян Чжілінь, шанувальник рок-музики, назвав конференц-зали іменами легендарних гуртів Rolling Stones, Nirvana, Radiohead, а навіть пакети підписки Kimi названі музичними термінами, такими як Adagio та Allegro.

Місячна темна сторона вірить, що сьогодні, коли обчислювальні потужності та дані стають все більш однорідними, «смак» є ключовим драйвером створення диференціюючих бар’єрів. Цей смак проявляється не лише у вдосконаленні моделей, але й глибоко відображається у їхній вимогливості та прагненні до талантів.

Місячна тінь любить наймати генеральних директорів і особливо цінує людей з «ероїчними рисами підприємця» або «гембле́рським геном». За відкритими даними, у компанії щонайменше 50 осіб заснували або приєдналися до стартапів. За останній рік понад 100 нових співробітників були найняті за рекомендаціями внутрішніх співробітників.

Сьогодні, відповідно до списку, ми всебічно досліджуємо та збираємо всі підтверджені та відкриті інформації про учасників K3. Тут повністю представлено основні фони та реальні здібності цієї команди топових гіків.

01 Kimi — верхівка технічної архітектури

Чжоу Сіньюй — один із ключових співзасновників Moonshot, а також керівник команди алгоритмів.

Чжоу Сіньюй і Ян Чжілінь давно знали один одного; цікавим деталем є те, що Чжоу Сіньюй колись був гітаристом гурту Splay при Цинхуа, а барабанщиком саме був Ян Чжілінь.

До приєднання до Moonshot, Чжоу Сіньюй працював у Megvii над масовим виробництвом алгоритмів та дослідженням моделей для мобільних пристроїв. Він тісно співпрацював з керівником фундаментальних досліджень у Megvii на той час, теперішнім головним науковим співробітником Jieyue Xingchen Чжан Сяньюй, і як основний автор особисто написав відому легковажну мережу ShuffleNet.

Основним напрямком Чжоу Сіньюй є масове впровадження алгоритмів великих моделей; він спеціалізується на ефективному та недорогому перетворенні найсучасніших лабораторних алгоритмів у системи масового виробництва. Він також добре володіє оптимізацією гібридних архітектур: на технічному обговоренні (AMA) у спільноті Reddit він першим розібрав переваги гібридної архітектури Kimi K3 KDA з NoPE MLA, підтвердивши, що ця архітектура економить обчислювальні ресурси та працює швидше під час попереднього навчання та підсиленого навчання.

У Юсінь — один із співзасновників Moonshot. Він також є провідним експертом та зірковим архітектором у галузі штучного інтелекту, маючи глибокі знання у сфері нижчого рівня інженерної архітектури та інфраструктури глибокого навчання, комп’ютерного зору (CV) та великих мовних моделей (LLM).

Ву Юсінь і Ян Чжілінь мають однакову освітню підготовку: закінчили бакалавріат з інформатики в Цинхуа, а потім продовжили навчання в Карнегі-Меллонському університеті (CMU) у США. Він працював дослідником-інженером у дослідницькій лабораторії Meta AI (FAIR), де керував та зробив внесок у кілька проривних технологій у галузі комп’ютерного зору.

До спільного з Яном Чжілінем заснування Місячної темної сторони, У Юсінь вже залишив два визначних результати галузевого рівня в галузі глибокого навчання та комп’ютерного зору:

Один із основних створювачів і розробників Detectron2, цей проект безпосередньо перетворив екосистему аспірантів у галузі комп’ютерного зору по всьому світу, ставши «універсальною основою» для тисяч візуальних великих моделей та проектів виявлення об’єктів.

Ще більш інноваційним було те, що він у 2018 році разом з відомим вченим Хе Каймінгом опублікував видатну роботу про Group Normalization, яка була номінована на премію Best Paper Honorable Mention на ECCV 2018.

Цей класичний підхід повністю подолав смертельний обмеження традиційної Batch Normalization при навчанні на малих вибірках. Здатність吴育昕 за допомогою однієї-двох рядків низькорівневих інновацій «переписати глобальні правила навчання штучного інтелекту» надає йому величезний технічний авторитет у відкритому світі.

У тіні місяця він був тим, хто закладав фундамент. Він глибоко брав участь у оптимізації архітектури великих моделей та ефективності навчання, а також особисто виступив на глобальній конференції розробників PyTorch, де детально розібрав внесок Kimi у глобальну відкриту інфраструктуру.

Спеціалізація Ву Юсіня ідеально доповнила останній шматочок пазлу для Kimi у виході на межі наступного покоління багатомодальних довгих текстів. Він спеціалізується на оптимізації систем глибокого навчання з високою продуктивністю, вирішуючи, як зробити великі моделі стабільнішими, швидшими у обчисленнях і менш вимогливими до пам’яті при параметрах у трильйони — саме це створює технічну стіну, яка забезпечує плавний досвід Kimi при роботі з довгими текстами та високим рівнем паралелізму.

Як один із ключових авторів MoCo v1 — визначної роботи у галузі глибокого навчання — він зробив так, що Kimi не лише має найпотужніший у галузі мозок (розуміння природної мови), але й розвиває здатність глибоко розуміти фізичний світ (багатомодальне бачення).

Чжан Ютао є одним із співзасновників Moonshot AI, а також його технічним директором. Він і Ян Чжилінь — однокурсники з Цинхуа, а Тан Цзе, засновник Zhipu, — його вчитель.

У 2016 році Чжан Ютао разом із Ян Чжилінем заснували «Циклічний ІІ», а потім разом із Ян Чжилінем заснували «Темна сторона Місяця». Якщо Ян Чжилінь — це «навігатор» Темної сторони Місяця, то Чжан Ютао — головний інженер, який налаштував двигун цього величезного корабля «Інтелект» до ідеалу. Завдяки Чжан Ютао Kimi зміг досягти стрибка в розвитку в обробці довгих текстів, складних міркувань та виконанні завдань агентів.

Перед тим як приєднатися до Moonshot, він залишив кілька «індустриальних» вагомих досягнень у галузі знаннєвих карт та інтеграції гетерогенних даних.

Одним із його найбільш відомих технічних досягнень є керівництво розробкою платформи наукового великих даних AMiner як технічним керівником. Основна технологія інтеграції гетерогенних даних, що лежить в основі цієї платформи, яка зараз обслуговує мільйони науковців по всьому світу, містить фундаментальні компетенції, розроблені Чжан Ютао під час навчання у аспірантурі в Цинхуа. Таке глибоке розуміння того, «як машини засвоюють, розуміють та відновлюють масштабні знання», безпосередньо лежить в основі технологічної бази здатності Kimi до обробки наддовгих текстів.

У сфері академічних досягнень він опублікував багато цитованих статей у таких провідних комп’ютерних конференціях, як KDD та CIKM. Він не лише фахівець у наданні штучному інтелекту «логічності» за допомогою знанневих графів, а й на етапі циклічного інтелекту очолив розробку платформи «Тисяча циклів, нульовий зразок», що забезпечила масштабне впровадження великих моделей галузі у сценаріях корпоративних послуг.

Спеціалізація Чжан Ютао точно передбачила кожен етап перетворення ШІ з «здатного до діалогу» на «здатного до виконання завдань». Він зосереджений на розробці технологій довгих контекстних вікон та динамічних архітектур мереж, щоб вирішити питання, як зберегти «свідомість» ШІ в морі інформації.

На найновішому технічному саміті в липні 2026 року він чітко структурував три інженерні етапи розвитку галузі: 2023 рік — ера Prompt, коли досліджували «як питати»; 2024 рік — ера Context, що розвинулася до «надання достатньо інформації»; а до 2026 року великі моделі офіційно вступили на новий етап Harness-інженерії. Зараз він керує командою, яка вирішує остаточну битву — «як створити середовище виконання, щоб AI міг самостійно замкнути цикл виправлення помилок».

Сюй Синьран — віце-президент з інженерії та керівник інфраструктури штучного інтелекту компанії Moonshot AI.

Він має досвід повноцінної нижчої розробки, раніше в Megvii відповідав за розробку глибинної навчальної платформи MegEngine (Tianyuan) та системи пошуку мільярдів векторів. Зараз він відповідає за загальне проектування архітектури навчання, висновків та інфраструктури великих моделей Moonshot.

На стороні висновку великих моделей для сценаріїв роботи з довгими текстами Kimi разом із командою розробила розділену архітектуру висновку Mooncake, засновану на KV Cache. Цей досягнення отримало премію найкращої статті на провідній конференції зі зберігання FAST 2025 завдяки повному розділенню етапів передзаповнення (Prefill) та декодування (Decode) і зменшенню навантаження на пам’ять GPU та I/O при роботі з наддовгими контекстами мільйонного рівня.

Одночасно, як один із головних авторів механізму MoBA (мішаний блоковий увага), він за допомогою блокової уваги розділення досяг значного зниження витрат і підвищення ефективності для Kimi на етапах навчання та висновку.

На стороні навчання моделей він брав участь у розробці відкритого проекту Moonlight та його базового оптимізатора Muon, використовуючи заміну традиційного AdamW на матричну ортогоналізацію, що знизило обчислювальні витрати для моделей з трильйонами параметрів під час розподіленого навчання.

На основі цієї серії практик розподіленого зберігання та висновування при великому обсязі текстових даних, його запрошували виступити на глобальній конференції з відкритим кодом GOSIM China. Його основна спеціалізація завжди була зосереджена на повноцінній архітектурі великих моделей, і він прагне забезпечити високорозумне висновування довгих текстів з мінімальними втратами FLOPs та використанням KV Cache.

Як керівник системи міркувань Moonshot, він є ключовим автором найкращої статті FAST 2025, зберігається в архіві, і є основним технічним фахівцем у реалізації архітектури довгих текстів Kimi. Від Kimi k1.5, Kimi-VL, K2 до Kimi Linear, Kimi-Audio, а також ключових архітектурних статей MoBA, Muon, AttnRes — його ім’я присутнє у всіх шести поколіннях технологій; вся його робота завжди була спрямована на одну і ту ж мету: обмінювати системний дизайн на ефективність, щоб величезні моделі стали справді доступними.

До приєднання до Moonshot, Хе Вейран вже багато років працював у галузі високопродуктивних обчислень. Він закінчив кафедру комп’ютерних наук Цінхуа, на початку кар’єри спеціалізувався на трасуванні чіпів та оптимізації нижчого рівня продуктивності; під час роботи у Megvii він керував розробкою власних AI-чіпів та нейронних мереж з низькою точністю, працюючи одночасно з Чжоу Синью, співзасновником Moonshot — саме Чжоу Синью є першим винахідником класичного рішення для виявлення тексту OCR EAST.

Після приєднання до Moonshot у 2023 році він застосував свій багаторічний досвід у системній інженерії до сервісів висновку великих моделей з параметрами на трильйони.

Його найбільш відомим досягненням є розділена архітектура інференсу KVCache — Mooncake. Ця система зламала традиційні шаблони архітектури інференсу, відокремивши та централизовано управляючи найбільш витратними щодо відеопам’яті кешами пам’яті великих моделей. За рахунок глобального повторного використання кешу та точного маршрутизації, без збільшення обчислювальних ресурсів, пропускна здатність запитів Kimi зросла більше ніж на 75%. Він розкрив це на конференції QCon у Q4 2024 року: завдяки цій архітектурі та постійним інженерним оптимізаціям, одинична вартість інференс-кластера Kimi знизилася більше ніж у 20 разів за рік.

У лютому 2025 року стаття, пов’язана з Mooncake, отримала премію Еріка Райдера за найкращу статтю на конференції FAST — одну з найвищих нагород у галузі систем зберігання. Ще більш яскравою ілюстрацією її інженерної цінності є те, що ця архітектура вже стабільно працювала в продуктивному середовищі Kimi на тисячах вузлів ще до офіційного вручення премії, обробляючи щодня мільярди запитів користувачів у токенах.

Хоча технічний звіт K3 не розкриває конкретних обов’язків окремих осіб, багато ключових досягнень продовжують технічну спадщину його команди: щодо проблеми з невдачею традиційного префіксного кешу в гібридній архітектурі KDA+MLA, команда внесла офіційну реалізацію до спільноти vLLM; для довгих запитів у мільйони токенів кластер використовує стратегію маршрутизації, орієнтовану на кеш, щоб максимізувати ефективність повторного використання кешу. У підсумку K3 показав витрати на висновування лише 38% від Claude Fable 5, а оптимізація KVCache, префіксний кеш та контроль витрат — саме це є ключовими завданнями системи Mooncake.

Від розведення чіпів до виведення моделей розміром у трильйони параметрів, технологічний шлях Хе Вейрана завжди був чітким: він наполегливо працює над ефективністю системи, обмінюючи інженерний дизайн на нижчі обчислювальні витрати. Якщо топові дослідники алгоритмів підняли межі здатностей Kimi, то він і його команда зробили те, що ці флагманські здібності стали реальністю — зробили їх доступними та стабільними для більшості звичайних користувачів.

02 Середнє ланко · Практичні ключові фігури

Ду Юлун відповідає за напрямки попереднього навчання (Pretraining) та масштабування (Scaling) у Moonshot.

Він закінчив Університет Іллінойс у Шампейні та Карнегі-Меллонський університет за спеціальністю штучний інтелект. Пізніше приєднався до Cycle Intelligence, де працював дослідником та керівником AI Lab, є одним із ключових технічних фундаторів Moonshot.

Як головний відповідальний за підготовку базової моделі та масштабування, його технічний внесок повністю охоплює архітектурний дизайн усіх поколінь ключових флагманських базових моделей Kimi, а також багатомодальних серій, включаючи VL, Audio тощо.

У рамках проривів у базовій технології він є співавтором статей «Attention Residuals», «MoBA (Mixed Block Attention)» та статті про оптимізатор для попереднього навчання «Muon is Scalable for LLM Training». Основна суть його роботи полягає у зменшенні проблеми загасання сигналу у надзвичайно глибоких мережах шляхом розбиття уваги на рівні блоків та перебудови тренувального потоку, що значно підвищує ефективність розподіленого навчання моделей розміром у трильйони параметрів.

На рівні відкритого коду він є активним ключовим внеском у офіційний відкритий проект MoonshotAI. Згідно з записами спільної роботи з кодом, Ду Юлун тісно співпрацює з експертами з алгоритмів Су Цзяньлінем та керівником системи висновків Хе Вейраном, разом утворюючи нижчий технічний цикл, що підтримує ефективний потік мільйонів довгих текстів і повного спектру модальностей для Kimi.

Чжан Юй є ключовим архітектором Moonshot, спеціалізується на розробці ефективних, масштабованих та зручних для апаратного забезпечення архітектур великих мовних моделей. Як один із засновників напрямків, що виходять за межі Transformer та лінійної уваги, він працює над подоланням інженерної проблеми «чим довший текст, тим повільніше та дорожче».

У академічній та інженерній практиці Чжан Юй досяг значних результатів. Він не лише співавтор першої статті «Attention Residuals» про залишкові з’єднання, але й головний розробник ефективної архітектури моделі Moonshot.

Модель Kimi Linear, яку він керував як відкритий код, вперше успішно застосувала лінійну увагу до завдань з наддовгим контекстом, досягнувши революційного зростання ефективності. Крім того, його розповідь «Шлях розробки Kimi Linear», опублікована на таких технічних спільнотах, як Zhihu, досі вважається обов’язковим посібником для безлічі інженерів даних великих моделей.

Від прориву в реалізації моделі з 7 мільярдами параметрів до допомоги у виведенні моделі з трильйоном параметрів у перший світовий ешелон, Чжан Юй впевнено переміщається між академічним та промисловим світами, залишивши багато потужного коду на провідних академічних конференціях та в відкритих спільнотах.

Цей серія досягнень виникла завдяки його глибокій роботі над ключовими технологіями: у дизайні ефективних архітектур моделей він зосереджувався на оптимізації комунікаційних та пам’яттєвих обмежень під час масштабування глибини моделі; у підвищенні динаміки та ефективності навчання він шляхом перебудови базової залишкової структури фундаментально вирішив проблеми розсіювання градієнтів та вибуху прихованих станів, викликані PreNorm у великих моделях.

Лай Гоцзюнь є дипломантом Цинхуа та Карнегі-Меллон, як і Ян Чжілінь.

Він один із найбільш продуктивних дослідників команди Kimi з понад десятком наукових статей, не лише один із представників «клубу талантів» Moonshot, ключовий внесок у Kimi K3, а й вчений з «визначальними» досягненнями в академічному світі.

До приєднання до Moonshot, Лай Гоцзюнь вже залишив два визначних результати галузевого рівня в галузі NLP (обробка природної мови).

Один із них створив один із найбільших у світі наборів даних для машинного розуміння тексту — набір даних RACE, який використовувався для навчання штучного інтелекту на завданнях з англійської мови для китайських учнів і став еталоном для машинного розуміння тексту у світі.

Ще більш вражаючим є те, що його бакалаврська робота з рекомендаційними алгоритмами «Explicit factor models for explainable recommendation» у 2024 році, через десять років після публікації, отримала премію SIGIR Test of Time — одну з найвищих нагород у галузі інформаційного пошуку, яка присуджується статтям, опублікованим десять років тому, які витримали випробування часом і зробили тривалий вплив на галузь.

Такі люди, які мають здатність визначати технологічні маршрути на наступне десятиліття ще на бакалаврському рівні, — не єдині в Yue Zhi An Mian.

Напрямок досліджень Лай Гуокуну дуже добре поєднується з ключовими можливостями Kimi, наприклад, його експертиза в «машинному розумінні тексту», яка вирішує питання, як за допомогою ШІ розуміти довгі документи та відповідати на запитання — це саме основа технологій Kimi для роботи з довгими текстами.

Однією з його основних дослідницььких уваг під час навчання в CMU були передньо навчені великі моделі, крім того, він спеціалізувався на пошуку нейронних архітектур, досліджуючи, як зробити так, щоб ШІ автоматично розробляв кращі структури мереж. Також він працював над пояснюваними рекомендаційними системами, щоб ШІ не просто рекомендував контент, а й пояснював користувачам, чому саме цей контент був запропонований.

Го Хайцин (Haiqing Guo) — один із перших ключових розробників команди Kimi від Moonshot, вважається одним із засновників команди та брав участь у розробці та ітераціях усіх поколінь основних проектів Kimi.

Публічно перевірні проекти включають технічний звіт Kimi k1.5, технічний звіт Kimi K2, наукову статтю про архітектуру AttnRes (Attention Residual), та технічний звіт Kimi K3. AttnRes є однією з двох ключових архітектурних інновацій Kimi K3.

Згідно з внеском у розробку, він охопив повний цикл ітерацій від Kimi k1.5 до K3, брав участь у ключових етапах розробки кількох поколінь продуктів і є постійним ключовим учасником команди Kimi. Наразі відкриті джерела не розкривають його конкретну посаду та детальну розподілену розробницьку відповідальність.

Чень Гуаньюй, ймовірно, наймолодший дослідник Moon Shadow, народжений у 2009 році, 17 років, хлопець, який захопив Елона Маска на X, змусивши його відкрито вигукнути: «Impressive».

Під час запуску революційного флагманського продукту Moonshot з 2,8 трильйона параметрів Kimi K3 він вже був співавтором разом із технічними експертами, такими як Су Цзяньлінь, і автором фундаментальної роботи «Attention Residuals», що лягла в основу архітектури Kimi K3.

Його участь у механізмі увагових залишків (Attention Residuals) прямо втрутилася у стандартні залишкові з’єднання, які вже десятиліття використовувалися в глибокому навчанні, за допомогою «навчальної глибокої уваги» дозволивши моделі розумно «поглянути назад». Ця фундаментальна реконструкція безпосередньо підвищила ефективність масштабування моделі на 1,25 рази, дозволивши китайським компаніям швидше рухатися в боротьбі за найвищі обчислювальні потужності розміром у трильйони, з меншими витратами. Його історія приєднання до Moonshot дуже дивовижна. Рік тому він навіть не знав, що таке Transformer, але був виявлений каліфорнійською стартап-компанією після того, як запропонував ідею «третьої механічної допоміжної руки людини» на хакатоні. Через сім тижнів його повністю зацікавила команда Kimi, і його без винятків приєднали до ядра дослідницької групи компанії. У перший тиждень роботи він порушив усі звички, безпосередньо розібравши та вигравши загальний чемпіонат внутрішнього 48-годинного екстремального хакатону Kimi.

У технічному звіті Kimi ім’я Ду Ан’аня завжди стоїть на першому місці. Він є одним із ключових фахівців багатомодальної архітектури Moonshot, одним із небагатьох дослідників, які брали участь у всіх п’яти поколіннях у звіті Kimi. Він двічі посідав перше місце серед авторів, що вказуються після назви команди, що дозволяє припустити, що його основний внесок у Kimi K3 стосується галузі комп’ютерного зору.

До приєднання до Moonshot, Ду Анган вже заклав дві дуже значущі основи в галузі комп’ютерного зору.

Одним із напрямків є глибоке дослідження підводної мікроскопічної візуалізації. Семь років, від бакалавріату до магістратури, я навчався у лабораторії підводної візуалізації Китайського океанського університету, спеціалізуючись на надзвичайно складній класифікації мікроскопічних зображень планктону — виявленні за допомогою ШІ найменших життєвих форм у океані на мікроскопічних зображеннях з нечітким фокусом, обмеженою кількістю зразків і надзвичайно дрібними відмінностями між видами.

У 2020 році він був першим автором дослідження, опублікованого у Global OCEANS, де за допомогою моделювання другого порядку було вирішено проблему дрібнозернистої класифікації — це єдиний результат у цій галузі за десятиліття досліджень лабораторії, отриманий аспірантом як першим автором.

Більш значущим з точки зору впливу на галузь є його роботи під час перебування в Megvii. Його дослідження з багатокористувацькою оцінкою пози включено до провідної конференції з комп’ютерного зору ECCV 2020; ця стаття отримала понад 300 цитувань і стала важливим посібником у галузі оцінки пози людини. Серед співавторів цієї роботи — лідери у сфері комп’ютерного зору, такі як Сун Цзянь і Чжан Сяньюй, а також Чжоу Синьюй, співзасновник Moonshot AI.

Після приєднання до Kimi він глибоко працював над проектуванням візуальних кодерів, мультимодальною збіжністю та технологіями візуальних агентів, особливо в галузі розуміння зображень високої роздільної здатності, аналізу довгих відеопослідовностей та мультимодального підсилювального навчання — це саме основа оригінальних мультимодальних можливостей Kimi. Крім того, його компетенції поширюються вниз до інфраструктури навчання великих моделей — від стабільності оптимізаторів до синтезу даних агентів, формуючи повний стек від базових візуальних алгоритмів до навчання моделей та реалізації агентів на верхньому рівні.

У 2025 році він як перший автор опублікував відкриту багатомодальну модель Kimi-VL, власний візуальний кодек MoonViT якої нативно підтримує введення надвисокої роздільної здатності разом із здатністю до 128K довгого контексту, що надало Kimi можливість вперше розуміти багатомодальні довгі тексти, такі як довгі відео та довгі документи, і заклало технічну основу для всієї багатомодальної функціональності Kimi.

На етапі K2 він активно брав участь у розробці оптимізатора MuonClip, співпрацюючи з механізмом QK-Clip, щоб вирішити галузеву проблему коливань під час навчання великих моделей, забезпечивши «нульові піки втрат» під час навчання обсягом 15,5 трильйона токенів і значно знизивши обчислювальні витрати та ризики; на етапі K3 його керівництво інтелектуальним конвеєром синтезу даних дозволило моделі самостійно генерувати якісні навчальні дані, що стало ключовим джерелом даних для виходу K3 на перший ешелон світу у таких складних завданнях, як програмування та інтелектуальні агенти.

Для Кімі його внесок охоплює всю шлях еволюції багатомодальних можливостей.

Цю Бовень (Bowen Qu / Brian Qu) входить до команди післянавчання моделей. Він отримав ступінь бакалавра в Школі електроніки, інформації та зв’язку Університету науки і технологій Хуачжон, а також ступінь магістра в Школі електроніки Пекінського університету. Його дослідження зосереджені на багатомодальних великих моделях, зокрема багатомодальне підсилене навчання, візуально-мовні моделі, AI-агенти та оцінка якості контенту AIGC.

Після приєднання до Moonshot, Цю Бовень зосередив свою основну роботу на розробці мультимодальних можливостей моделей серії Kimi, глибоко участвував у проекті Kimi-K2.5 та брав участь у розробці напрямку мультимодального підсиленого навчання. Kimi-K2.5 — це нативна мультимодальна інтелектуальна модель, запущена Moonshot, з загальним обсягом параметрів 1 Т і активованими параметрами 32 Б.

Цю Бовень відповідає за нативну багатомодальну систему підсиленого навчання, яка виходить за межі традиційного підходу до багатомодальних моделей — спочатку виконувати візуальну доналаштування з наглядом, а потім починати підсилене навчання. Він запропонував схему навчання, яка починається з чисто текстової моделі висновків без візуального наглядного доналаштування і прямо отримує візуальні здібності міркування за допомогою візуального підсиленого навчання, уникнувши заважання низькоякісних візуальних даних до первинної мовної здатності моделі до висновків.

Дослідження Цзю Бовэня розпочалося з напрямку оцінки якості контенту AIGC, результати якого були опубліковані на міжнародних конференціях ICME 2024, CVPRW 2024 тощо. Зокрема, стаття, опублікована на ICME 2024, пропонує включити текстові підказки до системи оцінки якості генерованих зображень, щоб вирішити проблему того, що на той момент системи оцінки штучно створених зображень зосереджувалися лише на візуальній привабливості та чіткості, ігноруючи відповідність згенерованого контенту користувацьким інструкціям. Була розроблена оціночна система, яка охоплює як візуальну якість, так і виконання інструкцій, що підвищило всебічність оцінки штучно створеного контенту та його збіг з людською сприйняттям.

Цю Бовэнь також згадується у списку учасників багатомодальних версій Kimi. Як молодий дослідник, шлях досліджень Цю Бовэня пролягає від побудови систем оцінки до розробки здібностей моделей, а потім — до розробки високорівневих здібностей агентів. Його результати тісно пов’язані з реальними потребами галузі і безпосередньо служать ітераціям та оновленням моделей продуктивного рівня.

У списку з більш ніж 400 учасників Kimi K3, Лу Еньчжэ не є найпершим у списку авторів, але його дії виявилися надзвичайно точними. Кожен його результат був спрямований на ключові проблеми реалізації великих моделей і він є ключовим розробником ефективної обчислювальної системи Kimi.

Напрямок досліджень Лу Еньчжэ можна точно описати трьома словами: довго, швидко, економно. Основна мета — дозволити великим моделям обробляти довші тексти з меншими витратами та швидшою швидкістю. Для Kimi він відповідає за повний цикл підвищення ефективності — від навчання до висновку.

У лютому 2025 року він як перший автор опублікував механізм змішаної уваги на блоках (MoBA), перенісши ідею вибору експертів із MoE на шар уваги, щоб під час обробки запитів модель використовувала лише найбільш релевантні блоки контексту для обчислень. При розрідженості 95% ефективність дорівнювала повній увазі, що дозволило прискорити виведення мільйону токенів у 6,5 раза, а мільйона токенів — у 16 разів, що безпосередньо заклало основу для надзвичайно довгого контексту Kimi.

У день публікації ця стаття одночасно з’явилася зі статтею DeepSeek про NSA і стала найбільш обговорюваною технічною зустріччю року в китайському середовищі великих моделей; ще більш яскраво її інженерна цінність проявилася в тому, що ця схема вже протягом майже року стабільно обслуговувала запити користувачів з довгим контекстом у виробничому середовищі Kimi, перш ніж була прийнята як Spotlight-стаття на NeurIPS 2025.

Крім того, від KDA-уваги MoBA до Kimi Linear, він безпосередньо працював над оптимізацією ефективності висновку на апаратному рівні; на стороні навчання його розробка розподіленої реалізації оптимізатора Muon забезпечила мінімальне використання пам’яті та ефективну комунікацію, що реальний спосіб зменшити обчислювальні витрати на навчання великих моделей. У поєднанні з AttnRes, K1.5, K2, Kimi-VL та іншими поколіннями технічних звітів, його публікації повністю охоплюють усі етапи технологій ефективних великих моделей.

У команді він є постійним партнером Цюй Цзєчжуня, одного з кореспондентів статті про MoBA: один відповідає за впровадження, інший — за стратегічний напрямок, і вони добре синхронізовані.

Ван Ючжі є дослідником Moonshot AI та одним із найчастіших авторів у технічних звітах серії Kimi.

Від K1.5 у січні 2025 року до Kimi K3 у липні 2026 року його ім’я зустрічається майже в кожному технічному документі цієї компанії, охоплюючи візуальні, аудіо, архітектури уваги, оптимізатори навчання, флагманські моделі та передові рамки керування ризиками ШІ.

Він отримав ступінь бакалавра в Сіанському університеті електроніки та зв’язку та докторський ступінь з електронної інженерії в Цинхуа, після чого працював інженером-дослідником у дослідницькому інституті Megvii; з 2024 року працює дослідником у Moonshot AI.

До приєднання до Moonshot, його дослідження були зосереджені на обчислювальній фотографії та низькорівневому комп’ютерному зорі. До його найбільш відомих досягнень належать: стаття з першим авторством у ECCV 2020 про шумоподавлення RAW-зображень на мобільних пристроях — цей напрямок залишається одним із еталонних у сфері мобільної візуалізації; перемога у групі «旷视» на NTIRE 2019 у категорії raw-RGB у конкурсі з реального шумоподавлення; співавторство у класичній роботі в галузі OCR — EAST (CVPR 2017, цитувань понад 2500).

Під час місячного затемнення він був співавтором десяти технічних документів, включаючи: k1.5, K2, K3, Kimi-VL, Kimi-Audio, MoBA, Muon, Kimi Linear, а також чотири статті про архітектуру та ефективність уваги та залишкові елементи уваги, а також передову рамку керування ризиками ШІ.

Варто зазначити, що він є автором усіх чотирьох статей компанії щодо архітектури та ефективності — така широка участь рідка серед приблизно чотирьохсот учасників. Його конкретні обов’язки в K3 наразі не публічні.

Мао Шаогуан є ключовим фахівцем у технічній лінії Kimi Agent, брав участь у розробці чотирьох поколінь флагманських продуктів — K2, K2-Thinking, K2.5 та K3, і є одним із небагатьох дослідників у галузі, які повністю пережили дві парадигмальні зміни в індустрії Agent.

До приєднання до Moonshot він був одним із перших фахівців у країні, які реалізували агентів.

Закінчив магістратуру з інформатики в Тсінхуа, займаючи перші місця серед 0,2% студентів та отримавши національну стипендію. Працював дослідним асистентом у Китайському університеті Гонконгу та проходив стажування у групі голосових технологій Microsoft Asia Research Institute. Після закінчення навчання працював у Microsoft майже шість років, пройшовши шлях від інженера-дослідника до старшого інженера-розробника.

У 2023 році взяв участь у розробці TaskMatrix.AI, забезпечивши ChatGPT доступом до мільйонів API; пізніше спільно запропонував метод Solo Performance Prompting, який дозволяє одній моделі виконувати ролі кількох агентів для симуляції співпраці між багатьма агентами, — цю технологію було реалізовано в Microsoft 365 Word.

Це був «еру фреймворків» агента — усі здібності залежали від зовнішніх інструментів і керувалися підказками, і саме він був учасником та будівником цієї технологічної парадигми.

Але Мао Шаогуан, який сам пройшов цим шляхом, першим усвідомив обмеження старої парадигми. У червні 2025 року він написав у Zhihu: «Цей напрямок стає все менш цікавим, відчувається прискорене занепад».

Після приєднання до Moonshot у лютому 2025 року він повністю перейшов на енд-ту-енд підхід «модель як Agent». Лише за чотири місяці він взяв участь у розробці першого Agent-продукту Kimi — Kimi Researcher:

Навчений виключно за допомогою енд-ту-енд підсиленого навчання без будь-яких передвизначених процесів, він в середньому виконує 23 кроки міркувань, самостійно сканує 206 веб-сторінок і може генерувати дослідницькі звіти обсягом до 10 000 слів із відповідними посиланнями, досягаючи результату 26,9% на бенчмарку HLE — новий світовий рекорд на той момент. Він також є одним із двох авторів офіційного технічного опису цього продукту.

Після цього він повністю брав участь у розробці чотирьох поколінь флагманських продуктів від K2 до K3. Показник HLE зростав від 8,6% до 26,9%, і ця крива продуктивності, майже повністю зумовлена підсиленням навчання, — це його звіт про досягнення нової технологічної траєкторії.

Від підключення API до великих моделей для розширення їхніх можливостей до того, як моделі самостійно навчилися використовувати інструменти та виконувати складні завдання, професійний шлях Мао Шаогуаня за останні десять років точно відображає повний розвиток індустрії агентів — від «збірки з компонентів» до «природного зростання». Безпосередньо беручи участь у старій парадигмі та одночасно прокладаючи новий шлях, його розуміння індустрії підтверджується найбільш надійними практичними результатами.

Цин Жуї — аспірант-докторант лабораторії MADSys, кафедра комп’ютерних наук Цинхуа, під керівництвом доцента Чжан Мінксіна. Його дослідження зосереджені на ефективних системах машинного навчання, зокрема на масштабних розподілених системах висновування великих мовних моделей та системах rollout для підсилювального навчання.

Mooncake, розроблена Цинь Жуоюем у співпраці з командою Moon Dark Side, — це декомпозована архітектура висновку, заснована на KVCache. Ця архітектура розділяє етапи Prefill та Decode на окремі кластери, а також об’єднує не використовувані ресурси CPU, пам’яті та SSD у GPU-кластері в розподілений кеш-пул. Цей досягнення отримало премію Erik Riedel за найкращу статтю на провідній конференції зі сховищ FAST 2025.

Mooncake — це виробнича платформа з реальним застосуванням, у вступі до анотації статті чітко зазначено: «Mooncake — це платформа для сервісу Kimi». За реальних навантажень Mooncake збільшує обробку запитів Kimi на 75%; у сценаріях з довгим контекстом продуктивність зростає на 59% до 498%. Наразі система розгорнута на тисячах вузлів і щодня обробляє понад 100 мільярдів токенів.

У 2024 році Місячна Тінь та лабораторія MADSys Цинхуа спільно відкрили проект Mooncake (репозиторій з відкритим кодом: kvcache-ai/Mooncake), на сьогодні кількість зірок на GitHub цього проекту перевищила 6000. Відповідні дані та інформацію можна знайти у статті на arXiv (номер 2407.00079), на офіційному сайті факультету комп’ютерних наук Цинхуа та у репозиторії проекту з відкритим кодом.

Після Mooncake дослідження Цинь Жоюй продовжувалися у напрямку систем міркувань. Його стаття Seer, написана як перший автор, була включена до OSDI 2026; ця робота вирішує обмеження продуктивності rollout у навчанні з підсиленням за допомогою розбиття rollout, контекстно-залежного планування та групової спекулятивної декодування, досягаючи збільшення пропускної здатності rollout на 2,04 рази та зменшення затримки хвостів на 72–94%. Інша стаття як перший автор, Prefill-as-a-Service, запропонувала новий підхід до архітектури висновку зі спільним використанням KVCache між центрами обробки даних.

Цин Жуоюй також згаданий у списку учасників проекту K3. Продуктивність великих моделей забезпечується двома аспектами: розробка моделі визначає її потенційний максимум, а системна інженерія — доступність та витрати на обслуговування в умовах високої паралельності.

Конкуренція в індустрії великих моделей поступово переходить від змагання в галузі навчання до змагання в галузі інженерії сервісів. Як аспірант, Цин Жуоюй здатний досягти результатів рівня найкращих статей на провідних конференціях завдяки тому, що його дослідження безпосередньо спрямовані на виробничі сценарії та реалізовані у справжніх бізнес-системах.

Ключові розробники команди Kimi з «Темного боку Місяця», чия наукова діяльність охоплює три галузі — обчислювальна біологія, рекомендаційні системи та великі моделі, повністю брали участь у технічній ітерації кількох поколінь основних моделей Kimi.

Раніше він працював у групі Цзяньяна Чжаня в Інституті перехідних інформаційних технологій університету Цінхуа, займаючись дослідженням штучного інтелекту в фармацевтиці. У 2020–2021 роках дослідження, у якому він брав участь, щодо перепризначення ліків від грипу, було опубліковане на пре-принт-сервісі bioRxiv та у журналі «Signal Transduction and Targeted Therapy», а також результати, пов’язані з ізоляцією нуклеокапсидного білка, були опубліковані у журналі «Protein & Cell».

З 2022 по 2023 рік Юань Еньмін працював у лабораторії Ноєвого ковчега Huawei, зосереджуючись на дослідженнях у галузі рекомендаційних систем; його результати були представлені на кількох міжнародних провідних академічних конференціях. Зокрема, стаття, написана ним як перший автор, що стосується рекомендацій на основі багатоаспектних послідовностей, була включена до SIGIR 2022, а його спільні роботи — до CIKM 2022 та WWW 2023.

Після приєднання до Moonshot, Юань Еньмінь активно брав участь у розробці багатьох поколінь ядерних моделей і технологічних проектів Kimi. До публічно перевірених проектів з його підписом належать: звіт про технологію підсиленого навчання Kimi k1.5, дослідження MoBA, звіт про технологію Kimi-VL, звіт про велику модель Kimi K2, звіт про Kimi Linear, звіт про багатомодальну модель Kimi K2.5 та звіт про флагманську велику модель Kimi K3.

Його область участі охоплює кілька ключових напрямків технологій, зокрема навчання з підсиленням, багатомодальні можливості, архітектуру базових моделей та системи довгого контексту, повністю охоплюючи тривалість ітерацій трьох поколінь флагманських моделей Kimi від k1.5 до K3 і є одним із ключових розробників команди з найширшим охопленням технологій.

Наразі публічні джерела не розкривають конкретну посаду Юаня Еньміна та його детальну розподілену розробницьку відповідальність у «Місячній тіні». Згідно з публічними слідами підписів, його міждисциплінарний досвід підтримує його здатність брати участь у багатьох технічних напрямках великих моделей, роблячи його важливим постійним учасником ітераційної розробки технологічної системи Kimi.

Сю Вейсін є дослідником Moonshot AI, його напрямки досліджень охоплюють базову архітектуру великих моделей, ефективні механізми навчання та оптимізацію механізму уваги.

Сю Вейсін активно брав участь у розробці кількох поколінь ядерних моделей та базових технологій Kimi, його ім’я відомо у публічних проектах, що охоплюють повний цикл ітерацій продукту від k1.5 до K3. Після запуску K3 офіційна команда Moonshot оприлюднила три ключові власні технології — оптимізатор Muon, Kimi Linear лінійна увага та Attention Residuals (залишкова увага). Сю Вейсін — єдиний підтверджений учасник, чиє ім’я зазначено у всіх трьох відповідних наукових працях з цих ключових технологій, причому в усіх випадках він входить до перших 15 авторів, і є одним із ключових розробників, що забезпечили підвищення продуктивності архітектури K3.

Щодо конкретних досягнень, у статті про оптимізатор Muon, опублікованій у лютому 2025 року, він займає восьме місце в списку авторів; цей оптимізатор має обчислювальну ефективність приблизно вдвічі вищу, ніж AdamW, і він також брав участь у розробці відкритого коду Moonlight для навчання.

У технічній статті Kimi Linear, опублікованій у жовтні 2025 року, він зайняв 15-те місце; запропонований архітектурою механізм KDA дозволяє зменшити об’єм KV Cache до 75 %, а у сценаріях з мільйоном токенів — збільшити пропускну здатність декодування до 6 разів;

У статті «Attention Residuals», опублікованій у березні 2026 року (одна з двох ключових інновацій архітектури K3), він займає четверте місце, будучи першим ключовим учасником після трьох спільних перших авторів; відповідні технології глибоко інтегровано в базову архітектуру Kimi K3.

Крім того, його ім’я зазначено у списках співавторів технічних звітів про підсилене навчання Kimi k1.5, Kimi-VL, Kimi K2 та K2.5, а також у найновішому технічному звіті про флагманську модель Kimi K3, де його внесок охоплює кілька ключових напрямків розробки, включаючи базові моделі, мультимодальність та підсилене навчання. Має бути зазначено, що в списку авторів статті MoBA його ім’я відсутнє, і між ними немає публічно доступних зв’язків щодо спільної розробки.

Крім того, він брав участь у багатьох дослідженнях у галузі тривимірного бачення, зокрема у OccDepth — тривимірному семантичному доповненні сцен, PVD-AL — активному навчанні з дистиляцією та ACCV 2024 — неявній реконструкції SDF. Його наукові досягнення охоплюють кілька спеціалізованих напрямків, включаючи стиснення моделей, 3D-реконструкцію та розуміння семантичних сцен.

Згідно з публічними треками підписів, дослідницький шлях Сю Вейсіна поступово розширювався від розгортання моделей на краю до тривимірного візуального сприйняття, а потім — до інновацій у базовій архітектурі великих моделей. Він довгий час спеціалізується на ефективних обчисленнях, його технічні компетенції охоплюють широкий спектр, і він є ключовим постійним учасником ітерацій базової технічної стеки Moonshot.

Ду Ченьчжан є ключовим дослідником Moonshot, відповідає за підсилення навчання та розширення здатностей міркування в команді.

Він отримав ступінь бакалавра за спеціальністю інформаційне управління та інформаційні системи в Пекінському університеті авіаційної та космічної техніки, а потім вступив до докторантури в Інституті перехресних інформаційних досліджень Цинхуа, відомому як «Генеральний штаб» талантів у галузі великих моделей.

Під час навчання в Циньхуа він вчився у відомого вченого в галузі штучного інтелекту Чжао Сіна та приєднався до відомої лабораторії MARS (Лабораторія багатомодальності та автономного міркування), де почав зосереджуватися на багатомодальному машинному навчанні, підсиленому навчанні та механізмах підсилення великих мовних моделей.

Під час навчання в аспірантурі він як ключовий автор розробив революційну архітектуру ChatDB, запропонувавши інноваційну ідею «використання баз даних як символічного модуля пам’яті для підсилення великих моделей», що стало вірусним явищем в академічній та промисловій галузі штучного інтелекту того часу.

Щоб набути практичного досвіду роботи з промисловими великомасштабними системами, він під час навчання в аспірантурі приєднався до Пекінського інституту штучного інтелекту Haihua як стажер і активно брав участь у жорсткому дослідницькому проекті з нуля заснування базової системи. Це дозволило йому набути значного досвіду в галузях мультимодального та підсилювального навчання, а також сформувало глибоке розуміння систем та алгоритмів.

Після закінчення навчання він приєднався до Moonshot, часто з’являючись у технічних звітах щодо ключових моделей. Він безпосередньо брав участь у видатній статті «Kimi k1.5: Scaling Reinforcement Learning with LLMs», що досліджує закономірності масштабування підсилювального навчання, а також відігравав роль ключового автора у технічних звітах щодо флагманських моделей Kimi K2 та K2.5.

Він також глибоко брав участь у розробці багатомодального візуального великої моделі Kimi — «Kimi-VL Technical Report» як ключовий співавтор, зосереджуючись на підвищенні здатності великих моделей до сприйняття та багатомодального глибокого міркування складних зображень, діаграм та візуальної інформації реального світу.

Основним напрямком Ду Ченчжуану є інженерія навчання великих мовних моделей (LLM) масштабу, зосереджена на плануванні ресурсів, стабільному навчанні та граничній оптимізації систем для моделей розміром у трильйони параметрів (архітектура MoE) у суперкластерах; а також поєднання підсиленого навчання та мультимодальності, дослідження того, як моделі можуть досягти стрибка в інтелектуальному потенціалі під час складних довгих логічних завдань за допомогою самонавчання та підсиленого навчання, а також ефективного базового поєднання візуальної інформації з мовними моделями.

Яньру Чень є ключовим дослідником Moonshot, спеціалізується на розробці та реалізації базових архітектур великих моделей, технологій довгих текстів, оптимізації обчислювальних ресурсів та багатомодальних інженерних рішень.

Як співавтор статті «Attention Residuals», він участвував у перебудові потоків інформації в глибину великих моделей, успішно вирішивши галузеві проблеми низької ефективності навчання надзвичайно глибоких мереж та перешкод у потоці інформації.

Як співавтор MoBA (мішаної уваги на блоках), він керував та брав участь у розробці ключових базових механізмів Kimi, вирішивши за допомогою розбиття уваги на рівні блоків проблему надмірного споживання обчислювальних ресурсів під час попереднього навчання та висновку для наддовгих контекстів у мільйони токенів, ставши основою для екстремального зниження витрат та підвищення ефективності Kimi.

Він також є співавтором статті «Muon is Scalable for LLM Training» і активно брав участь у розробці важливого відкритого проекту Moonlight та його базового оптимізатора Muon, використовуючи матричну ортогоналізацію для виклику традиційного AdamW і ефективного зменшення обчислювальних витрат при розподіленому навчанні моделей розміром у трильйони параметрів.

Під час ітерації флагманської моделі він глибоко інтегрував повний життєвий цикл розробки попередніх флагманських моделей Kimi (k1.5, K2, K2.5, K3), вирішивши проблеми стабільності та розподілу ресурсів при масштабному підсиленому навчанні та розширенні до трильйона параметрів.

Крім того, у ході технічних досягнень Kimi в галузі мультимодальної лінії (Linear, VL, Audio) він активно досліджував інноваційні лінійні увагові структури, що виходять за межі традиційних Transformer, і керував практичною реалізацією технічних звітів Kimi щодо візуальних та аудіо-мультимодальних технологій, ефективно вирішивши проблеми ефективності при нижчому рівні об’єднання мультимодальних потоків інформації.

Лю Шаовей є ключовим членом лабораторії MADSys при Тсінхуа, а також лідером інфраструктурної (Infra) команди Moonshot.

Коли ви дивуєтеся, що Kimi має трильйони параметрів, а ціна на API дуже низька, за цим стоїть його та його команди наполеглива «мистецтво极致 квантифікації». Він постійно працює над досягненням екстремально низької вартості висновку для моделей розміром у трильйони параметрів, нативною квантифікацією та проектуванням масштабних розподілених обчислювальних топологій.

На найбільш екстремальній відкритій AI-спільноті Reddit LocalLLaMA він опублікував детальну технічну розбірку під назвою «Kimi infra team: Quantization is not a compromise, it's the next paradigm» у якості офіційного експерта Kimi, що викликало величезний резонанс у зарубіжному геймерському середовищі. У цій статті глибоко розкривається базова, надзвичайно складна нативна INT4 квантування формату Kimi K2 та K2.5.

Він не лише є співавтором MoBA (мішаного блокового механізму уваги), а й активно брав участь у розробці розподіленої архітектури для важливого відкритого проекту Moonlight та його базового оптимізатора Muon, значно зменшивши обчислювальні витрати під час розподіленого навчання моделей розміром у трильйони параметрів за допомогою матричної ортогоналізації.

Він також є одним із ключових ініціаторів та розробників відкритого проекту KTransformers від Moonshot, який особисто подолав бар’єр обчислювальних ресурсів для гібридного висновку мільярдних моделей MoE у гетерогенних кластерах.

Чень Гуаньдуо — ключовий дослідник команди Infra компанії Moonshot. Він володіє винятковою міждисциплінарною здатністю у розробці «системи + алгоритми». Його дослідницькі інтереси зосереджені на інфраструктурі великих моделей (Infra), архітектурі ефективних механізмів уваги (Efficient Attention Architecture), прискоренні тонкої настройки великих моделей та оптимізації масштабного зберігання та пошуку.

Він отримав ступінь бакалавра та магістра відділу комп’ютерних наук у Фуданському університеті, де заклав міцну професійну базу в галузі розподілених систем та нижчого рівня архітектури. Пізніше він продовжив навчання в Університеті Наньянг та Гонконзькому університеті науки і технологій, де навчався від відомих вчених у галузі високопродуктивних обчислень та інфраструктури великих моделей Юань Біньхан і Ло Сіцяна, набувши передових академічних перспектив та досвіду розробки.

Перед тим як приєднатися до Moonshot, він глибоко працював у базових ключових відділах провідних інтернет-компаній. Він пройшов стажування як дослідник у команді розробки баз даних ByteDance та в інфраструктурній команді Meituan, активно беручи участь у розробці та оптимізації промислових високопаралельних масштабних розподілених систем.

Під час цього періоду він як ключовий автор оприлюднив дві значущі розробки. У сфері нижчого рівня зберігання він розробив і опублікував «Oasis», запропонувавши оптимальний фільтр діапазону з не перетинаючимися розбиттями, що безпосередньо вирішило індексний обмеження баз даних під час масштабних запитів діапазону;

У застосуванні на рівні додатків він опублікував «Gar», використовуючи підхід «генерація та сортування», що значно підвищило точність великих моделей у точному розумінні складних людських намірів та перетворенні їх на SQL-запити до баз даних (Text-to-SQL).

Чень Гуаньду приєднався до Moonshot у березні 2025 року. Як ключовий член команди Infra, він є співавтором флагманських великих моделей Moonshot — Kimi K2 та Kimi K2.5, а також досяг значних технічних проривів у галузях прискорення тонкої настройки великих моделей, ефективних архітектур уваги та навіть перебудови останньої мережевої архітектури.

Щоб вирішити проблему надмірного використання пам’яті GPU під час тонкої настройки великих моделей, Чень Гуаньдуо керував публікацією статті «Ce-lora», у якій запропоновано обчислювально ефективний метод LoRA-настройки. Ця технологія зменшує використання пам’яті GPU та обчислювальні витрати під час тонкої настройки параметрів великих моделей, прямо збільшуючи пропускну здатність інфраструктури на рівні навчання — її можна назвати «похудінням пам’яті» для тонкої настройки великих моделей.

Стикаючись із проблемою квадратичної експоненційної складності обчислень для довгих текстів, він взяв участь у розробці та опублікував революційну для відкритого співтовариства архітектуру «Kimi Linear» — виразну та ефективну лінійну архітектуру уваги, яка значно знизила обчислювальну складність для довгих текстів, зберігаючи при цьому потужні здібності моделі до представлення даних. Це дозволило зменшити використання KV Cache (кешу ключ-значення) до 75 %, а також досягти 6-кратного зростання пропускної здатності декодування при довжині тексту в мільйони символів — це фундаментальна основа, що підтримує постійний розвиток Kimi у галузі довгих текстів.

Він також є співавтором «Attention Residuals».

Від найбільш базових фільтрів зберігання до обчислювально ефективних алгоритмів тонкої настройки та революційної архітектури Transformer наступного покоління, кар’єрний шлях Чень Гуаньду ідеально відповідає сучасній індустрійній парадигмі переходу великих моделей від «просто збільшення параметрів» до «досягнення максимальної обчислювальної ефективності та інженерної реалізації».

Закінчення

Розробницька команда K3 завжди була скромною і таємничу, і під час аналізу матеріалів нам було важко точно визначити конкретні обов’язки та повну історію кожного члена. Але ця важка список уже дає відповідь: чому саме Moonlight? Чому вони здатні підтримувати супер-оцінку в 700 мільйонів доларів на людину?

Ця група молодих людей, середній вік яких менше 30 років, — це системні архітектори, які справді розуміють економіку обчислювальних потужностей. Від оптимізації планування зберігання, що отримала нагороду за найкращу статтю на провідних конференціях, до фундаментальних інновацій у перебудові механізмів уваги — вони досягли максимуму інженерної ефективності за принципами «довго, швидко, економно».

Саме таке повне інтегрування від верхнього алгоритму до нижнього апаратного забезпечення надає Moonlight Dark Side ключову перешкоду для подолання прокляття «гомогенізації обчислювальних потужностей».

Ще одна цікава деталь полягає в тому, що на кінці загального списку Kimi K3 також став важливою частиною всієї розробницької команди. Творець і створене почали стояти поруч у одному списку — «золота ера» китайських великих моделей вже наступила.