Ringkasan yang dihasilkan AI: Pada Julai 2026, Moon Shadow melepaskan model Kimi K3 secara sumber terbuka dan mengumumkan senarai 401 penyumbang untuk pertama kalinya. Penilaian terkini syarikat mencapai US$31.5 bilion, dengan pasukan berjumlah lebih 300 orang, purata umur di bawah 30 tahun, dan setiap individu menanggung penilaian sebanyak US$700 juta. Pasukan inti termasuk tiga penubuh bersama: Zhou Xinyu, pengendali algoritma; Wu Yuxin, jurutera arkaitektur; dan CTO Zhang Yutao, bersama dengan anggota kunci lain yang datang dari universiti terkemuka seperti Tsinghua dan CMU. Pasukan ini telah mencipta inovasi dalam teknologi asas seperti mekanisme perhatian campuran MoBA, arkaitektur inferens terpisah Mooncake, dan pengoptimum Muon, dengan pencapaian berkaitan menerima penghargaan seperti Kertas Terbaik di persidangan penyimpanan FAST 2025. Pasukan muda para geeks ini dikenali dengan pengurusan rata, memaksimumkan kecekapan kejuruteraan melalui prinsip "panjang, pantas, dan berjimat", menjadikannya kekuatan penting dalam bidang model besar China.

Penulis artikel, sumber: Leiphone

Pada 27 Julai, Moonshot membawa seluruh niat baiknya dengan membuka sumber penuh model Kimi K3 2.8T. Di akhir laporan teknikal, mereka mengumumkan senarai penyumbang sebenar di belakang Kimi K3 untuk pertama kalinya; kami mengira terdapat 401 ahli, yang boleh dikatakan sebagai persembahan menyeluruh terhadap pasukan bakat Moonshot.

Dari pasukan permulaan yang hanya dinilai beberapa ratus juta dolar AS, kini Moonshot telah menjadi "cahaya model tempatan" yang sebenarnya, serta menjadi salah satu pasukan geek sedunia yang mampu bersaing dengan model terkemuka seperti Claude Fable 5 dan GPT-5.6 Sol.

Seiring dengan pelancaran K3, penilaian terkini Moonshot meningkat kepada US$31.5 bilion, atau sekitar RM210 bilion, dan penilaian RM210 bilion ini didorong oleh pasukan yang sangat muda.

Berdasarkan maklumat awam, Moonshot mempunyai sekitar 300 orang lebih, dengan purata umur di bawah 30 tahun, di mana 80% adalah jenis I. Jika dihitung, setiap orang membawa nilai penilaian sebanyak 700 juta yuan.

Bentuk organisasi Moonshot sangat rata. Moonshot mempunyai lima pencipta, dengan setiap orang secara langsung berhubungan dengan 40-50 orang. Di dalamnya dikenal dengan “tiada pangkat, tiada KPI, tiada dinding jabatan”, di mana pekerja boleh menantang bos kapan saja. Satu perincian: pada mesyuarat refleksi awal 2025, seorang pekerja mengusulkan cadangan yang radikal; selepas mendengar, Yang ZhiLin melakukan sesuatu yang lebih radikal lagi—secara langsung meninggalkan K1 untuk beralih ke K2.

Ketidakterbatasan ini juga tercermin dalam "jiwa" syarikat tersebut. Sebagai peminat rock, Yang Zhilin memberi nama ruang mesyuarat dengan nama-nama kumpulan legenda seperti Rolling Stones, Nirvana, dan Radiohead, bahkan pakej keahlian Kimi pun dinamakan mengikut istilah muzik seperti Adagio dan Allegro.

Moonshot percaya bahawa pada hari ini, apabila kuasa pengiraan dan data semakin homogen, "selera" adalah pendorong utama dalam membina penghalang pembezalan. Selera ini tidak hanya terpancar dalam penyempurnaan model, tetapi juga tercermin secara mendalam dalam keperluan dan keinginan mereka terhadap bakat.

Lunar Shadow suka mempekerjakan CEO, sangat menyukai individu dengan "aura pengusaha" atau "gen penjudi". Menurut data awam, sekurang-kurangnya 50 orang di dalam syarikat telah mula atau menyertai syarikat bermula. Dalam setahun terakhir, lebih daripada 100 orang baru yang dipekerjakan oleh Lunar Shadow datang melalui cadangan dalaman.

Hari ini, kami mengikuti senarai dan menggali secara menyeluruh untuk menghimpun semua maklumat boleh dipercayai berkaitan penyumbang K3 di sini. Latar belakang dan kekuatan sebenar pasukan pakar terkemuka ini ditunjukkan sepenuhnya.

01 Kimi - Landasan Utama Sistem Teknologi

Zhou Xinyu adalah salah seorang penemu bersama utama Moonshot AI, serta ketua pasukan algoritma.

Zhou Xinyu dan Yang Zhilin telah mengenali satu sama lain sejak lama; satu butiran menarik ialah Zhou Xinyu pernah menjadi gitaris dalam band Splay Universiti Tsinghua, manakala drummernya ialah Yang Zhilin.

Sebelum menyertai Moonshot, Zhou Xinyu pernah bekerja di Megvii dalam bidang penghasilan algoritma dan penyelidikan model mudah alih. Beliau bekerja rapat dengan Zhang Xiangyu, ketua penyelidikan asas pada masa itu di Megvii dan kini ketua saintis di Jieyue Xingchen, sebagai penulis utama yang menulis sendiri karya rangkaian ringan ShuffleNet.

Arah utama Zhou Xinyu ialah penghasilan algoritma model besar secara masal, dengan keahlian dalam menukar algoritma laboratorium paling mutakhir menjadi sistem lini pengeluaran berskala besar secara berkesan dan berkos rendah. Beliau juga mahir dalam pengoptimuman arsitektur hibrid; dalam sesi tanya jawab teknikal (AMA) komuniti Reddit, beliau menjadi yang pertama menguraikan kelebihan berbanding arsitektur hibrid Kimi K3 KDA yang menggabungkan NoPE MLA, membuktikan bahawa arsitektur ini lebih menjimatkan kuasa pengiraan dan lebih pantas dalam pra-pelatihan dan pembelajaran peningkatan.

Wu Yuxin adalah salah seorang penubuh bersama Moonshot AI. Beliau juga merupakan pakar terkemuka dan arkitek terkenal dalam bidang kecerdasan buatan, dengan penguasaan mendalam dalam rekabentuk kejuruteraan asas dan infrastruktur pembelajaran mendalam, penglihatan komputer (CV), dan model bahasa besar (LLM).

Wu Yuxin dan Yang Zhilin memiliki latar belakang pendidikan yang sama, lulus sarjana dari jurusan Komputer Universitas Tsinghua, kemudian melanjutkan studi ke Carnegie Mellon University (CMU) di Amerika Serikat. Dia pernah menjadi rekabentuk penyelidik di laboratorium penyelidikan Meta AI (FAIR), di mana beliau memimpin dan menyumbang kepada beberapa teknologi penting dalam penglihatan komputer.

Sebelum berkolaborasi dengan Yang Zhilin dalam mendirikan Moonshot, Wu Yuxin telah menciptakan dua pencapaian penting yang menjadi standard industri dalam bidang pembelajaran mendalam dan penglihatan komputer:

Salah satunya sebagai salah satu pencipta dan pembangun utama Detectron2, projek ini secara langsung membentuk semula ekosistem pasca-sarjana penglihatan komputer global, menjadi "tapak universal" bagi ribuan model visual dan projek pengesanan objek di seluruh dunia.

Lebih inovatif lagi, beliau pada tahun 2018 bekerjasama dengan akademik terkemuka He Kaiming dalam menerbitkan karya besar mengenai Group Normalization, yang menerima pencalonan Best Paper Honorable Mention di ECCV 2018.

Kertas klasik ini secara langsung mengatasi bottleneck maut dalam latihan sampel kecil pada Batch Normalization tradisional. Kemampuan untuk "menulis semula peraturan latihan AI global" hanya dengan beberapa baris inovasi asas menjadikan Wu Yuxin memiliki daya tarikan teknikal yang tinggi di dunia sumber terbuka.

Di balik bulan, dia adalah orang yang membina asas. Beliau terlibat secara mendalam dalam pengoptimuman arsitektur model besar dan kecekapan latihan, serta pernah hadir secara langsung ke Konvensyen Pengembang PyTorch sedunia untuk mengupas secara mendalam sumbangan dasar Kimi kepada infrastruktur sumber terbuka sedunia.

Bidang keahlian Wu Yuxin dengan sempurna melengkapi kepingan terakhir teka-teki yang diperlukan Kimi untuk menembusi hadapan teks panjang multimodal generasi seterusnya. Beliau pakar dalam pengoptimuman sistem pembelajaran mendalam berprestasi tinggi, menyelesaikan masalah bagaimana membuat model besar berjalan lebih stabil, mengira lebih pantas, dan menggunakan lebih sedikit memori di bawah parameter triliunan—ini adalah tembok teknikal yang menjaga pengalaman licin Kimi ketika menangani teks panjang dan beban tinggi.

Sebagai salah satu penulis utama MoCo v1, karya penting dalam pembelajaran mendalam, dia menjadikan Kimi tidak hanya memiliki otak terkuat di industri (pemahaman bahasa semula jadi), tetapi juga sedang mengembangkan mata yang mampu memahami secara mendalam dunia fizikal sebenar (visual multimodal).

Zhang Yutao adalah salah seorang penubuh bersama Moonshot AI serta CTO Moonshot AI. Beliau dan Yang Zhilin adalah rakan sekelas di Tsinghua, dengan Tang Jie, penubuh Zhipu, sebagai guru beliau.

Pada tahun 2016, Zhang Yutao bersama Yang Zhilin mendirikan "CirculAI", kemudian bersama-sama dengan Yang Zhilin mendirikan "Lunar Dark Side". Jika Yang Zhilin dianggap sebagai "navigator" Lunar Dark Side, maka Zhang Yutao ialah jurutera utama yang bertanggungjawab menyesuaikan sistem kuasa kapal raksasa "kecerdasan" hingga ke tahap optimum. Kimi mampu mencapai lompatan besar dalam pemrosesan teks panjang, penalaran kompleks, dan pelaksanaan tugas Agent, dan jasa Zhang Yutao tidak boleh dipandang remeh.

Sebelum menyertai Moonshot, beliau telah mencipta beberapa pencapaian "berperingkat industri" dalam bidang pengetahuan grafik dan penggabungan data heterogen.

Salah satu tanda teknikal yang paling terkenal baginya ialah sebagai pemimpin teknikal yang mengendalikan pembangunan platform analisis data besar AMiner. Teknologi integrasi data heterogen yang menjadi asas platform yang kini melayani jutaan akademik global ini mengandungi kemampuan asas yang turut dibina oleh Zhang Yutao semasa pengajian doktoratnya di Tsinghua. Wawasan mendalam terhadap “bagaimana pengetahuan dalam jumlah besar diserap, difahami, dan dicari oleh mesin” ini secara langsung membentuk asas teknikal bagi kemampuan pemrosesan teks panjang Kimi.

Dalam sumbangan akademik, beliau telah menerbitkan banyak kertas kerja yang banyak dikutip di konferensi komputer terkemuka seperti KDD dan CIKM. Beliau tidak hanya mahir dalam menjadikan AI memiliki "rasa logik" melalui pengetahuan grafik, tetapi juga memimpin pembangunan "Platform AI Nol-Sampel Seribu Putaran" semasa era kecerdasan berulang, mencapai pelaksanaan berskala model industri dalam skenario perkhidmatan perusahaan.

Arah fokus Zhang Yutao secara tepat meramalkan setiap titik peralihan AI dari "mampu berbicara" ke "mampu bekerja". Beliau berfokus pada mendorong teknik jendela konteks panjang dan arsitektur rangkaian dinamik, menyelesaikan bagaimana membuat AI tetap "sedar" dalam jumlah maklumat yang besar.

Pada puncak teknologi terkini pada Julai 2026, beliau menggariskan tiga alur teknologi pengilangan industri secara tepat: tahun 2023 adalah era Prompt yang fokus pada "bagaimana bertanya", tahun 2024 berkembang kepada era Context yang menekankan "memberikan maklumat yang mencukupi", dan pada tahun 2026, model besar secara rasmi memasuki peringkat baru kejuruteraan Harness. Kini, beliau sedang memimpin pasukannya untuk menyelesaikan pertempuran akhir "bagaimana membina persekitaran operasi supaya AI boleh memperbaiki dirinya sendiri secara berputar apabila menghadapi masalah".

Xu Xinyan ialah Wakil Presiden Kejuruteraan dan Pengurus Infrastruktur AI di Moonshot AI.

Dia memiliki pengalaman dalam pembangunan lapisan penuh, sebelumnya bertanggung jawab atas pengembangan kerangka pembelajaran mendalam MegEngine (Tianyuan) dan sistem pencarian vektor miliaran di Megvii. Kini, dia terutama bertanggung jawab atas reka bentuk keseluruhan infrastruktur, latihan, dan inferensi model besar Moonshot.

Pada sisi inferens model besar, bagi skenario teks panjang Kimi, beliau dan pasukannya secara bersama-sama merekabentuk arsitektur inferens berpusat pada KV Cache, bernama Mooncake. Prestasi ini memenangi Anugerah Makalah Terbaik di persidangan penyimpanan terkemuka FAST 2025, kerana berjaya memisahkan sepenuhnya peringkat pra-isian (Prefill) dan dekod (Decode), serta mengurangkan tekanan memori grafik dan I/O akibat konteks super panjang berjumlah jutaan.

Sementara itu, sebagai salah satu penulis utama mekanisme MoBA (Mixed Block Attention), beliau telah mencapai pengurangan kos dan peningkatan kecekapan yang besar untuk Kimi melalui pembahagian perhatian pada aras blok, baik dalam latihan mahupun inferens.

Di sisi pelatihan model, beliau terlibat dalam pembangunan projek sumber terbuka Moonlight dan optimizer bawahannya, Muon, menggunakan penggantian berdasarkan ortogonalisasi matriks bagi AdamW tradisional, yang mengurangkan kos pengiraan untuk model dengan triliunan parameter dalam pelatihan teragih.

Berdasarkan serangkaian praktik penyimpanan terdistribusi dan inferens di bawah lalu lintas teks panjang berskala besar, beliau telah diundang untuk memberi ucapan di GOSIM China Global Open Source Conference. Fokus keahliannya selalu pada arsitektur model besar penuh, berusaha menyokong inferens teks panjang berkecerdasan tinggi dengan pengurangan FLOPs dan penggunaan KV Cache yang lebih rendah.

Sebagai ketua sistem penalaran Moon Shadow, beliau adalah penulis utama kertas kerja terbaik di konferensi terkemuka FAST 2025, serta tulang punggung teknikal utama dalam pelaksanaan rekabentuk penalaran teks panjang Kimi. Dari Kimi k1.5, Kimi-VL, K2 hingga Kimi Linear, Kimi-Audio, serta kertas kerja utama seperti MoBA, Muon, dan AttnRes, namanya tercantum di sepanjang enam generasi pencapaian teknologi, dengan semua kerja beliau sentiasa berpusat pada satu inti: menukar rekabentuk sistem demi kecekapan, menjadikan model besar benar-benar boleh diakses.

Sebelum menyertai Moonshot, He Weiran telah berkecimpung lama dalam bidang pengiraan berkesan tinggi. Beliau lulus dari Jabatan Komputer, Universiti Tsinghua, dan pada awal kerjayanya berfokus pada penempatan laluan cip dan pengoptimuman prestasi peringkat bawah; semasa di Megvii, beliau memimpin usaha mengembangkan cip AI buatan sendiri dan rangkaian saraf lebar rendah, serta bekerja bersama Zhou Xinyu, rakan penubuh bersama Moonshot kemudian—Zhou Xinyu ialah pencipta pertama skema pengesanan teks OCR klasik EAST.

Setelah menyertai Yueju Anmian pada tahun 2023, dia menerapkan semua pengalaman rekabentuk sistemnya bertahun-tahun ke dalam perkhidmatan inferens model besar dengan parameter berbilion.

Hasil paling terkenalnya ialah arsitektur inferensis terpisah KVCache, Mooncake. Sistem ini memecahkan pola tradisional perkhidmatan inferensis, memisahkan cache ingatan yang paling memakan memori grafik model besar dan mengagihkannya secara terpusat, serta meningkatkan kapasiti permintaan Kimi melebihi 75% tanpa meningkatkan skala kuasa pengiraan melalui penggunaan semula cache global dan penarikan laluan yang tepat. Pada perjumpaan QCon Q4 2024, beliau mengungkap bahawa berkat arsitektur ini dan pengoptimuman kejuruteraan berterusan, kos unit cluster inferensis Kimi turun melebihi 20 kali dalam setahun.

Pada Februari 2025, kertas kerja berkaitan Mooncake memenangi Anugerah Kertas Kerja Terbaik Eric Riedl di konferensi FAST—salah satu penghargaan tertinggi dalam bidang sistem penyimpanan. Lebih lagi, sebelum kertas kerja ini secara rasmi memenangi anugerah, arsitektur ini telah beroperasi secara stabil di ribuan nod persekitaran pengeluaran Kimi, memproses permintaan pengguna sebanyak berbilion token setiap hari.

Walaupun laporan teknikal K3 tidak mengungkapkan tugas peribadi secara spesifik, pelbagai terobosan utama berterusan dengan garis teknologi pasukannya: bagi mengatasi masalah kegagalan cache awalan tradisional dalam arsitektur hibrid KDA+MLA, pasukan memberikan sumbangan implementasi rasmi kepada komuniti vLLM; bagi permintaan panjang sehingga jutaan token, kluster menggunakan strategi penjadualan penyesuaian cache untuk memaksimumkan kecekapan penggunaan semula cache. Hasil akhir K3 menunjukkan kos inferens hanya 38% daripada Claude Fable 5, dan pengoptimuman KVCache, cache awalan, serta kawalan kos semuanya merupakan topik utama dalam sistem Mooncake.

Dari penjadualan cip hingga inferens model trilionan, jalan teknologi He Weiran sentiasa jelas: memperjuangkan kecekapan sistem, menukar rekabentuk kejuruteraan kepada kos pengiraan yang lebih rendah. Jika penyelidik algoritma terkemuka meningkatkan had kemampuan Kimi, beliau dan pasukannya pula memastikan kemampuan旗舰 ini direalisasikan secara praktikal, membolehkan lebih ramai pengguna biasa menggunakannya dengan mudah dan stabil.

02 Tenaga Penggerak Teras · Tulang Belakang Peringkat Pelaksanaan

Du Yulun bertanggung jawab atas arah pra-pelatihan (Pretraining) dan penskalaan (Scaling) di Moonshot.

Beliau lulus dari Universiti Illinois, Urbana-Champaign, Amerika Syarikat, dan Universiti Carnegie Mellon dengan spesialisasi dalam kecerdasan buatan. Selepas itu, beliau menyertai Cycle Intelligence, pernah menjabat sebagai penyelidik dan ketua AI Lab, serta merupakan salah seorang tokoh teknologi utama Moonshot.

Sebagai orang yang bertanggung jawab utama dalam arah pra-pelatihan dasar model dan penskalaan, sumbangan teknisnya merangkumi sepenuhnya dasar unggulan inti sepanjang sejarah Kimi, serta reka bentuk arsitektur keseluruhan multimodal seperti VL dan Audio.

Dalam terobosan teknologi asas, beliau ialah penulis bersama kertas kerja "Attention Residuals", "MoBA (Mixed Block Attention)", dan "Muon is Scalable for LLM Training". Kerja beliau berpusat pada: mengurangkan masalah pelunturan isyarat dalam rangkaian sangat dalam melalui pembahagian perhatian pada aras blok dan reka semula aliran latihan, secara ketara meningkatkan kecekapan latihan teragih untuk model besar berbilion trilion.

Di peringkat sumber terbuka kejuruteraan, beliau merupakan penyumbang inti aktif kepada projek sumber terbuka rasmi MoonshotAI. Berdasarkan rekod kerjasama kod, Du Yulun bekerjasama secara rutin dengan pakar algoritma Su Jianlin dan pengurus sistem inferens He Weiran dalam pembangunan kod dan semakan kod, ketiga-tiga mereka bersama-sama membentuk lingkaran teknikal bawah yang menyokong pemprosesan teks panjang berjuta-juta dan aliran multimodal yang cekap untuk Kimi.

Zhang Yu adalah arkitek utama Moonshot, fokus pada reka bentuk arsitektur yang efisien, boleh dikembangkan, dan mesra peranti untuk model bahasa besar. Sebagai perintis dalam pendekatan bukan Transformer dan perhatian linear, beliau berusaha mengatasi kutukan kejuruteraan di mana teks panjang menjadi semakin perlahan dan sangat mahal.

Dalam akademik dan amalan kejuruteraan, Zhang Yu mencapai banyak pencapaian. Beliau bukan sahaja salah seorang penulis utama bersama kertas kerja "Attention Residuals" mengenai residual connections, tetapi juga penulis utama utama dalam pembangunan arsitektur model efisien Moonshot.

Model Kimi Linear yang dipimpinnya secara open-source pertama kali berjaya menerapkan mekanisme perhatian linear pada tugas konteks super panjang, mencapai peningkatan kecekapan yang revolusioner. Selain itu, "Perjalanan Pengembangan Kimi Linear" yang dibahagikannya di komuniti teknikal seperti Zhihu masih dianggap sebagai panduan wajib baca oleh ribuan jurutera data model besar.

Dari membongkar dasar model 7B hingga membantu model besar dengan parameter triliunan mencapai kelas teratas global dalam satu pertempuran, Zhang Yu bergerak dengan lancar di antara dunia akademik dan industri, meninggalkan banyak kod keras di konferensi akademik terkemuka dan komunitas sumber terbuka.

Siri terobosan ini berasal dari pengkhususan beliau dalam teknologi inti: dalam reka bentuk arsitektur model yang cekap, beliau fokus pada pengoptimuman bottleneck komunikasi dan memori semasa ekspansi kedalaman model; dalam peningkatan dinamik dan kecekapan latihan, beliau menyelesaikan masalah pengenceran gradien dan ledakan keadaan tersembunyi yang disebabkan oleh PreNorm dalam model besar melalui reka semula aliran sisa bawah.

Lai Guokun adalah alumni ganda Tsinghua dan Carnegie Mellon milik Yang Zhilin.

Dia adalah salah satu penyelidik dengan jumlah kertas kerja paling banyak dalam pasukan Kimi, dengan lebih daripada sepuluh kertas kerja; bukan sahaja beliau merupakan salah satu wakil utama "Kelab Geni" Moonshot, tetapi juga penyumbang utama Kimi K3, serta seorang tokoh besar dengan pencapaian "definisi" di kalangan akademik.

Sebelum menyertai Moonshot, Lai Guokun telah mencipta dua pencapaian penting berstandar industri dalam bidang NLP (Pemprosesan Bahasa Semula Jadi).

Satu daripadanya ialah mencipta salah satu set data pemahaman mesin terbesar di dunia, "Set Data RACE", yang secara langsung melatih AI menggunakan soalan peperiksaan bahasa Inggeris pelajar China, menjadikannya tolok ukur global untuk pemahaman mesin.

Lebih menakjubkan lagi, kertas kerjanya semasa sarjana mengenai algoritma cadangan, berjudul "Explicit factor models for explainable recommendation", pada tahun 2024, sepuluh tahun kemudian, memenangi Anugerah Ujian Masa SIGIR—salah satu penghargaan tertinggi dalam bidang penemuan maklumat, yang secara khusus diberikan kepada kertas kerja yang diterbitkan sepuluh tahun lalu, yang telah melewati ujian masa dan memberi kesan kekal kepada industri.

Orang yang memiliki kemampuan untuk 'mentakrifkan jalan teknologi untuk sepuluh tahun ke depan' sejak peringkat sarjana muda bukanlah satu-satunya di Yue Zhi An Mian.

Arah penyelidikan Lai Guokun sangat sejajar dengan kemampuan utama Kimi, seperti keahliannya dalam "pemahaman membaca mesin", yang menyelesaikan bagaimana membuat AI memahami dokumen panjang dan menjawab soalan—ini merupakan dasar teknologi utama kemampuan teks panjang Kimi.

Model besar pra-dilatih adalah salah satu fokus penyelidikannya semasa di CMU, selain itu juga mengkhususkan diri dalam pencarian arsitektur saraf, mengkaji bagaimana AI boleh merekabentuk struktur rangkaian yang lebih baik secara automatik, serta sistem cadangan yang boleh dijelaskan, di mana AI tidak hanya mencadangkan kandungan, tetapi juga memberitahu pengguna mengapa kandungan tersebut dicadangkan.

Guo Haiqing adalah salah satu ahli pembangunan inti awal pasukan Kimi dari Moonshot, merupakan anggota veteran pasukan yang terlibat sepenuhnya dalam pembangunan dan pengulangan projek inti pelbagai generasi Kimi.

Projek yang boleh disahkan secara awam termasuk laporan teknikal Kimi k1.5, laporan teknikal Kimi K2, kertas kerja arsitektur inti AttnRes, dan laporan teknikal Kimi K3. AttnRes merupakan salah satu daripada dua inovasi arsitektur inti Kimi K3.

Berdasarkan jejak tanda tangan, beliau merangkumi keseluruhan kitaran pengembangan dari Kimi generasi k1.5 hingga K3, serta terlibat dalam semua tahap penting pengembangan produk lintas generasi, menjadikan beliau peserta utama berterusan dalam pasukan teknologi Kimi. Pada masa ini, jawatan spesifik dan tugas pengembangan terperinci beliau belum diumumkan melalui saluran awam.

Chen Guangyu mungkin merupakan penyelidik termuda di Moonshot, dilahirkan pada tahun 2009, berumur 17 tahun, seorang remaja yang pernah membuat Elon Musk terkesan di X dengan mengatakan "Impressive".

Semasa Moonshot melancarkan flagship Kimi K3 dengan 2.8 trilion parameter yang mengejutkan dunia, beliau telah disenaraikan bersama pakar teknologi seperti Su Jianlin dan lain-lain sebagai penulis bersama pertama untuk karya asas struktur utama Kimi K3, “Attention Residuals”.

Mekanisme Attention Residuals yang dia terlibat dalam secara langsung merevisi sambungan residual standar yang telah digunakan selama sepuluh tahun dalam bidang pembelajaran mendalam, dengan menggunakan "perhatian mendalam yang dapat dipelajari" agar model mampu melihat "kembali secara cerdas". Rekonstruksi dasar ini secara langsung meningkatkan efisiensi ekspansi model sebesar 1,25 kali, memungkinkan perusahaan China untuk bergerak lebih cepat dengan biaya lebih rendah dalam pertarungan kekuatan komputasi triliunan. Kisahnya bergabung dengan Moonshot sangat ajaib. Setahun yang lalu, dia bahkan tidak tahu apa itu Transformer, tetapi karena mengusulkan ide "tangan mekanis tambahan ketiga manusia" dalam sebuah hackathon, dia ditemukan oleh perusahaan rintisan Silicon Valley. Tujuh minggu kemudian, tim Kimi benar-benar terkesan dan secara istimewa memasukkannya ke dalam kelompok penelitian inti perusahaan. Pada minggu pertama bergabung, dia langsung melanggar semua konvensi, membongkar secara manual, dan memenangkan juara umum dalam maraton hacker ekstrem 48 jam internal Kimi.

Dalam laporan teknikal Kimi, nama Du Angang sentiasa disenaraikan di tempat pertama. Beliau merupakan salah satu tulang belakang utama dalam sistem multimodal Moonshot, dan merupakan salah seorang penyelidik sedikit yang hadir sepenuhnya dalam lima generasi dalam laporan teknikal Kimi. Beliau telah memperoleh tempat pertama dalam senarai nama pasukan sebanyak dua kali, dan dipercayai sumbangan utamanya dalam Kimi K3 berada dalam bidang visual.

Sebelum menyertai Moonshot, Du Angang telah membina dua asas yang sangat penting dalam bidang penglihatan komputer.

Satu arah yang mendalam dalam penglihatan mikroskopik bawah air. Selama tujuh tahun sarjana dan magister, saya belajar di Laboratorium Penglihatan Bawah Air, Universiti Kelautan China, dengan fokus pada pengelasan imej mikroskopik plankton yang sangat sukar—membuat AI mengenal pasti kehidupan terkecil di laut dengan tepat dalam gambar mikroskopik yang kabur, sampel jarang, dan perbezaan spesies yang sangat halus.

Pada tahun 2020, beliau menjadi penulis pertama dalam kajian yang diterbitkan di Global OCEANS, menggunakan pemodelan ciri kedua untuk menyelesaikan masalah pengelasan halus, dan merupakan satu-satunya hasil dalam sepuluh tahun kajian arah ini di makmal yang dijalankan oleh pelajar siswazah sebagai penulis pertama.

Yang lebih berkesan dalam industri ialah pencapaiannya semasa di Megvii. Kajian penganggaran postur pelbagai peserta yang beliau terlibat telah diterima oleh konferens terkemuka penglihatan komputer, ECCV 2020, dengan rujukan kertas kerja tersebut melebihi 300 kali, menjadikannya rujukan penting dalam bidang penganggaran postur manusia. Senarai rakan kajian karya ini termasuk tokoh terkemuka dalam bidang penglihatan seperti Sun Jian dan Zhang Xiangyu, serta Zhou Xinyu, salah seorang penubuh bersama Moonshot AI.

Setelah bergabung dengan Kimi, beliau memperdalam reka bentuk visual encoder, penyelarasan multimodal, dan teknologi agen visual, khususnya dalam pemahaman gambar resolusi tinggi, analisis video urutan panjang, dan pembelajaran penguatan multimodal—yang merupakan dasar teknologi utama bagi kemampuan multimodal asli Kimi. Selain itu, keahliannya juga meluas ke infrastruktur pelatihan model besar—dari stabilitas pengoptimum hingga sintesis data agen, membentuk kemampuan penuh dari algoritma visual dasar, pelatihan model, hingga penerapan agen di tingkat atas.

Pada tahun 2025, beliau menerbitkan model multimodal sumber terbuka Kimi-VL sebagai penulis pertama, dengan encoder visual MoonViT buatan sendiri yang menyokong input resolusi sangat tinggi secara asli, dipadukan dengan kemampuan konteks panjang 128K, menjadikan Kimi mampu memahami teks multimodal panjang seperti menonton video panjang dan dokumen panjang secara menyeluruh, serta membina asas teknologi untuk keseluruhan kemampuan multimodal Kimi.

Pada peringkat K2, beliau terlibat secara mendalam dalam pembangunan MuonClip Optimizer, bekerjasama dengan mekanisme QK-Clip untuk menyelesaikan masalah utama industri berupa ketidakstabilan dalam latihan model besar, menyokong pelaksanaan latihan berskala super besar 15.5 trilion Token dengan “puncak kehilangan sifar”, serta secara signifikan mengurangkan kos dan risiko pengiraan latihan; pada peringkat K3, saluran sintesis data agen yang dipimpinnya membolehkan model menghasilkan data latihan berkualiti tinggi secara autonomi, memberikan sokongan data penting yang membolehkan K3 berada di kalangan kumpulan teratas global dalam tugas-tugas sukar seperti pengaturcaraan dan agen.

Bagi Kimi, sumbangan beliau merangkumi seluruh jalan evolusi kemampuan multimodal.

Qu Bowen (Bowen Qu / Brian Qu) berada dalam pasukan selepas latihan model, beliau memperoleh ijazah sarjana muda dari Sekolah Elektronik, Informasi dan Komunikasi, Universiti Sains dan Teknologi China Tengah, serta ijazah sarjana dari Sekolah Elektronik, Universiti Peking. Kajian beliau berfokus pada arah multi-modal besar model, secara khusus merangkumi pembelajaran penguatan multi-modal, model visual-bahasa, agen AI, dan penilaian kualiti kandungan AIGC.

Setelah menyertai Moonshot, pekerjaan utama Qu Bowen berpusat pada pembangunan kemampuan multimodal rangkaian Kimi, secara mendalam terlibat dalam projek Kimi-K2.5, serta menyertai pengembangan arah pembelajaran penguatan multimodal asli. Kimi-K2.5 ialah model agen multimodal asli yang dilancarkan oleh Moonshot, dengan jumlah parameter keseluruhan 1T dan parameter yang diaktifkan 32B.

Sistem pembelajaran penguatan multimodal asli yang dikendalikan oleh Qu Bowen melangkah keluar dari lintasan tradisional model multimodal yang terlebih dahulu menyelesaikan fine-tuning pengawasan visual sebelum memulai pembelajaran penguatan, dan mengusulkan pendekatan pelatihan yang memulai dari model inferensi teks murni tanpa fine-tuning pengawasan visual, serta secara langsung memperoleh kemampuan inferensi visual melalui pembelajaran penguatan visual, menghindari gangguan terhadap kemampuan inferensi bahasa asli model akibat data visual berkualitas rendah.

Penyelidikan Qu Bowen bermula dengan arah penilaian kualiti kandungan AIGC, dengan hasil berkaitan yang diterbitkan secara berturut-turut di ICME 2024, CVPRW 2024 dan pertemuan antarabangsa lain. Kertas kerja yang diterbitkan di ICME 2024 mengatasi masalah sistem penilaian imej yang dihasilkan AI yang hanya memfokuskan pada kecantikan visual dan ketajaman, sambil mengabaikan kesesuaian kandungan yang dihasilkan dengan arahan pengguna, dengan mencadangkan integrasi kata kunci teks ke dalam sistem penilaian kualiti imej yang dihasilkan, serta membina standard penilaian yang merangkumi kualiti visual dan kepatuhan terhadap arahan, meningkatkan kelengkapan dan keselarasan penilaian kandungan yang dihasilkan AI dengan persepsi manusia.

Qu Bo Wen juga muncul dalam senarai penyumbang versi multimodal siri Kimi. Sebagai penyelidik muda, laluan penyelidikan Qu Bo Wen merangkumi pembinaan sistem penilaian, pembinaan kemampuan model, dan seterusnya kepada pengembangan kemampuan agen tingkat tinggi, dengan hasil yang rapat dengan keperluan sebenar industri dan secara langsung melayani peningkatan berterusan model peringkat pengeluaran.

Dalam senarai lebih daripada 400 penyumbang Kimi K3, Lu Enzhe bukanlah nama yang disenaraikan paling awal, tetapi tindakannya sangat tepat. Setiap pencapaian beliau menepati titik kesakitan utama dalam pelaksanaan model besar, menjadikan beliau sebagai pembina utama sistem pengiraan efisien Kimi.

Arahan penyelidikan Lu Enzhe boleh diringkaskan dengan tiga perkataan: panjang, pantas, berjimat. Matlamat utamanya ialah membolehkan model besar memproses teks yang lebih panjang dengan kos yang lebih rendah dan kelajuan yang lebih cepat. Bagi Kimi, beliau bertanggungjawab atas peningkatan kecekapan keseluruhan rantai dari latihan hingga inferens.

Pada Februari 2025, beliau menerbitkan mekanisme perhatian blok hibrida MoBA sebagai penulis pertama, memindahkan idea pemilihan pakar MoE ke lapisan perhatian, membolehkan model hanya mengambil blok konteks yang paling relevan untuk pengiraan semasa memproses permintaan. Dengan kejarangan 95%, prestasinya sepadan dengan perhatian penuh, mencapai peningkatan 6.5 kali laju推理 untuk token jutaan dan 16 kali laju untuk token puluhan juta, secara langsung memperkuat struktur asas kemampuan konteks panjang super Kimi.

Pada hari pelancaran, kertas kerja ini muncul bersamaan dengan kertas kerja NSA DeepSeek, menjadi peristiwa perlanggaran teknologi paling diperhatikan dalam kalangan komuniti model besar domestik pada tahun tersebut; nilai kejuruteraannya lebih jelas terlihat apabila rangkaian ini telah berjaya menangani permintaan pengguna konteks panjang dalam persekitaran pengeluaran Kimi selama hampir setahun sebelum diluluskan sebagai kertas kerja Spotlight oleh NeurIPS 2025.

Selain itu, dari perhatian KDA MoBA hingga Kimi Linear, beliau secara teliti memperjuangkan kecekapan inferensi peranti keras dalam reka bentuk arsitektur; di sisi latihan, implementasi terdistribusi optimiser Muon yang beliau terlibat mencapai penggunaan memori optimum dan komunikasi yang efisien, secara nyata mengurangkan kos pengiraan untuk latihan model besar. Dengan mempertimbangkan laporan teknikal AttnRes serta K1.5, K2, Kimi-VL dan generasi teknologi lain, kertas kerja beliau merangkumi seluruh rantai teknologi model besar yang cekap.

Dalam pasukan, beliau berpasangan tetap dengan Chiu Jiezhong, salah seorang penulis komunikasi bagi kertas MoBA, di mana satu orang menyerang dan satu orang mengawal arah, bekerjasama dengan sangat selari.

Wang Yuzhi adalah seorang penyelidik di Moonshot AI dan salah satu pemberi nama yang paling sering muncul dalam laporan teknikal siri Kimi.

Dari k1.5 pada Januari 2025 hingga Kimi K3 pada Julai 2026, namanya muncul dalam hampir setiap dokumen teknikal syarikat ini, merangkumi visual, audio, arsitektur perhatian, pengoptimum latihan, model unggul, hingga kerangka tata kelola risiko AI terkini.

Beliau memperoleh ijazah sarjana muda dari Universiti Sains dan Teknologi Xi'an, dan ijazah doktor dalam Kejuruteraan Elektronik dari Universiti Tsinghua; selepas menyertai Institut Penyelidikan Megvii, beliau berkhidmat sebagai Jurutera Penyelidikan; pada tahun 2024, beliau menyertai Moonshot AI sebagai penyelidik sehingga kini.

Sebelum menyertai Moonshot, penyelidikannya berfokus pada pengimejan komputasi dan penglihatan bawah. Hasil yang mewakili termasuk: sebagai penulis pertama, menerbitkan kertas kerja tentang penurunan bunyi imej RAW di peranti mudah alih di ECCV 2020, arah ini masih menjadi salah satu karya rujukan utama dalam imej mudah alih; sebagai ahli pasukan Megvii, memenangi gelaran juara global dalam litar raw-RGB cabaran NTIRE 2019 untuk penurunan bunyi imej sebenar; serta sebagai penulis bersama menyertai karya klasik dalam bidang OCR, EAST (CVPR 2017, dikutip lebih daripada 2,500 kali).

Semasa periode Moon Shadow, beliau menyertai penandatanganan sepuluh dokumen teknikal, termasuk: k1.5, K2, K3, Kimi-VL, Kimi-Audio, MoBA, Muon, Kimi Linear, empat kertas arsitektur dan kecekapan Attention Residuals, serta kerangka pengurusan risiko AI terkini.

Perlu diperhatikan bahawa beliau merupakan salah seorang penulis dalam keempat-empat kertas kerja mengenai struktur dan kecekapan syarikat, lingkup penyertaan yang tidak biasa dalam senarai penyumbang berjumlah kira-kira 400 orang. Tanggungjawab spesifik beliau di K3 tidak tersedia secara awam.

Mao Shaoguang adalah tulang belakang utama dalam garis teknologi Kimi Agent, terlibat sepenuhnya dalam pengembangan empat generasi unggulan K2, K2-Thinking, K2.5, dan K3, serta merupakan salah satu daripada sedikit penyelidik dalam industri ini yang telah mengalami secara penuh dua peralihan paradigma dalam bidang Agent.

Sebelum menyertai Moonshot, beliau sudah merupakan salah seorang pelaku awal di negara ini yang melaksanakan Agent.

Lulusan master komputer dari Universiti Tsinghua, menduduki 0.2% teratas semasa di universiti dan menerima biasiswa negara. Beliau pernah bekerja sebagai asisten penyelidik di Universiti Chinese Hong Kong dan menjalani latihan di kumpulan suara Institut Penyelidikan Microsoft Asia. Selepas graduan, beliau bekerja di Microsoft selama hampir enam tahun, berubah dari jurutera institut kepada jurutera pembangunan senior.

Pada awal 2023, terlibat dalam pembangunan TaskMatrix.AI, menghubungkan ChatGPT dengan ratusan ribu kemampuan API; kemudian bersama-sama mencadangkan kaedah Solo Performance Prompting, yang membolehkan model tunggal berperanan sebagai banyak peranan untuk mensimulasikan kerjasama agen pelbagai, teknologi berkaitan telah dilaksanakan ke dalam Microsoft 365 Word.

Itu adalah "era kerangka" bagi Agent—semua kemampuannya bergantung pada alat luar dan dipandu oleh Prompt, dan dia adalah saksi serta pembina jalur teknologi ini.

Namun, Mao Shaoguang, yang telah melalui jalan ini secara langsung, adalah yang pertama memahami batasan model lama. Pada Jun 2025, beliau menulis satu pengakuan industri di Zhihu: "Arah ini semakin tidak menarik, ada perasaan sedang mempercepat kematiannya."

Setelah menyertai Moonshot pada Februari 2025, beliau sepenuhnya beralih ke jalur end-to-end "Model sebagai Agent". Hanya dalam empat bulan, beliau terlibat dalam pelaksanaan produk Agent pertama Kimi, Kimi Researcher:

Dilatih sepenuhnya melalui pembelajaran penguatan end-to-end tanpa pra-set proses apa pun, tugas tunggal ini mampu menyelesaikan rata-rata 23 langkah penalaran, memindai secara mandiri 206 laman web, dan menghasilkan laporan penyelidikan sepuluh ribu kata dengan kutipan yang sesuai, mencapai 26,9% pada benchmark HLE, memecahkan rekod tertinggi global pada masa itu. Dia juga salah satu daripada dua penulis yang disenaraikan dalam pernyataan teknikal rasmi produk tersebut.

Selepas itu, dia terlibat secara mendalam dalam pengembangan empat generasi flagship dari K2 hingga K3. Indeks HLE meningkat dari 8.6% hingga 26.9%, lengkung prestasi yang hampir sepenuhnya didorong oleh pembelajaran penguatan ini merupakan laporan pencapaian jalan teknologi barunya.

Dari menyambung API luar untuk memperluas kemampuan model besar, hingga membuat model secara intrinsik belajar memanggil alat dan menyelesaikan tugas kompleks secara mandiri, perjalanan karier Mao Shaoguang selama sepuluh tahun terakhir secara tepat menggambarkan lengkungan penuh industri Agent yang bergerak dari “perakitan gabungan” menuju “pertumbuhan asli”. Dengan secara langsung terlibat dalam paradigma lama dan kemudian secara aktif menciptakan jalan baru, penilaian beliau terhadap industri ini didukung oleh hasil nyata yang paling kuat.

Qin Ruoyu ialah pelajar doktoral di laboratorium MADSys, Jabatan Komputer, Universiti Tsinghua, di bawah bimbingan Profesor Associate Zhang Mingxing. Kajiannya berfokus pada sistem pembelajaran mesin yang cekap, khususnya dalam dua arah: perkhidmatan inferens model bahasa besar berskala besar dan sistem rollout pembelajaran penguatan.

Mooncake, yang dikembangkan oleh Qin Ruoyu bersama pasukan Moon Shadow, adalah arsitektur inferensi terpisah yang berpusat pada KVCache. Arsitektur ini memisahkan fasa Prefill dan Decode untuk dijalankan pada kluster yang berasingan, sambil mengintegrasikan sumber daya CPU, memori, dan SSD yang tidak digunakan dalam kluster GPU menjadi kolam cache terdistribusi. Pencapaian ini menerima Anugerah Makalah Terbaik Erik Riedel di konferensi penyimpanan terkemuka FAST 2025.

Mooncake adalah platform perkhidmatan peringkat pengeluaran yang telah dilaksanakan, dan ringkasan kertasnya secara jelas menyatakan di awal: “Mooncake adalah platform perkhidmatan untuk Kimi”. Dalam beban perniagaan sebenar, Mooncake mampu meningkatkan jumlah permintaan yang diproses oleh Kimi sebanyak 75%; dalam skenario konteks panjang, kapasiti pemrosesan permintaan berkesan meningkat sebanyak 59% hingga 498%. Sistem ini kini telah dilaksanakan di ribuan nod dan memproses lebih daripada 100 bilion token setiap hari.

Pada tahun 2024, Moon Shadow bekerjasama dengan laboratorium MADSys dari Tsinghua membuka sumber projek Mooncake (repo sumber terbuka ialah kvcache-ai/Mooncake), sehingga kini jumlah bintang GitHub projek ini telah melebihi 6,000. Data dan maklumat berkaitan boleh dirujuk daripada paper arXiv (nombor 2407.00079), pengumuman laman web jabatan Komputer Tsinghua, serta repo sumber terbuka projek.

Selepas Mooncake, penyelidikan Qin Ruoyu terus mendalam ke arah sistem penarikan kesimpulan. Kertas kerjanya sebagai penulis pertama, Seer, dipilih untuk OSDI 2026; karya ini mengatasi bottleneck prestasi rollout dalam pembelajaran penguatan melalui teknik pemotongan rollout, penjadualan sedar konteks, dan penghuraian spekulatif berkelompok, mencapai peningkatan throughput rollout end-to-end sehingga 2.04 kali ganda dan pengurangan latensi ekor panjang sebanyak 72% hingga 94%. Kertas kerja lain sebagai penulis pertama, Prefill-as-a-Service, pula mencadangkan reka bentuk arsitektur penarikan kesimpulan generasi seterusnya yang melibatkan perkongsian KVCache antara pusat data.

Qin Ruoyu juga muncul dalam senarai penyumbang projek K3. Prestasi produk model besar disokong oleh dua aspek kemampuan: pembangunan model menentukan had kemampuan model, manakala rekabentuk sistem menentukan ketersediaan dan kos operasi perkhidmatan dalam skenario arus tinggi.

Persaingan dalam industri model besar semasa ini sedang bergerak dari perbandingan kemampuan latihan kepada pertandingan kemampuan kejuruteraan perkhidmatan. Sebagai pelajar doktoral, Qin Ruoyu mampu menghasilkan pencapaian setaraf kertas terbaik konvensyen terkemuka dalam bidang ini, terutamanya kerana penyelidikannya secara langsung berfokus pada skenario pengeluaran, dengan hasilnya dilaksanakan dalam sistem perniagaan sebenar.

Anggota inti tim Kimi dari Bulan Gelap, dengan jejak penelitian yang mencakup tiga bidang utama: biologi komputasi, sistem rekomendasi, dan model besar, serta terlibat penuh dalam iterasi teknologi model inti Kimi dari berbagai generasi.

Pada awalnya, beliau menjalankan penyelidikan arah AI untuk ubat-ubatan di kumpulan penyelidikan Qian Yang di Institut Penyelidikan Silang, Universiti Tsinghua. Antara 2020 hingga 2021, penyelidikan kerangka pemindahan semula ubat influenza yang beliau terlibat telah diterbitkan di preprint bioRxiv dan jurnal “Signal Transduction and Targeted Therapy”, manakala pencapaian berkaitan pemisahan protein nukleokapsid diterbitkan di “Protein & Cell”.

Pada tahun 2022 hingga 2023, Yuan Enming bekerja di Laboratorium Noah's Ark di Huawei, fokus pada penyelidikan arah sistem cadangan, dengan hasil yang mencakup beberapa persidangan akademik antarabangsa terkemuka. Di antaranya, kertas kerjanya sebagai penulis pertama mengenai cadangan urutan tingkah laku pelbagai dipilih untuk SIGIR 2022, manakala hasil kerjasamanya masing-masing dipilih untuk CIKM 2022 dan WWW 2023.

Setelah menyertai Yue Zhi An Mian, Yuan Enming terlibat secara mendalam dalam pembangunan model dan projek teknologi inti Kimi generasi demi generasi. Projek yang dinyatakan secara terbuka dan boleh disahkan termasuk Laporan Teknologi Pembelajaran Penguatan Kimi k1.5, Kajian Teknologi MoBA, Laporan Teknologi Kimi-VL, Laporan Teknologi Model Besar Kimi K2, Laporan Teknologi Kimi Linear, Laporan Teknologi Model Multimodal Kimi K2.5, dan Laporan Teknologi Model Besar Unggul Kimi K3.

Lingkungan penyertaannya merangkumi arah teknologi utama seperti latihan pembelajaran penguatan, kemampuan multimodal, arsitektur model asas, dan sistem konteks panjang, secara menyeluruh melintasi siklus pengembangan tiga generasi model unggulan Kimi dari k1.5 hingga K3, menjadikannya salah seorang penyelidik utama dengan cakupan teknologi yang paling luas dalam pasukan.

Sampai kini, saluran awam belum mengungkapkan jawatan spesifik atau pembahagian tugas penyelidikan Yuan Enming di Moonshot. Berdasarkan jejak penamaan awam, latar belakang penyelidikan lintas bidang menyokong keupayaannya untuk terlibat dalam pelbagai arah teknologi model besar, menjadikannya peserta berterusan penting dalam proses peningkatan sistem teknologi Kimi.

Xu Weixin ialah penyelidik di Moonshot AI, dengan fokus penyelidikan mencakup infrastruktur model besar, mekanisme latihan yang cekap, dan pengoptimuman mekanisme Attention.

Hsu Wei-Hsin secara mendalam terlibat dalam pengembangan model inti dan teknologi dasar Kimi dari generasi ke generasi, dengan projek yang dinyatakan secara terbuka merangkumi keseluruhan kitaran pengembangan produk dari k1.5 hingga K3. Selepas pelancaran K3, pihak官方月之暗面 mengungkapkan tiga teknologi inti buatan sendiri—optimizer Muon, Kimi Linear linear attention, dan Attention Residuals—di mana Hsu Wei-Hsin adalah satu-satunya penyumbang yang boleh disahkan yang namanya disenaraikan dalam ketiga-tiga makalah teknologi inti berkaitan, dengan kedudukan dalam 15 teratas dalam setiap satu, menjadikannya salah seorang penyumbang utama yang menyokong peningkatan prestasi arsitektur K3.

Dalam segi pencapaian spesifik, dalam kertas kerja Muon Optimizer yang diterbitkan pada Februari 2025, beliau disenaraikan sebagai penulis ke-8; optimiser ini mempunyai kecekapan pengiraan kira-kira dua kali ganda berbanding AdamW, dan beliau turut terlibat dalam implementasi latihan Moonlight yang disediakan secara sumber terbuka seterusnya;

Dalam kertas teknikal Kimi Linear yang diterbitkan pada Oktober 2025, beliau berada di tempat ke-15; mekanisme KDA yang dicadangkan dalam arsitektur ini boleh mengurangkan isipadu KV Cache sehingga 75%, serta meningkatkan throughput dekod sehingga 6 kali ganda dalam skenario jutaan token;

Dalam kertas kerja Attention Residuals yang diterbitkan pada Mac 2026 (salah satu inovasi struktur utama K3), beliau berada di kedudukan ke-4, sebagai penyumbang utama pertama selepas tiga penulis bersama, dan teknologi berkaitan telah diintegrasikan secara mendalam ke dalam struktur model asas Kimi K3.

Selain itu, namanya juga tercantum dalam senarai penyumbang laporan teknikal Kimi k1.5 pembelajaran penguatan, laporan teknikal Kimi-VL, laporan teknikal Kimi K2 dan K2.5, serta laporan teknikal model unggul terkini Kimi K3, dengan ruang lingkup penyertaan mencakup beberapa arah pembangunan utama seperti model asas, multimodal, dan pembelajaran penguatan. Perlu ditekankan bahawa tiada nama beliau dalam senarai penulis kertas MoBA, dan tiada hubungan pembangunan yang boleh diperiksa secara awam antara keduanya.

Selain itu, beliau juga terlibat dalam pelbagai penyelidikan arah visual tiga dimensi, termasuk OccDepth untuk pelengkapan medan makna tiga dimensi, PVD-AL untuk pengajaran pembelajaran aktif, dan rekonstruksi SDF tersirat ACCV 2024, dengan pencapaian akademik yang merangkumi pelbagai bidang khusus seperti pemampatan model, rekonstruksi 3D, dan pemahaman medan makna.

Daripada jejak tanda tangan awam, laluan penyelidikan Xu Weixin bermula daripada penghantaran model sisi peranti dan persepsi visual tiga dimensi, kemudian berkembang kepada inovasi arsitektur asas model besar, dengan fokus jangka panjang pada pengiraan berkesan dan cakupan teknologi yang luas, menjadikannya peserta berterusan utama dalam iterasi infrastruktur asas Yue Zhi An Mian.

Du Chenzhuang adalah penyelidik utama Moon Shadow, menjadi tulang belakang utama dalam pasukan yang bertanggungjawab atas pembelajaran penguatan dan pengembangan kemampuan penalaran.

Beliau memperoleh ijazah sarjana dari Jurusan Pengurusan dan Sistem Maklumat, Universiti Aeronautik dan Astronotik Beijing, kemudian melanjutkan ke program doktor di Institut Penyelidikan Antarabangsa Tsinghua, dikenali sebagai "Huangpu Military Academy" bagi bakat model besar.

Semasa di Tsinghua, beliau belajar di bawah pengaruh ahli terkenal dalam bidang kecerdasan buatan, Zhao Xing, dan menyertai MARS Lab (Laboratorium Multi-modal dan Penalaran Autonom), bermula fokus pada pembelajaran mesin multi-modal, pembelajaran penguatan, serta mekanisme penguatan model bahasa besar.

Semasa pengajian doktorat, beliau sebagai penulis utama mengembangkan arsitektur revolusioner "ChatDB", yang secara inovatif mengusulkan "menggunakan pangkalan data sebagai modul ingatan simbolik untuk meningkatkan model besar", dan segera menjadi viral di kalangan akademik dan industri AI pada masa itu.

Untuk mengumpulkan pengalaman praktikal dalam sistem industri skala besar lebih awal, beliau juga menyertai Beijing Haihua Artificial Intelligence Research Institute sebagai pelajar latihan semasa pengajian doktorat, serta terlibat secara mendalam dalam projek penyelidikan keras untuk membina sistem asas dari sifar. Ini membolehkan beliau mengumpulkan banyak pengalaman dalam bidang multimodal dan pembelajaran penguatan, serta memiliki perspektif asas yang lebih kukuh dalam sistem dan algoritma.

Selepas tamat pengajian, beliau menyertai Moonshot dan sering muncul dalam laporan teknikal model inti. Beliau terlibat secara langsung dalam kertas kerja penting yang mengkaji hukum penskalaan pembelajaran penguatan, "Kimi k1.5: Scaling Reinforcement Learning with LLMs", serta memainkan peranan sebagai penyumbang utama dalam laporan teknikal model unggulan seperti Kimi K2 dan K2.5.

Dia juga secara mendalam terlibat sebagai penulis bersama utama dalam pengembangan model visual multimodal Kimi, Laporan Teknik Kimi-VL, dengan fokus pada peningkatan kemampuan model besar dalam memahami dan melakukan penalaran multimodal mendalam terhadap gambar kompleks, grafik, serta informasi visual dunia nyata.

Bidang utama Du Chenzhuang ialah kejuruteraan latihan model bahasa besar (LLM) berskala besar, dengan fokus pada penjadualan sumber, latihan stabil, dan pengoptimuman sistem ekstrem untuk model raksasa berukuran triliunan (arsitektur MoE) dalam kluster super; serta integrasi pembelajaran penguatan dan multimodal, menyelidiki bagaimana model dapat melampaui had kecerdasannya melalui pembelajaran tanpa pengawas dan pembelajaran penguatan dalam tugas penalaran panjang yang kompleks, serta mencapai integrasi bawah permukaan yang efisien antara maklumat visual dan model bahasa.

Yanru Chen ialah penyelidik utama Moonshot, berfokus pada pembangunan dan pelaksanaan arsitektur asas model besar, teknik teks panjang, pengoptimuman kuasa pengiraan, dan kejuruteraan multimodal.

Sebagai salah seorang penulis bersama kertas kerja "Attention Residuals", beliau terlibat dalam semula jadi aliran maklumat dalam arah kedalaman model besar, berjaya menyelesaikan masalah industri berkenaan kecekapan latihan rangkaian super dalam dan penghalangan aliran maklumat.

Dalam teknologi inti konteks panjang, beliau sebagai penulis bersama MoBA (Mixed Block Attention) memimpin dan terlibat dalam pengembangan mekanisme dasar paling unggul Kimi, dengan memecah perhatian pada tingkat blok untuk secara langsung menyelesaikan masalah konsumsi daya komputasi yang berlebihan pada konteks super panjang jutaan token di tahap pra-pelatihan dan inferensi, menjadikannya fondasi utama Kimi dalam mengurangi biaya secara ekstrem dan meningkatkan efisiensi.

Sementara itu, beliau juga merupakan penulis bersama kertas kerja "Muon is Scalable for LLM Training", serta secara mendalam terlibat dalam pembangunan projek sumber terbuka utama Moonlight dan optimizer bawahannya, Muon, yang menantang AdamW tradisional melalui pengolahan ortogonal matriks, berjaya mengurangkan beban pengiraan dalam latihan model raksasa triliunan secara teragih.

Dalam iterasi model unggulan, beliau secara mendalam mengintegrasikan seluruh siklus hidup pengembangan model unggulan sebelumnya Kimi (k1.5, K2, K2.5, K3), menyelesaikan masalah stabilitas dan penjadwalan sumber daya di bawah pembelajaran penguatan berskala besar dan ekspansi parameter triliunan.

Selain itu, dalam usaha teknikal Kimi Multi-modal (Linear, VL, Audio), beliau secara aktif menyelidiki inovasi perhatian linear yang bukan struktur Transformer tradisional, serta memimpin pelaksanaan kejuruteraan laporan teknologi multi-modal visual dan audio Kimi, menyelesaikan dengan cekap bottleneck kecekapan dalam pelarasan aliran maklumat multi-modal di peringkat bawah.

Liu Shaowei adalah anggota inti di Laboratorium MADSys, Laboratorium Sistem Komputer Terkemuka di Universitas Tsinghua, serta pakar utama dalam pasukan infrastruktur inti Bulan di Sisi Gelap.

Ketika anda terkesan dengan Kimi yang memiliki triliunan parameter tetapi harga API-nya sangat rendah, di belakangnya terdapat "seni kuantitatif ekstrem" yang diperjuangkan habis-habisan olehnya dan timnya. Dia secara konsisten mendalami inferensi biaya rendah ekstrem untuk model besar tingkat triliunan, kuantifikasi asli, dan reka bentuk topologi pengiraan terdistribusi berskala besar.

Di komuniti sumber terbuka AI paling keras di Reddit LocalLLaMA, beliau pernah menerbitkan artikel panjang yang mengejutkan komuniti geek luar negara berjudul “Kimi infra team: Quantization is not a compromise, it's the next paradigm” dengan identiti pakar rasmi Kimi. Artikel panjang ini mengungkap secara mendalam format kuantisasi asli Native INT4 yang sangat canggih di bawah Kimi K2 dan K2.5.

Dia bukan sahaja salah seorang penulis bersama utama MoBA (Mixed Block Attention Mechanism), tetapi juga terlibat secara mendalam dalam pembangunan arsitektur terdistribusi untuk projek sumber terbuka utama Moonlight dan pengoptimum Muon asasnya, dengan mengurangkan secara ketara beban pengiraan dalam latihan model triliunan melalui pengolahan ortogonal matriks.

Dia juga salah seorang pemula dan pengekalkan kod utama projek sumber terbuka penting Bulan Sisi Gelap, KTransformers, yang secara langsung membuka halangan pengiraan untuk inferensi hibrid model MoE triliunan di kluster heterogen.

Chen Guanduo adalah penyelidik utama dalam pasukan Infra Moonshot. Beliau mempunyai kemampuan antara disiplin yang sangat kuat dalam "sistem + algoritma", dengan fokus penyelidikan pada infrastruktur model besar, arsitektur mekanisme perhatian yang cekap, percepatan penyesuaian model besar, serta pengoptimuman penyimpanan dan carian berskala besar.

Dia menyelesaikan sarjana dan magister di Jabatan Komputer, Universiti Fudan, dan membina asas profesional yang kukuh dalam sistem teragih dan arsitektur bawah. Selepas itu, beliau melanjutkan pengajian di Universiti Teknologi Nanyang dan Universiti Sains dan Teknologi Hong Kong, masing-masing di bawah bimbingan akademik terkenal di bidang pengiraan berprestasi tinggi dan infrastruktur model besar, Yuan Binhang dan Luo Siqiang, serta mengumpulkan wawasan akademik dan pengalaman pembangunan terkini.

Sebelum menyertai Moonshot secara rasmi, beliau pernah menjalani pengalaman mendalam di bahagian inti asas di syarikat internet terkemuka. Beliau sebelum ini bertindak sebagai pelajar penyelidikan dalam pasukan pembangunan sistem pangkalan data ByteDance dan pasukan infrastruktur Meituan, serta secara mendalam terlibat dalam pembangunan dan pengoptimuman arsitektur sistem terdistribusi berskala besar dan berkeupayaan tinggi.

Semasa itu, sebagai penulis utama, beliau menghasilkan dua pencapaian utama. Dalam penyimpanan asas, beliau mengembangkan dan menerbitkan "Oasis", yang mengusulkan filter penyaringan rentang pembelajaran yang saling tidak bersilang secara optimum, secara langsung menyelesaikan bottleneck indeks dalam pangkalan data asas semasa pengcarian skala besar;

Dalam pelaksanaan peringkat aplikasi, beliau menerbitkan "Gar", yang secara signifikan meningkatkan ketepatan model besar dalam memahami niat kompleks manusia dan mengubahnya menjadi pernyataan query pangkalan data SQL (Text-to-SQL) melalui pendekatan "penghasilan dan pengurutan".

Chen Guanduo secara rasmi menyertai Moonshot pada Mac 2025. Sebagai anggota utama pasukan Infra, beliau bukan sahaja merupakan salah seorang penulis utama model besar unggulan Moonshot, Kimi K2 dan Kimi K2.5, tetapi juga menghasilkan satu terobosan teknikal yang ketat dalam bidang-bidang seperti pempercepatan penyesuaian model besar, arsitektur perhatian yang cekap, dan bahkan reka bentuk semula arsitektur rangkaian terakhir.

Untuk menyelesaikan masalah penyesuaian model besar yang memakan terlalu banyak memori GPU, Chen Guanduo memimpin penerbitan kertas berjudul “Ce-lora”, yang mengusulkan kaedah penyesuaian LoRA yang efisien dari segi pengiraan. Teknologi ini secara langsung meningkatkan throughput latihan pada peringkat Infra dengan mengurangkan penggunaan memori GPU dan beban pengiraan semasa menyesuaikan parameter model besar, layak disebut sebagai “penurunan berat memori GPU” untuk penyesuaian model besar.

Menghadapi masalah kerumitan komputasi yang meledak secara kuadratik pada teks panjang, dia terlibat dalam pengembangan dan menerbitkan arsitektur《Kimi Linear》yang mengejutkan komunitas open-source. Ini adalah arsitektur perhatian linear yang ekspresif dan efisien, yang secara signifikan mengurangi kerumitan komputasi teks panjang sambil mempertahankan kemampuan representasi kuat model, berhasil mengurangi penggunaan KV Cache hingga 75%, serta mencapai throughput decoding 6 kali lebih tinggi pada panjang teks sejuta, menjadi fondasi inti yang mendasari pengembangan teknologi teks panjang berkelanjutan oleh Kimi.

He is also one of the co-authors of Attention Residuals.

Dari penapis penyimpanan peringkat bawah, algoritma fine-tuning yang efisien secara pengiraan, hingga arsitektur jaringan Transformer generasi seterusnya yang revolusioner, lintasan karier Chen Guanduo selaras sempurna dengan paradigma industri semasa yang berpindah dari “hanya meningkatkan parameter” kepada “mencapai kecekapan pengiraan ekstrem dan pelaksanaan kejuruteraan”.

Penutup

Pasukan penyelidikan dan pembangunan K3 selalu bersifat rahsia dan rendah hati; semasa menguruskan maklumat, kami juga sukar untuk mengenal pasti secara terperinci peranan setiap ahli dan sejarah kerjaya penuh mereka. Tetapi melalui senarai yang memberatkan ini, jawapannya sudah jelas: Mengapa Moonlight Dark Side? Mengapa mereka mampu menopang penilaian super sebanyak 700 juta per orang?

Kumpulan remaja dengan usia purata di bawah 30 tahun ini adalah arkitek sistem yang benar-benar memahami ekonomi pengiraan. Dari penjadualan penyimpanan yang memenangi makalah terbaik di konferensi terkemuka hingga inovasi asas semula mekanisme perhatian, mereka telah membawa kecekapan kejuruteraan "panjang, pantas, dan berjimat" kepada tahap maksimum.

Ini adalah kekuatan inti yang memungkinkan Moonshot untuk memecahkan kutukan "homogenisasi kekuatan pengiraan", melalui integrasi penuh dari algoritma tingkat atas hingga peranti keras tingkat bawah.

Satu butiran menarik lain ialah, di akhir senarai keseluruhan, Kimi K3 juga menjadi ahli penting dalam pasukan pembangunan. Pencipta dan yang dicipta kini berdiri sejajar dalam senarai yang sama; "Zaman Emas" model besar China telah tiba dengan kuat.