Pesan ChainThink, 24 April, menurut informasi resmi terkait, DeepSeek merilis versi pratinjau seri V4 dengan lisensi MIT, dan bobot model telah tersedia di Hugging Face dan ModelScope.
Seri ini mencakup dua model MoE, di mana V4-Pro memiliki total parameter sebesar 1,6 triliun, dengan 49 miliar parameter yang diaktifkan per token;
V4-Flash memiliki total parameter 284 miliar, dengan 13 miliar parameter yang diaktifkan per token; kedua model mendukung konteks hingga 1 juta token.
Arsitektur seri ini mengalami tiga peningkatan: mekanisme perhatian hibrida (Compressed Sparse Attention CSA + Heavily Compressed Attention HCA) secara signifikan mengurangi beban konteks panjang; dalam skenario konteks 1M, FLOPs inferensi satu token V4-Pro hanya 27% dari V3.2, dan penggunaan memori GPU untuk cache KV hanya 10% dari V3.2;
Manifold-constrained hyperconnection mHC menggantikan koneksi residual tradisional, meningkatkan stabilitas propagasi sinyal lintas lapisan; pelatihan menggunakan optimizer Muon untuk mempercepat konvergensi. Data pra-pelatihan model melebihi 32T token.
Pelatihan lanjutan dibagi menjadi dua tahap: pertama, pelatihan model ahli di setiap bidang melalui SFT dan pembelajaran penguatan GRPO, lalu digabungkan menjadi model akhir melalui distilasi daring.
V4-Pro-Max menyebut dirinya sebagai model open-source terkuat saat ini, dengan performa coding mencapai level teratas, serta mengurangi kesenjangan signifikan dalam tugas inferensi dan agent dibandingkan model canggih tertutup;
V4-Flash-Max setelah mendapatkan anggaran pemikiran yang cukup, kinerja inferensinya mendekati Pro, tetapi terbatas pada ukuran parameter dalam tugas pengetahuan murni dan agen kompleks. Bobot model disimpan dengan presisi campuran FP4+FP8.