DeepSeek ay nagbubukas ng DeepSpec Framework, dinadagdagan ang bilis ng V4 model hanggang 85%

Ayon sa pagmamasid ng Beating, inilabas ng DeepSeek kasama ang Pambansang Unibersidad ng Peking ang teknikal na ulat tungkol sa DSpark, isang framework para sa pagpapabilis ng speculative sampling, at inilabas ang buong stack ng code na DeepSpec. Kasalukuyang inilalapat na ang DSpark sa online na operasyon ng DeepSeek-V4. Sa pagpapanatili ng walang pagkawala ng output, pinataas ng DSpark ang bilis ng pagbuo ng isang user sa Flash version ng 60% hanggang 85%, at ang Pro version ay 57% hanggang 78%. Ang DSpark ay lumampas sa dating baseline na single-token multi-branch prediction (MTP-1), at nagsilbi nang malaki sa pagpapataas ng kabuuang throughput ng sistema sa ilalim ng mahigpit na latency constraints. Noon, ang multi-token speculative sampling ay mahirap i-deploy sa production environment. Ang autoregressive draft model ay masyadong mabagal, samantalang ang parallel draft model, dahil sa independiyenteng paghula sa bawat posisyon, ay may napakababang acceptance rate sa huling bahagi ng mahabang sequence. Kung magpapakita nang walang pag-iingat ng multi-token draft sa mataas na concurrency, ang malaking model ay magugugol ng maraming computing power para i-verify ang mga mali na siguradong tatanggihan, na nagdudulot ng malubhang pagbaba ng kabuuang throughput ng sistema, kaya ang industriya ay limitado lamang sa single-token prediction (MTP-1) sa online. Tinanggal ng DSpark ang bottleneck ng throughput degradation sa mataas na concurrency. Una, ginagamit ng DSpark ang DFlash parallel backbone upang lumikha ng hidden states, at idinagdag ang napakakaliit na Markov head. Ang Markov head ay gumagamit ng table lookup at isang matrix multiplication upang ma-serially i-inject ang ugnayan ng kapitbahay na salita sa napakababang gastos. Samantala, inilalakip ng sistema ang confidence prediction head at posterior calibration algorithm. Upang maging perpektong compatible sa zero-overhead scheduling sa production environment at upang maiwasan ang future information leakage, gumagamit ang scheduler ng asynchronous mechanism na gumagamit ng dalawang hakbang na nakaraang prediction upang dinamikong matukoy ang haba ng pagpapalit ng mga kandidatong salita, at ganap na maiiwasan ang pag-verify ng malaking model sa mga mataas na panganib na huling error sa panahon ng malakas na load. Bukod sa DSpark, kasama sa DeepSpec code library na inilabas ng DeepSeek ang suporta para sa mga open-source malaking model tulad ng Qwen3 at Gemma. Ang DeepSpec ay nag-aalok ng isang kompletong Python toolchain mula sa pag-download ng prompt, pag-rebuild ng cache ng malaking model, pagtatrain ng draft model, hanggang sa benchmark evaluation. Ang mga developer ay direktang makakagamit ng open-source script upang i-customize at i-deploy ang kanilang sariling acceleration module para sa iba’t ibang open-source malaking model sa kanilang lokal na kapaligiran.