DeepSeek открывает исходный код фреймворка DeepSpec, увеличив скорость модели V4 до 85%

Согласно наблюдениям Beating, DeepSeek совместно с Пекинским университетом опубликовала технический отчет о фреймворке ускорения стохастической выборки DSpark и открыла полный стек исходного кода DeepSpec. В настоящее время DSpark уже внедрен в онлайн-бизнес DeepSeek-V4. При сохранении без потерь качества вывода DSpark увеличивает скорость генерации для одного пользователя на 60–85% для версии Flash и на 57–78% для версии Pro. DSpark превосходит базовую линию MTP-1 (однотокенное многоветвевое прогнозирование), значительно повышая общую пропускную способность системы при строгих ограничениях по задержке. Ранее стохастическая выборка с несколькими токенами не могла быть успешно реализована в продакшн-среде: автогрессивные модели черновика генерировали слишком медленно, а параллельные модели, из-за независимого прогнозирования на каждой позиции, демонстрировали крайне низкий уровень принятия во второй половине длинных последовательностей. При слепой проверке множества токенов черновика при высокой нагрузке крупные модели тратили огромные вычислительные ресурсы на проверку заведомо ошибочных токенов, что приводило к катастрофическому падению общей пропускной способности системы; поэтому в промышленности онлайн-применение ограничивалось преимущественно однотокенными прогнозами (MTP-1). DSpark преодолел узкое место снижения пропускной способности при высокой параллельности. DSpark сначала использует параллельную основную сеть DFlash для генерации скрытых состояний, а затем добавляет чрезвычайно легковесную марковскую головку. Марковская головка с минимальными затратами последовательно вводит взаимосвязи между соседними словами с помощью таблицы поиска и одного матричного умножения. Кроме того, система интегрирует головку прогнозирования уверенности и алгоритм апостериорной калибровки. Для идеальной совместимости с нулевой стоимостью планирования в продакшн-среде и предотвращения утечки будущей информации планировщик использует асинхронный механизм, динамически определяя длину обрезки кандидатов на основе прогнозов, сделанных два шага назад, полностью исключая проверку высокорисковых конечных ошибок крупными моделями при высокой нагрузке. Помимо DSpark, библиотека DeepSpec, открытая DeepSeek, изначально поддерживает такие открытые крупные модели, как Qwen3 и Gemma. DeepSpec предоставляет полный набор инструментов Python — от загрузки промптов и восстановления кэша крупной модели до обучения модели черновика и проведения базовых оценок. Разработчики могут напрямую использовать открытые скрипты для настройки и развертывания специализированных модулей ускорения для различных открытых крупных моделей на локальных машинах.