DeepSeek V4 技术报告

---

1. 引言（Introduction）

DeepSeek V4 是 DeepSeek 系列大语言模型（LLM）在超长上下文（Long Context）、稀疏专家模型（MoE）以及大规模推理基础设施方向的重要升级版本。相比传统仅依赖参数规模扩张的路线，V4 更强调：

• 超长上下文处理能力
• 推理效率优化
• 稀疏计算
• Agent 场景适配
• 基础设施协同设计

其核心目标并非单纯提升 benchmark 分数，而是推动 LLM 从“聊天模型”向“长期记忆智能体（Long-Memory Agent）”演化。

---

2. 模型架构（Model Architecture）

2.1 Sparse Mixture-of-Experts（MoE）

DeepSeek V4 采用超大规模稀疏专家架构。

DeepSeek-V4-Pro

指标	数值
总参数量	1.6T
激活参数	49B/token

DeepSeek-V4-Flash

指标	数值
总参数量	285B
激活参数	13B/token

模型采用动态专家路由机制：

$$y=\sum _{i=1}^{k}G(x{)}_i{E}_i(x)$$

其中：

• ( G(x) )：路由器（Router）
• ( E_i(x) )：第 (i) 个专家网络
• (k)：被激活专家数量

该设计实现：

• 大容量参数存储
• 较低 token 计算成本
• 更优训练扩展性
• 更高推理吞吐

---

3. 超长上下文（Million-Token Context）

3.1 Context Window

DeepSeek V4 的核心突破之一是：

$$1M\text{ token context window}$$

即支持百万级上下文长度。

---

3.2 长上下文挑战

标准 Transformer Attention：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)V$$

其复杂度：

$$O(n^2)$$

因此在百万 token 下：

• KV Cache 爆炸
• 显存占用极高
• 推理延迟巨大
• 通信成本增加

---

4. 推理系统（Inference System）

4.1 Test-Time Scaling

DeepSeek V4 提供：

• Think Mode
• Think Max

其核心思想为：

动态推理深度（Dynamic Reasoning Depth）

即：

• 简单问题 → 快速输出
• 复杂问题 → 延长 reasoning chain

---

5. 国产硬件适配（Ascend Adaptation）

5.1 Huawei Ascend 支持

DeepSeek V4 明确强化了对：

• Huawei Ascend
• 国产 AI 集群

的兼容。

---

6. Agent 基础设施意义（Agent Infrastructure）

DeepSeek V4 的真正战略意义，在于：

LLM → Long-Memory Agent Infrastructure

---

7. 总结（Conclusion）

DeepSeek V4 的核心价值，不是单纯提升模型能力，而是：

通过 MoE + 超长上下文 + 压缩注意力，

推动 LLM 向真正可部署的 Agent 基础设施演化。

---

8. 参考资料（References）

1. DeepSeek Official Model Card
   https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-EN.pdf

2. DeepSeek HuggingFace Technical Report
   https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro