DeepSeek 发展历程

一、DeepSeek 介绍

DeepSeek 是一家由中国知名量化私募巨头幻方量化创立的人工智能公司，致力于开发高效、高性能的生成式 AI 模型。自 2023 年 7 月成立以来，DeepSeek 在短短一年多的时间里取得了显著的进展，推出了多个引人注目的开源模型，包括 DeepSeek Coder、DeepSeek LLM、DeepSeek-V2、DeepSeek-V3 和 DeepSeek-R1。

二、DeepSeek 发展历程

2023 年 7 月：DeepSeek 成立，总部位于杭州。

2023 年 11 月 2 日：发布首个开源代码大模型 DeepSeek Coder，支持多种编程语言的代码生成、调试和数据分析任务。

2023 年 11 月 29 日：推出参数规模达 670 亿的通用大模型 DeepSeek LLM，包括 7B 和 67B 的 base 及 chat 版本。

2024 年 5 月 7 日：发布第二代开源混合专家（MoE）模型 DeepSeek-V2，总参数达 2360 亿，推理成本降至每百万 token 仅 1 元人民币。

2024 年 12 月 26 日：发布 DeepSeek-V3，总参数达 6710 亿，采用创新的 MoE 架构和 FP8 混合精度训练，训练成本仅为 557.6 万美元。

2025 年 1 月 20 日：发布新一代推理模型 DeepSeek-R1，性能与 OpenAI 的 o1 正式版持平，并开源。

2025 年 1 月 26 日：DeepSeek 登顶美区 App Store 免费榜第六，超越 Google Gemini 和 Microsoft Copilot 等产品。

三、DeepSeek 原理

DeepSeek 的模型设计和训练过程采用了多项创新技术，这些技术使其在性能和效率上取得了显著的突破。

混合专家架构（MoE）：

DeepSeek-V3 采用了混合专家架构，总参数达 6710 亿，但每个输入只激活 370 亿参数。这种选择性激活的方式大大降低了计算成本，同时保持了高性能。

DeepSeek-V3 的 MoE 架构通过动态冗余策略，在推理和训练过程中保持最佳的负载平衡。

多头潜在注意力（MLA）：

DeepSeek-V3 引入了多头潜在注意力机制，通过低秩联合压缩机制，将 Key-Value 矩阵压缩为低维潜在向量，显著减少内存占用。

无辅助损失负载均衡：

DeepSeek-V3 采用了无辅助损失负载均衡策略，最小化了因鼓励负载均衡而导致的性能下降。

多 Token 预测（MTP）：

DeepSeek-V3 采用了多 Token 预测目标，证明其对模型性能有益，并可用于推理加速。

FP8 混合精度训练：

DeepSeek-V3 设计了 FP8 混合精度训练框架，首次验证了在极大规模模型上进行 FP8 训练的可行性和有效性。

知识蒸馏：

DeepSeek-R1 通过知识蒸馏，将长链推理（CoT）模型的推理能力蒸馏到标准 LLM 中，显著提升了推理性能。

四、DeepSeek 的产品性能对比

DeepSeek-V3：在聊天机器人竞技场（Chatbot Arena）上排名第七，在开源模型中排名第一，是全球前十中性价比最高的模型。

DeepSeek-R1：在 Chatbot Arena 综合榜单上排名第三，与 OpenAI 的 o1 并列。在高难度