近日，DeepSeek团队发布了最新论文，以DeepSeek-V3为核心案例，详细介绍了其在人工智能硬件架构与模型设计方面的创新成果。这篇论文旨在为实现具有成本效益的大规模训练和推理提供新的思路。
DeepSeek创始人兼CEO梁文锋也是该论文的参与者之一。论文名为《深入解读DeepSeek-V3：AI架构的扩展挑战与硬件思考》。
业内专家表示，该论文聚焦“硬件-模型”协同创新底层逻辑，直击当前大模型训练与推理的效率痛点。
DeepSeek模型在设计原则上一直面临着内存不足、计算效率低下和通信速度慢这三大难题。而这篇新论文详细介绍了DeepSeek如何在硬件资源的限制下，通过精妙的软硬一体协同设计来解决这些问题，从而实现成本效益的优化。
论文不仅详细阐述了DeepSeek-V3的基本架构，还从内存效率、成本控制和推理速度等方面深入说明了DeepSeek模型的设计原则。
在内存效率方面，DeepSeek采用了多头潜在注意力（MLA）技术和FP8混合精度训练技术，显著降低了内存消耗。据数据显示，相比其他模型，DeepSeek-V3的KV缓存大小每token仅需70KB，是传统方法的1/7到1/4，大大降低了显存压力，尤其适合处理长文本。
在成本控制方面，DeepSeek开发了DeepSeek MoE架构，其优势在于降低训练成本，并且利于个人使用和本地部署。
在提高推理速度方面，DeepSeek-V3采用了多token预测（MTP）的方法。传统模型每次只能生成1个token，而MTP通过轻量级子模型并行预测多个候选token，验证后选择最优结果。实验结果显示，生成速度提升了1.8倍。
OpenAI的联合创始人Andrej Karpathy对DeepSeek-V3表示了赞赏，认为它实现了高性能与低成本的平衡，未来或许不需要超大规模的GPU集群了。
而对于下一代AI基础设施的升级，DeepSeek从硬件架构的角度提出了六大关键探索方向，包括内存、互连、网络、计算等核心领域。这些方向涵盖了构建不易崩溃的训练系统、互连架构、智能网络升级、通信顺序‘硬件化’、网络计算融合以及内存架构重构等方面。
DeepSeek表示，这些内存中心的架构创新旨在打破当前内存发展滞后于模型规模扩张的瓶颈，是下一代AI系统持续迈向“更大、更快、更稳”的关键路径之一。这些方案也在DeepSeek-V3的训练与推理实践中取得了实效，为下一代高性能AI系统构建了坚实的内存支撑基础。
本文参考了上海证券报、财联社、量子位等多家媒体资料，由光明网出品，世界互联网提供最终信息来源。
