关于报告的所有内容，公众号『行业报告智库』阅读原文或点击菜单获取报告下载查看。
算力，简单来说，就是对信息数据进行计算以实现目标结果的能力。从草绳、石子到算盘、计算机，人类的算力工具经历了漫长的发展历程。如今，随着人工智能时代的到来，算力的需求呈指数级增长。
DeepSeek模型的核心技术之一是DeepSeekMoE（Mixture-of-Experts）。这一技术通过“共享专家+路由专家”的架构，显著减少了计算量。具体来说，共享专家负责捕获通用知识，降低知识冗余；而路由专家则通过大量、细粒度的灵活组合，实现高效的知识表达。在实际应用中，每个Token只需激活360亿参数，相比Llama3.1模型的4050亿参数，计算量大幅降低。这种创新不仅突破了硬件限制，还为AI模型的高效训练提供了新的思路。
在人工智能领域，成本一直是制约技术普及的重要因素。高昂的硬件成本、训练成本和运营成本，使得许多企业和研究机构望而却步。但DeepSeek模型通过技术创新，在降低成本方面取得了显著成效。
报告指出，DeepSeekV3的训练成本仅为5576000美元，相比其他同类模型，这一成本几乎可以忽略不计。Llama3.1模型的训练成本高达30840000美元。DeepSeek模型通过优化算法和系统架构，实现了低成本、高性能的训练模式。这种成本优势不仅体现在硬件投入上，还体现在训练效率上。
DeepSeek模型的另一个创新点是自研轻量级框架。这一框架通过优化计算和通信流程，进一步降低了训练成本。DeepSeek采用了FP8训练技术，提升了算力密度；通过DualPipe技术，实现了通信和计算的高度重叠，提高了系统效率。DeepSeek还通过PTX优化绕开了CUDA的护城河，降低了对英伟达硬件的依赖。这些技术创新不仅提高了模型的训练效率，还降低了硬件成本，使得DeepSeek模型在市场竞争中更具优势。
在人工智能的发展过程中，算力和成本一直是相互制约的矛盾体。一方面，强大的算力需要高昂的硬件投入；另一方面，低成本的训练往往难以实现高性能。但DeepSeek模型通过算法创新和系统优化，实现了算力与成本的平衡。
报告中提到，DeepSeek模型采用了“穷则战术穿插”的策略。这一策略的核心是通过算法优化和系统协同，实现高性能和低成本的双重目标。DeepSeekV3通过MLA（Multi-Head Latent Attention）技术，显著降低了推理时的内存需求。这一技术通过低秩压缩KV，减少了推理时的存储空间需求，同时提升了推理性能。在实际应用中，DeepSeekV3的KV Cache使用量降低了93.3%，推理性能提升了576%。DeepSeek模型还通过优化训练流程，进一步降低了训练成本。DeepSeekV3的训练Token数量从DeepSeekV1的2T增加到14.8T，模型规模从7B增长到671B，但训练成本却从300.6K美元降低到2.788M美元。这种成本控制能力，使得DeepSeek模型在市场竞争中更具优势。
在全球人工智能的竞争中，美国一直占据着技术和硬件的优势。但DeepSeek模型的出现，让我们看到了中国在人工智能领域的弯道超车机会。
