先摆一组对比。
公开信息里有一个流传很广的测算:完成同一个测试任务,GPT-5.6 Sol 的平均成本约 1.86 美元,Claude Fable 5 约 3.15 美元,而 DeepSeek V4-Flash 约 0.03 美元。价格差了大约一百倍,但几款模型在第三方智能指数榜单上处在同一梯队。
如果只是烧钱补贴,这个价差撑不过一个季度。但瑞银的调研显示,中国头部模型厂商的 API 业务仍能保持 20% 到 40% 的毛利率。也就是说,这个价格是有结构性基础的。
差在「每次推理激活多少参数」
这是整件事的关键变量。
稠密(Dense)架构的模型,每生成一个 token,所有参数都要参与计算。海外主流模型至今以稠密为主,瑞银调研给出的激活比例普遍在 15% 到 30% 之间。
混合专家(MoE)架构换了个思路:把参数拆成很多个「专家」子网络,用一个门控网络按 token 决定调用哪几个。中国头部厂商从 2024 年起大规模落地这条路。按瑞银的口径,单次推理只激活 5% 到 10% 的参数。
具体到型号上:
- DeepSeek V4:总参数 1.6 万亿,每次推理激活 490 亿,约 3%。
- DeepSeek-V3:总参数 6710 亿,每次激活 370 亿。
- Mixtral-8x7B 一类:激活比例约 12.5%(8 个专家里取 2 个)。
有这个分母打底,后面所有工程优化才有意义。公开分析给出的结论是:同性能下,中国模型的实际计算量只有海外稠密模型的 1/3 到 1/4,单位 token 能耗降低 50% 到 70%。没有稀疏架构先把「每次要算多少」压下来,后面任何优化都是在更大的基数上做文章,效果会打折扣。
但有一样东西 MoE 更贵:显存
稀疏省的是算力和时间,不是内存。这是个容易被忽略的反向代价。
一个 6710 亿参数的 MoE,即使每个 token 只激活 370 亿,全部参数仍然得装进显存——FP8 下大约 671GB,FP16 下超过 1.3TB。想跑起来需要 8 张以上的 B200/H200 级别加速卡。
对比一下:一个 700 亿的稠密模型,量化后能塞进单张 H100;一个 270 亿的稠密模型,4bit 量化后约 17GB,一张 24GB 消费级卡就能跑。
这解释了一个常被说反的现象:在 API 上,MoE 往往更便宜;在自己搭机器时,MoE 往往更贵。 前者按 token 计价,算的是激活参数;后者要一次性付清显存的账。
批大小悬崖
生产环境里,MoE 还有一道门槛。
低并发时,MoE 的单请求延迟表现很差——有实测口径提到低 batch 场景下单请求可能低于 1 token/秒,因为专家加载和路由本身有开销。但把 batch 拉到 512 以上,吞吐就变得极难匹敌。
所以它不适合「用户量不大但要求极致响应」的场景,适合高并发、可以排队的大流量服务。有一组部署数据:一个客服场景从稠密 70B 换成 MoE,质量持平,每 token 成本降了约 4 倍。同一份材料也提醒,MoE 不是无条件的更便宜——如果每天只有几千次请求,稠密小模型在成本和复杂度上都更划算,因为你在为不需要的机器付费。
量化在 MoE 上更好使
一个不太被讨论但很实用的规律:MoE 比稠密模型更耐量化。
原因是每个专家学到的模式更窄、内部方差更低,权重被压缩时丢失的关键信息更少。有厂商在 2026 年 6 月测过一组 600 亿参数的 MoE:
- FP8 专家 + FP16 路由:精度掉 0.4%,吞吐提升 1.8 倍
- INT4 专家 + FP16 路由:精度掉 2.1%,吞吐提升 3.4 倍
- INT4 专家 + INT8 路由:精度掉 2.3%,吞吐提升 3.9 倍
作为对照,稠密模型在内存只省下 4 倍之前,精度通常就已经塌了。
几个可以往下看的问题
第一,这条路线的天花板在哪。 稀疏激活比例已经从 12.5% 压到 3%–5%。继续往下压,专家数量要增加、路由要更细,而显存占用和通信开销会同步上升。边际收益何时转负,目前没有公开答案。
第二,硬件需求被改变了。 稠密路线看重的是峰值算力,MoE 路线看重的是显存容量和卡间互联带宽,因为专家分布在不同卡上,路由一次就可能触发跨节点通信。这对国产芯片意味着什么,值得单独看。
第三,工艺和架构的替代关系。 如果算法端能把成本压到 1/3,对制程和算力堆叠的压力就会小一些。反过来,如果路线的收益边际递减,压力又会回到硬件上。这两条线的赛跑,是理解国内 AI 算力叙事的一条主线。
第四,不要只看参数规模。 1.6 万亿参数这个数字本身说明不了成本。真正决定账单的是激活参数、批大小、显存带宽和量化方案。行业里最常见的误判,就是把总参数量当成成本指标。
参考来源
- 稀疏架构如何让国产大模型推理成本低百倍?(今日头条 · 极简科技)
- How Does Mixture of Experts Reduce Inference Cost?(Sivaro)
- Mixture of Experts vs Dense Model Cost: The Real Bill(Sivaro)
- Dense vs Sparse MoE Models: Which Is Cheaper to Run for Coding?(AI Cost Estimator)
- LLM Inference Cost by Model Size in 2026: 8B vs 70B vs 405B(Packet.ai)
如果这篇文章对你有帮助,欢迎分享给更多人!
部分信息可能已经过时