mobile wallpaper 1
mobile wallpaper 2
mobile wallpaper 3
mobile wallpaper 4
1608 字
4 分钟
稀疏架构:国产大模型推理成本的那个分母,是怎么被打下来的

先摆一组对比。

公开信息里有一个流传很广的测算:完成同一个测试任务,GPT-5.6 Sol 的平均成本约 1.86 美元,Claude Fable 5 约 3.15 美元,而 DeepSeek V4-Flash 约 0.03 美元。价格差了大约一百倍,但几款模型在第三方智能指数榜单上处在同一梯队。

如果只是烧钱补贴,这个价差撑不过一个季度。但瑞银的调研显示,中国头部模型厂商的 API 业务仍能保持 20% 到 40% 的毛利率。也就是说,这个价格是有结构性基础的。

差在「每次推理激活多少参数」#

这是整件事的关键变量。

稠密(Dense)架构的模型,每生成一个 token,所有参数都要参与计算。海外主流模型至今以稠密为主,瑞银调研给出的激活比例普遍在 15% 到 30% 之间。

混合专家(MoE)架构换了个思路:把参数拆成很多个「专家」子网络,用一个门控网络按 token 决定调用哪几个。中国头部厂商从 2024 年起大规模落地这条路。按瑞银的口径,单次推理只激活 5% 到 10% 的参数。

具体到型号上:

  • DeepSeek V4:总参数 1.6 万亿,每次推理激活 490 亿,约 3%。
  • DeepSeek-V3:总参数 6710 亿,每次激活 370 亿。
  • Mixtral-8x7B 一类:激活比例约 12.5%(8 个专家里取 2 个)。

有这个分母打底,后面所有工程优化才有意义。公开分析给出的结论是:同性能下,中国模型的实际计算量只有海外稠密模型的 1/3 到 1/4,单位 token 能耗降低 50% 到 70%。没有稀疏架构先把「每次要算多少」压下来,后面任何优化都是在更大的基数上做文章,效果会打折扣。

但有一样东西 MoE 更贵:显存#

稀疏省的是算力和时间,不是内存。这是个容易被忽略的反向代价。

一个 6710 亿参数的 MoE,即使每个 token 只激活 370 亿,全部参数仍然得装进显存——FP8 下大约 671GB,FP16 下超过 1.3TB。想跑起来需要 8 张以上的 B200/H200 级别加速卡。

对比一下:一个 700 亿的稠密模型,量化后能塞进单张 H100;一个 270 亿的稠密模型,4bit 量化后约 17GB,一张 24GB 消费级卡就能跑。

这解释了一个常被说反的现象:在 API 上,MoE 往往更便宜;在自己搭机器时,MoE 往往更贵。 前者按 token 计价,算的是激活参数;后者要一次性付清显存的账。

批大小悬崖#

生产环境里,MoE 还有一道门槛。

低并发时,MoE 的单请求延迟表现很差——有实测口径提到低 batch 场景下单请求可能低于 1 token/秒,因为专家加载和路由本身有开销。但把 batch 拉到 512 以上,吞吐就变得极难匹敌。

所以它不适合「用户量不大但要求极致响应」的场景,适合高并发、可以排队的大流量服务。有一组部署数据:一个客服场景从稠密 70B 换成 MoE,质量持平,每 token 成本降了约 4 倍。同一份材料也提醒,MoE 不是无条件的更便宜——如果每天只有几千次请求,稠密小模型在成本和复杂度上都更划算,因为你在为不需要的机器付费。

量化在 MoE 上更好使#

一个不太被讨论但很实用的规律:MoE 比稠密模型更耐量化。

原因是每个专家学到的模式更窄、内部方差更低,权重被压缩时丢失的关键信息更少。有厂商在 2026 年 6 月测过一组 600 亿参数的 MoE:

  • FP8 专家 + FP16 路由:精度掉 0.4%,吞吐提升 1.8 倍
  • INT4 专家 + FP16 路由:精度掉 2.1%,吞吐提升 3.4 倍
  • INT4 专家 + INT8 路由:精度掉 2.3%,吞吐提升 3.9 倍

作为对照,稠密模型在内存只省下 4 倍之前,精度通常就已经塌了。

几个可以往下看的问题#

第一,这条路线的天花板在哪。 稀疏激活比例已经从 12.5% 压到 3%–5%。继续往下压,专家数量要增加、路由要更细,而显存占用和通信开销会同步上升。边际收益何时转负,目前没有公开答案。

第二,硬件需求被改变了。 稠密路线看重的是峰值算力,MoE 路线看重的是显存容量和卡间互联带宽,因为专家分布在不同卡上,路由一次就可能触发跨节点通信。这对国产芯片意味着什么,值得单独看。

第三,工艺和架构的替代关系。 如果算法端能把成本压到 1/3,对制程和算力堆叠的压力就会小一些。反过来,如果路线的收益边际递减,压力又会回到硬件上。这两条线的赛跑,是理解国内 AI 算力叙事的一条主线。

第四,不要只看参数规模。 1.6 万亿参数这个数字本身说明不了成本。真正决定账单的是激活参数、批大小、显存带宽和量化方案。行业里最常见的误判,就是把总参数量当成成本指标。


参考来源

分享

如果这篇文章对你有帮助,欢迎分享给更多人!

稀疏架构:国产大模型推理成本的那个分母,是怎么被打下来的
https://www.npuai.cn/posts/sparse-moe-inference-cost/
作者
NPU AI
发布于
2026-09-20
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

目录