mobile wallpaper 1
mobile wallpaper 2
mobile wallpaper 3
mobile wallpaper 4
1230 字
3 分钟
推理超过训练:算力需求的结构性转弯
2026-09-18

2025 年,中国用于人工智能训练和推理的数据总量为 199.48 艾字节(EB)。

其中推理数据量 101.34 EB,第一次超过训练数据量。

这是个分水岭式的变化。据测算,未来推理算力需求与训练算力需求之比可能达到 3∶1,甚至更高。

训练和推理,是两种完全不同的生意#

训练是建模型:一次性投入大量算力,把参数从随机初始化调到一个可用的状态。特点是短期、集中、可预期——一个千卡集群跑几个月,跑完就结束。

推理是用模型:每次用户提问、每次接口调用、每次 Agent 执行任务,都要消耗算力。特点是长期、分散、随业务量波动。

前者决定模型的能力上限,后者决定模型的商业落地。

这个区别决定了企业的成本结构。训练费用是资本开支,可以摊销;推理费用是运营成本,跟着业务量线性增长——业务越成功,花得越多。

算力从阶段性投入,变成了持续性运营支出。

Agent 把推理消耗放大了一个量级#

推理需求为什么涨这么猛?一是用户量,二是单次消耗。

用户量方面,国家数据局数据显示,中国日均 Token 调用量从 2024 年初约 1000 亿,涨到 2026 年 3 月超过 140 万亿。

单次消耗方面,影响更大。普通对话一次调用,模型往返一轮就结束了。但 Agent 任务不同——它要拆解目标、反复推理、调用工具、检查结果、修正方案,一轮任务可能触发几十次模型调用。

单次 Agent 任务的算力消耗,可达普通对话的百倍。

两者叠乘,就是今天看到的调用量曲线。

为什么这解释了涨价#

把「推理超训练」和「算力涨价」放在一起看,逻辑就通了。

需求端:推理需求量级放大,且是刚性的——用户不会因为贵就不用,业务跑在线上,停不下来。

供给端:能跑推理的算力,和能跑训练的算力,不完全是一回事。推理对显存带宽、低延迟、单位功耗更敏感;而过去几年大量投资是按训练需求设计的。

于是出现了结构性错配:适配大模型训练推理的高端算力始终紧俏,而部分按训练标准建的集群,在推理场景下效率并不理想。

这也是为什么「利用率 30%」和「算力不够用」能同时成立。

端侧也在分流推理#

推理需求不只往云端走。

端侧 AI 芯片的负载里,约 86.5% 是推理而非训练。这意味着 NPU 这类专用加速器的定位很明确:在 5W 甚至 1W 的功耗预算内,把推理跑到最省。

日常问答、敏感文档处理、离线场景——这些交给端侧;最重的推理、最新的多模态能力——交给云。

分工的原则很清晰:按成本、隐私和延迟要求,决定一件事在哪跑。端侧胜在随时、私密、边际成本近乎为零;云端胜在聪明、全能、能处理长任务。

值得记住的几个判断#

第一,推理市场比拼的不是峰值算力。 训练集群比的是「多快跑完」,推理集群比的是「单 Token 成本多低」。这是两个不同的优化目标,需要不同的硬件和调度策略。

第二,推理成本会变成 AI 应用的生死线。 当收入按调用量结算、成本也按调用量增长时,毛利率完全取决于单位推理成本能不能压下来。

第三,模型分层会成为标配。 简单任务用轻量模型,复杂任务用高能力模型,高频重复内容走缓存。全部用最强模型,通常不是最优解。


参考来源

分享

如果这篇文章对你有帮助,欢迎分享给更多人!

推理超过训练:算力需求的结构性转弯
https://www.npuai.cn/posts/inference-overtakes-training/
作者
NPU AI
发布于
2026-09-18
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

目录