2025 年,中国用于人工智能训练和推理的数据总量为 199.48 艾字节(EB)。
其中推理数据量 101.34 EB,第一次超过训练数据量。
这是个分水岭式的变化。据测算,未来推理算力需求与训练算力需求之比可能达到 3∶1,甚至更高。
训练和推理,是两种完全不同的生意
训练是建模型:一次性投入大量算力,把参数从随机初始化调到一个可用的状态。特点是短期、集中、可预期——一个千卡集群跑几个月,跑完就结束。
推理是用模型:每次用户提问、每次接口调用、每次 Agent 执行任务,都要消耗算力。特点是长期、分散、随业务量波动。
前者决定模型的能力上限,后者决定模型的商业落地。
这个区别决定了企业的成本结构。训练费用是资本开支,可以摊销;推理费用是运营成本,跟着业务量线性增长——业务越成功,花得越多。
算力从阶段性投入,变成了持续性运营支出。
Agent 把推理消耗放大了一个量级
推理需求为什么涨这么猛?一是用户量,二是单次消耗。
用户量方面,国家数据局数据显示,中国日均 Token 调用量从 2024 年初约 1000 亿,涨到 2026 年 3 月超过 140 万亿。
单次消耗方面,影响更大。普通对话一次调用,模型往返一轮就结束了。但 Agent 任务不同——它要拆解目标、反复推理、调用工具、检查结果、修正方案,一轮任务可能触发几十次模型调用。
单次 Agent 任务的算力消耗,可达普通对话的百倍。
两者叠乘,就是今天看到的调用量曲线。
为什么这解释了涨价
把「推理超训练」和「算力涨价」放在一起看,逻辑就通了。
需求端:推理需求量级放大,且是刚性的——用户不会因为贵就不用,业务跑在线上,停不下来。
供给端:能跑推理的算力,和能跑训练的算力,不完全是一回事。推理对显存带宽、低延迟、单位功耗更敏感;而过去几年大量投资是按训练需求设计的。
于是出现了结构性错配:适配大模型训练推理的高端算力始终紧俏,而部分按训练标准建的集群,在推理场景下效率并不理想。
这也是为什么「利用率 30%」和「算力不够用」能同时成立。
端侧也在分流推理
推理需求不只往云端走。
端侧 AI 芯片的负载里,约 86.5% 是推理而非训练。这意味着 NPU 这类专用加速器的定位很明确:在 5W 甚至 1W 的功耗预算内,把推理跑到最省。
日常问答、敏感文档处理、离线场景——这些交给端侧;最重的推理、最新的多模态能力——交给云。
分工的原则很清晰:按成本、隐私和延迟要求,决定一件事在哪跑。端侧胜在随时、私密、边际成本近乎为零;云端胜在聪明、全能、能处理长任务。
值得记住的几个判断
第一,推理市场比拼的不是峰值算力。 训练集群比的是「多快跑完」,推理集群比的是「单 Token 成本多低」。这是两个不同的优化目标,需要不同的硬件和调度策略。
第二,推理成本会变成 AI 应用的生死线。 当收入按调用量结算、成本也按调用量增长时,毛利率完全取决于单位推理成本能不能压下来。
第三,模型分层会成为标配。 简单任务用轻量模型,复杂任务用高能力模型,高频重复内容走缓存。全部用最强模型,通常不是最优解。
参考来源
如果这篇文章对你有帮助,欢迎分享给更多人!
部分信息可能已经过时