一个 70 亿参数(7B)的模型,占多大内存?
- 全精度 FP32:约 28 GB
- FP16:约 14 GB
- INT8:约 7 GB
- INT4 量化:约 3.5 GB
手机根本装不下前三种。能塞进旗舰机内存的,只有最后一种。
这就是端侧大模型最硬的约束。不是算力不够,是内存装不下。
量化:把模型「减肥」
量化做的事很简单:把模型权重的数值精度降下来。
从 FP32 降到 INT8 是 4 倍压缩,降到 INT4 是 8 倍。代价是精度损失——但做得好的话损失可控。行业实测显示,INT4 量化通常还能保住 96% 以上的基准精度。
这不是新概念,但在端侧变成了必修课。因为硬件预算实在有限。
手机的实际内存预算
算一笔更细的账。
旗舰手机内存 12 到 16 GB,系统本身先占掉 2 到 4 GB,留给模型的只有 4 到 8 GB。
这个空间里能跑什么?
- Phi-4-mini 3.8B 压到 INT4 约 2.1 GB——6 GB 内存的机器就能跑
- Gemma 3 4B 约 2.5 GB
- Llama 3.2 3B 约 2.6 GB
- Mistral 7B 约 4 GB——需要旗舰机
苹果自己的端侧模型大约 3B,而且用了 2 比特量化。连平台厂商都把 3B 当成实用上限。
入门机内存 6 到 8 GB,基本只能跑 1B 出头的模型。
笔记本宽裕一些:16 GB 能跑 Qwen 2.5 14B(INT4 约 8 GB),32 GB 配独显可以上 32B(约 18 GB),64 GB 以上的工作站才碰得到 70B(约 39 GB)。
内存带宽:更隐蔽的瓶颈
装得下只是第一步,还得喂得进。
不少人拿 iPhone 跑通了 397B 的 MoE 模型,但速度只有 0.6 token/秒。这是技术炫技,不是能用的产品——瓶颈就在内存带宽。
这也是为什么前面提过,判断端侧算力时 TOPS 会误导人。苹果 M5 Max 的神经引擎只有 38 TOPS,却能跑 70B 模型,靠的是 614 GB/s 的统一内存带宽;标称算力更高的某些机型,受限于 32GB 的 LPDDR5X 内存池和更低的带宽,反而跑不动。
高通的测试也印证了这一点:4 比特模型跑起来之后,瓶颈从算力转移到了内存带宽。
速度与耗电的真实关系
能跑起来之后,还要问值不值。
实测数据:在手机上以 8 token/秒的速度跑 7B 模型,每分钟掉电 3% 到 5%;换成 3B 模型、16 token/秒,每分钟只掉 1% 到 2%。
作为参考,Arm 的数据显示本地 8B 模型的生成速度在 18.5 到 28 token/秒之间,NPU 执行相比 GPU/CPU 省电 65% 到 80%。
想离线长时间对话,得先看电量。
延迟上也要有预期:云端一次响应往往只要一两百毫秒,本地常要等两三秒。要即时感,云更快;要稳定、离线、不限量,本地更合适。
这笔账怎么算才划算
端侧的价值在两件事上,云给不了。
一是边际成本。 云端推理按 token 计费,高频调用每月能烧掉不少钱;本地推理一次部署,之后的边际成本接近于零。行业里有个粗略的盈亏平衡点:月调用量过了几千万 token,本地就比云端便宜得多。但这是粗算,实际要看设备折旧和维护成本。
二是隐私。 76% 的企业安全负责人要求机密数据在本地处理。医疗、金融、法律的敏感资料,很多情况下不允许出门。端侧让数据「出不了这台设备」,这条云端追不上。
所以合理的做法不是二选一,而是分工:
- 日常问答、敏感文档、离线场景 → 交给端侧
- 最重的推理、最新的多模态能力、长链条任务 → 交给云
一个容易被带偏的宣传口径
厂商爱讲「支持 70B 模型」。听到这句话要有判断:那多半是台式工作站或高配 Mac Studio 的故事。
落到你口袋里的手机,现实区间是 3B 到 7B。想要更聪明,先得加内存、加散热、加钱。
端侧大模型的尺寸,是被内存这道坎钉死的。 你想要的聪明程度,得先问内存答不答应。
参考来源
如果这篇文章对你有帮助,欢迎分享给更多人!
部分信息可能已经过时