新一代旗舰手机开始把轻量模型直接部署在设备上,支持离线摘要、通话实时转写与图片消除等功能。

端侧推理的最大优势是隐私与延迟:数据不出设备,响应时间稳定在百毫秒级。但代价同样明显——模型参数被限制在数 GB 以内,复杂推理任务仍需回传云端。

实测中,离线摘要的质量可以接受,但连续使用十分钟后机身温度上升明显,续航下降约 8%。

厂商的应对策略是分层:简单任务本地跑,复杂任务走云端,并在系统层面做功耗调度。