新一代旗舰手机开始把轻量模型直接部署在设备上,支持离线摘要、通话实时转写与图片消除等功能。
端侧推理的最大优势是隐私与延迟:数据不出设备,响应时间稳定在百毫秒级。但代价同样明显——模型参数被限制在数 GB 以内,复杂推理任务仍需回传云端。
实测中,离线摘要的质量可以接受,但连续使用十分钟后机身温度上升明显,续航下降约 8%。
厂商的应对策略是分层:简单任务本地跑,复杂任务走云端,并在系统层面做功耗调度。
离线可用、隐私可控,但体验仍有取舍
新一代旗舰手机开始把轻量模型直接部署在设备上,支持离线摘要、通话实时转写与图片消除等功能。
端侧推理的最大优势是隐私与延迟:数据不出设备,响应时间稳定在百毫秒级。但代价同样明显——模型参数被限制在数 GB 以内,复杂推理任务仍需回传云端。
实测中,离线摘要的质量可以接受,但连续使用十分钟后机身温度上升明显,续航下降约 8%。
厂商的应对策略是分层:简单任务本地跑,复杂任务走云端,并在系统层面做功耗调度。
评论 0
还没有评论,来抢沙发吧