一句话看懂：谷歌发布轻量级 C++ API“LiteRT Tensor API”，允许开发者逐个算子搭建面向端侧的机器学习计算图，同一份代码可跑在 CPU、GPU 和 NPU 上，兼顾底层控制力与跨平台可移植性。
事件核心：发生了什么
根据 InfoQ CN 报道，谷歌推出 LiteRT Tensor API。传统做法是用 C++ 手写计算逻辑换取最大控制权，但代码与 Metal、OpenCL、Vulkan 等后端紧耦合，每增加一种硬件目标就要重写；在 CPU、GPU、NPU 之间做零拷贝互通和同步，以及拼接预处理、推理与后处理，也都依赖大量人工开发。新 API 让开发者用 C++ 定义模型图，并支持直接从检查点导入权重（含 Hugging Face 的 .safetensors），以及在预处理、推理、后处理之间复用加速器缓冲区。
谷歌用编码智能体构建了一个多对象分割与跟踪的演示应用，并以此做跨平台基准：同一份 SAM 2 模型 C++ 代码跑在 macOS 笔记本（Metal）、iOS 手机（Metal）和 Android 手机（OpenCL）上。按其测试，在 MacBook Pro 上比 Apple MLX（fp16，图像编码器加掩码解码器）快约 1.5 倍。该结果仅对应这一模型、这些设备和本次测试条件，不宜理解为普遍性能排名。
为什么重要
端侧推理的难点往往不在模型本身，而在硬件碎片化：同一模型要适配手机、PC 和各类加速器，工程成本高。LiteRT Tensor API 把模型图抽象为结构化原语，使一份 C++ 代码覆盖多种后端，降低了端侧 AI 应用跨平台部署的门槛。它也顺应了“AI 编码智能体参与底层优化”的趋势——纯 C++ 定义的图便于智能体生成、修改和基准测试代码，谷歌称智能体把 SAM 2 的部分逐帧决策从 CPU 代码移入计算图，并改写了在 WebGPU 上触发 CPU 回退的算子。
对用户/开发者/创作者的影响
对做移动端或端侧推理的开发者，这是一条用 C++ 精细控制模型图、又不必为每个后端重写代码的路径。Arm AI 总监 Laurence Moroney 在 LinkedIn 上评论时提醒：开发者应优先从模型转换入手，只有在需要图级控制、或希望把预处理和后处理留在加速器上时，再考虑这个 C++ API。他同时提到，在 WebGPU、512×512 分辨率下帧率从不足 10fps 提升至 30fps 以上，且迭代优化由编码智能体完成——这属于个人评论，需与官方结论区分。对普通用户而言，短期影响主要是未来端侧图像分割、跟踪等功能的效率与耗电表现，目前公开信息显示尚无面向消费者的产品公告。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是谷歌规划的原生 ML Drift 后端、更多 NPU 友好算子、全图自动量化和动态形状支持能否按期落地；二是除 SAM 2 演示外，是否会有更多开源模型和真实应用采用该 API；三是 Moroney 所说的“先转换、后调优”是否成为社区主流实践。
来源：InfoQ CN
