谷歌开源 ML Drift：跨平台 GPU 推理引擎替代旧版 TFLite GPU 委托

事件核心：发生了什么

谷歌发布开源、跨平台的 GPU 计算引擎 ML Drift，专为端侧机器学习和生成式 AI 推理设计。它把不同 GPU 硬件和底层图形 API 的差异封装起来，支持 OpenGL ES、OpenCL、Metal 和 WebGPU，是驱动 LiteRT 进行 GPU 加速的核心引擎。

相比旧版 TFLite GPU 委托，ML Drift 基于张量虚拟化实现统一着色器，支持自定义算子扩展和原生五维张量，并针对 Arm、Intel、高通 GPU 做了硬件专属优化。桌面端通过 Chromium 的 WebGPU 实现 Dawn 扩展到 Windows 和 Linux，macOS 则保留原生 Metal 后端。与此同时，谷歌宣布停止更新旧版 TFLite GPU 委托，建议现有模型迁移到 LiteRT ML Drift 加速器。

为什么重要

端侧推理长期受制于 GPU 架构、驱动版本和 API 的碎片化，开发者无法预知应用最终跑在什么硬件上。ML Drift 试图把这一层复杂性从应用代码中剥离，让同一套推理运行时覆盖移动端和桌面端。谷歌称其定位是在传统 ML 的稳定性与生成式 AI 的峰值性能之间取平衡。

在开发者级工作站上，谷歌用 Gemma 模型做了基准测试，报告内存开销比 llama.cpp 和 MLX LM 等框架低 12%。这组数据仅来自谷歌自测，而且是特定模型与硬件条件下的结果，不能当作通用排名。对开源生态而言，更值得看的是它把推理引擎从“某个框架的附属件”变成了可复用的独立组件。

对用户/开发者/创作者的影响

开发者可以用 LiteRT ML Drift 加速器迁移现有模型，GPU 和系统工程师则能通过底层 C++ API 构建自定义计算图、编写自定义着色器。谷歌给出的落地案例包括：YouTube Shorts 上基于分割算法的特效平均帧延迟在 Android 和 iOS 平台最高降低 40%；谷歌 Photos 的图像处理流水线提速最高 2 秒；Adobe Lightroom 和 Photoshop 的选择主体、选择天空等功能性能提升最高 30%；Snapchat 在 Android 上的人脸和风格生成特效延迟降低 30%。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

对普通用户来说，这些数字意味着部分端侧 AI 功能会更省电、响应更快，但仍取决于应用是否升级到新引擎。社区反馈并不一致：有工程师认为原生五维张量和逻辑张量与物理内存解耦对边缘 GPU 上的空间模型、Transformer 模型和减少内存碎片化很有价值；也有开发者质疑它在 iPhone 上相对 Core ML 的延迟和内存表现，谷歌目前未公布该对比数据。

值得关注的后续

一是 LiteRT 迁移的实际进度，旧版 GPU 委托停止更新后，存量模型能否平稳过渡；二是苹果设备上 ML Drift 与 Core ML 的实测对比何时出现，这决定它能否覆盖主流交付平台；三是 Dawn 驱动的 Windows、Linux 桌面推理支持稳定后，是否会吸引更多非谷歌系框架接入。

来源：InfoQ CN