Google 推出 LiteRT.js:高性能 Web AI 推理运行时

Google 正式发布 LiteRT.js,这是一个通过 WebAssembly 将端侧推理引擎 LiteRT 搬进浏览器的 JavaScript 绑定库,让开发者直接在网页中运行 .tflite 模型,实现接近原生性能的 AI 推理,同时保证用户隐私和零服务器成本。

Google 推出 LiteRT.js:高性能 Web AI 推理运行时

一句话看懂:Google 正式发布 LiteRT.js,这是一个通过 WebAssembly 将端侧推理引擎 LiteRT 搬进浏览器的 JavaScript 绑定库,让开发者直接在网页中运行 .tflite 模型,实现接近原生性能的 AI 推理,同时保证用户隐私和零服务器成本。

事件核心:发生了什么

LiteRT.js 是 Google 为 Web 端打造的 AI 推理运行时,它并非简单移植 TensorFlow.js,而是直接通过 WebAssembly 暴露原生的 LiteRT 运行时及其全套硬件加速能力。当前版本支持三种执行后端:CPU(通过 XNNPACK)、WebGPU 以及 WebNN(通过 Apple CoreML)。根据 Google 官方基准测试,在经典计算机视觉和音频处理模型上,LiteRT.js 相比其他 Web 运行时可实现高达 3 倍的性能提升;在实时应用场景中,通过 WebGPU 或 WebNN 利用 GPU 或 NPU,相比标准 CPU 执行可获得 5 到 60 倍的加速。此外,LiteRT.js 还提供了 PyTorch 模型的一键转换工具 LiteRT Torch,以及 AI Edge Quantizer 量化工具,允许开发者针对不同模型层进行定制化量化,在保持模型质量的同时大幅减小体积并提升性能。

为什么重要

此前在浏览器中运行 AI 模型主要依赖 TensorFlow.js 等基于 JavaScript 实现的内核方案,受限于 JS 运行时性能,难以满足复杂实时任务的需求。LiteRT.js 的出现改变了这一局面:它将 Google 在 Android、iOS 和桌面端验证多年的端侧推理引擎完整引入 Web 环境,并且统一了跨平台技术栈。这意味着 Web 应用能自动受益于面向移动端和桌面端开发的性能优化、量化改进和硬件加速。对于希望通过浏览器提供实时 AI 体验(如对象追踪、音频转录、图像超分)的产品团队来说,LiteRT.js 提供了一个技术上更可行、隐私保护更强(完全本地运行)的方案,可能推动更多 AI 能力从云端走向客户端。

对用户/开发者/创作者的影响

Web 应用开发者:可以直接用 JavaScript/TypeScript 调用 .tflite 模型,完成文本生成、目标检测、音频处理等任务。对已使用 TensorFlow.js 的团队,迁移成本较低,且能直接获得 3 倍以上的性能提升。需要特别注意的是,初期版本主要面向桌面端及支持 WebGPU 的移动浏览器,对老旧设备的兼容性有限。AI 模型开发者:可以通过 LiteRT Torch 一键将 PyTorch 模型转换为 .tflite 格式并部署到 Web 端,大幅简化从训练到浏览器推理的流程。Ultralytics 已提供官方的 LiteRT 导出支持,YOLO 模型可以快速在浏览器中跑起来。普通用户:使用图片超分、实时 3D 深度感知、语音转录等 Web 应用时,体验将更流畅,且数据完全留在本地设备上,不存在隐私外传风险。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. Web NN 支持进度:LiteRT.js 已规划利用 WebNN 接口调用 NPU,但目前依赖浏览器的 WebGPU 和 WebNN 的实现成熟度,不同浏览器和设备上的表现可能存在差异。2. 性能与模型生态验证:Google 展示了 Depth Anything、Real-ESRGAN、Ultralytics YOLO 等案例,但大规模复杂模型(如 LLM 专有推理)在浏览器中的实际表现和内存占用仍需社区进一步测试。3. 竞争格局变化:Meta 与 Apple 等公司也在推进端侧 AI(如 Core ML、ONNX Runtime Web),LiteRT.js 是否能凭借完整的 .tflite 生态和跨平台统一优势吸引更多 Web 开发者迁移,将直接影响浏览器端 AI 推理标准的确立。

来源:Google Developers Blog(RSS)

celebrityanime
celebrityanime
文章: 12192

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注