谷歌发布 LiteRT.js:通过 WebGPU 在浏览器中运行 .tflite 模型的 JavaScript 绑定
谷歌发布LiteRT.js,通过WebGPU在浏览器中直接运行.tflite模型,提升性能并保护隐私。
AI 深度解读
谷歌发布LiteRT.js,通过WebGPU在浏览器中直接运行.tflite模型,实现本地推理,提升隐私和性能。
- LiteRT.js是LiteRT(原TensorFlow Lite)的JavaScript绑定,将原生运行时编译为WebAssembly,暴露给JavaScript调用,而非基于JavaScript内核。
- 支持CPU(XNNPACK)、GPU(ML Drift via WebGPU)和NPU(WebNN API)三种后端,但模型必须完全委派给单一加速器,不支持部分委派。
- 性能方面,相比其他Web运行时,CPU和GPU推理速度提升最高3倍;GPU/NPU相比CPU加速5-60倍。
- 可通过Torch转换PyTorch模型为.tflite格式,但要求模型可被torch.export导出。
- 影响/看点:LiteRT.js让Web应用获得接近原生的AI推理性能,同时保持数据本地化,对隐私敏感场景和边缘计算意义重大。