Hao AI Lab 开源 Hawky:为 Ray-Ban Meta 智能眼镜打造实时交互 Agent
Hao AI Lab开源AI智能体Hawky,基于Ray-Ban Meta智能眼镜的视听能力实现端侧实时交互。
AI 深度解读
Hao AI Lab 于 2026 年 9 月 29 日开源了实时环境交互 Agent 项目 Hawky,探索了将多模态实时模型与可穿戴硬件结合以实现持续环境感知的技术路径。
- 架构设计:Hawky 将前端实时对话与后端计算解耦,前端支持接入 OpenAI Realtime、Gemini Live 等模型处理音视频流与实时语音,后端网关负责长程记忆维持与工具调用。
- 硬件适配:支持通过 iOS 客户端将 Ray-Ban Meta 智能眼镜的第一视角音视频串流至模型,并同步提供 Web 端交互入口。
- 功能场景:官方演示展示了环境安全预警、人脸身份识别静默提示及待办承诺提醒等功能,支持在模型切换过程中保留会话上下文。
- 开发状态:项目采用 Apache-2.0 协议开源,支持后台任务异步流转,全量音视频记录与视觉记忆检索功能仍处于开发阶段。
- 影响/看点:Hawky 展现了智能眼镜作为多模态 Agent 交互载体的落地潜力,其实际应用效果将取决于持续音视频推流下的设备续航、网络延迟以及音视频数据上传过程中的隐私合规保护。
- 资料依据:
- X:Sky Computing Lab(2026-09-29):https://x.com/haoailab/status/2104998028402925644
- GitHub:hao-ai-lab/hawky(2026-09-29):https://github.com/hao-ai-lab/hawky
本内容由 AI 生成,仅供参考,请注意甄别