AgentHands：为 XR 智能体对话生成交互式手势

Google Research 于2026年8月25日介绍 AgentHands，一款面向 XR 对话场景的研究原型，尝试让智能体用与语音同步的虚拟手势指向、描绘和演示现实空间中的对象与操作，关注价值在于探索空间计算中超越文字和二维框选的交互方式。

• 系统先结合用户注视和场景重建登记物体，形成带三维边界框的空间注册表，随后由语言模型生成包含 GestureEvents 的回答。
• 手势行为按指示、象征和表达三类组织，并进一步考虑手势形式、空间位置、时间动态、交互性和视觉效果等维度。
• XR 头显端通过本地解析器协调文字转语音与动画，利用词级时间戳使手势和语音同步。
• Google 在两类流程任务中开展了12人的被试内研究，对比带手势系统与纯语音基线；报告称，定位物体、理解动作和注意警告等指标达到统计显著差异，p值小于0.05。
• 研究场景包括兰花护理和3D打印机操作，结果说明手势可能帮助用户建立语言指令与现实对象之间的空间对应，但样本规模、任务类型和研究者脚本化内容限制了外推范围。
• 影响/看点：如果更大规模、更多设备和真实长期任务能够复现这些结果，空间手势可能成为 XR 智能体的重要交互层；其成立取决于场景重建精度、手势时序稳定性、用户接受度以及错误指引的安全控制。
• 资料依据：Google Research《AgentHands: Generating interactive hand gestures for spatially grounded agent conversations in XR》，2026年8月25日，https://research.google/blog/agenthands-generating-interactive-hand-gestures-for-spatially-grounded-agent-conversations-in-xr/；CHI 2026 论文链接，https://chi2026.acm.org/

本内容由 AI 生成，仅供参考，请注意甄别