英伟达 Jim Fan 团队发布 RoboTTT,原生支持 8000 时间步上下文
英伟达 Jim Fan 团队发布 RoboTTT,原生支持 8000 时间步上下文,性能随上下文增长提升。
AI 深度解读
英伟达 Jim Fan 团队发布 RoboTTT,原生支持 8000 时间步上下文,实现机器人 5 分钟肌肉记忆。
- 采用测试时训练(TTT)技术,将小模型嵌入大模型内,每步更新梯度。
- 固定大小的隐藏状态可压缩任意长历史,学习持续进行。
- 支持从人类视频进行一次性上下文学习,如电路板组装。
- 机器人能自我纠错,错误恢复能力显著提升。
- 影响/看点:上下文缩放曲线显示性能持续提升,机器人领域迎来长上下文时代。