小米开源业界首个端到端空间音频理解大模型 MiDashengLM-Spatial

📡 IT之家2026-10-16 09:35

小米以Apache 2.0开源MiDashengLM-Spatial,称业界首个端到端空间音频理解大模型,可感知声源方位。

AI 深度解读

小米发布并开源 MiDashengLM-Spatial,试图在一个音频语言模型中同时处理一般音频理解和空间感知,关注价值在于空间音频从单独识别任务进入统一多模态模型架构。

  • 小米研究团队在 arXiv 论文 2026-10-08 版本中介绍了 Spatial-Dasheng 空间音频编码器和层级语义到空间条件模块。
  • GitHub 项目以 Apache 2.0 许可证发布代码,仓库列出模型权重、评估脚本和示例推理流程。
  • 项目 README 显示,MiDashengLM-Spatial-7B 在 STAR-Bench 空间准确率为 70.3,通道交换全正确率为 72.6;这些是作者报告的基准结果,不等同于独立复现结论。
  • 论文称模型在空间理解任务上优于现有音频语言模型,同时在多项单声道任务上保持竞争力,但论文仍属于预印本。
  • 影响/看点:若空间定位和一般音频理解能够在同一模型中稳定协同,智能家居、车载座舱和环境感知可能获得更丰富的交互信号;能否形成产品价值取决于双耳数据质量、噪声环境表现和端侧推理成本。资料依据:
  • MiDashengLM-Spatial 论文(2026-10-08):https://arxiv.org/abs/2610.11156
  • MiDashengLM-Spatial GitHub(2026-10-08):https://github.com/xiaomi-research/midashenglm-spatial

本内容由 AI 生成,仅供参考,请注意甄别

查看原文 ↗
看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com →
AI 助手