Black Forest Labs 发布 Flux 3

Black Forest Labs 发布新一代多模态基础模型「FLUX 3」,现已开放 Early Access,首次把图像、视频、音频放进同一套架构联合训练,不再是各管一段的模型拼接,目标是让模型学会跨模态互证的「世界表示」,这个方向值得关注。

• 技术路线沿用团队的“Self-Flow”方法,在此基础上大幅扩大算力与数据规模,让视频、图像、音频三种模态在同一个模型里同步训练,而不是分开训练再拼接。
• 核心逻辑是让模态之间相互校验:声音要匹配撞击的力度,画面中的运动要符合物体的质量和惯性,未来画面要能从过去画面自然推演,这些约束一起学,比孤立学任何单一模态能榨出更多信息。
• 能力上支持“混合模态生成”:既能从纯文本提示直接生成图像,也能同时生成带音轨的视频,还支持以已有图像、视频作为参照进行编辑或延展。
• 官方给出的早期评测显示,相比传统的 Flow Matching 基线,FLUX 3 在生成误差(Fréchet distance)和机械臂等物理操作任务的微调成功率上都有提升,说明联合训练路线在物理 AI 场景也开始有验证数据支撑。
• 官方将 FLUX 3 定位为迈向“能感知、预测、并在物理和数字环境中行动”的世界模型路线上的阶段性成果,而不只是一次内容生成工具的性能升级。
• 如果多模态联合训练路径能持续验证,FLUX 3 释放的将不只是生成画质的提升,更可能成为具身智能与物理 AI 训练数据、世界模型的通用底座,值得跟进它在机器人操作等场景的后续落地表现。

本内容由 AI 生成，仅供参考，请注意甄别