小米开源ControlFoley：可控视频音效生成模型正

从行业视角来看，2026年6月4日这个节点值得被记录——小米人工智能实验室正式开源了可控视频音效生成模型ControlFoley。这款模型的核心能力很直接：看完视频画面后，它能自动生成与场景高度契合的环境音效和背景音乐，而且用户只需一句自然语言指令，就能精准调节音效的风格、强度甚至节奏。这意味着，视频内容生产中最容易被忽视但同样关键的一环——音效制作，正在被自动化技术真正撬动。

技术层面，ControlFoley是基于扩散模型架构构建的，训练数据集超过百万组高质量视频-音频配对样本。它真正让人眼前一亮的地方在于细粒度的视觉理解能力：模型不仅能看懂画面里发生了什么事——比如有人在走路、风吹过树梢、物体碰撞——还能准确识别场景空间和物体属性，然后据此生成匹配的音效。说白了，就是它能“看”懂画面再“听”到声音。

那它到底有多可控？这才是关键所在。用户只需输入简洁的文本提示，比如“轻柔的雨声”或“紧张的鼓点”，系统就能按需调整输出。而且它既可以处理单条视频，也支持多视频批量生成，每条视频的音效生成耗时稳定在三到五秒之间。对于需要频繁处理视频素材的创作者来说，这个效率提升是实实在在的。

技术指标方面，ControlFoley支持48kHz高采样率音频输出，音质已经达到了专业制作水准。更重要的是，小米此次开源的内容非常完整：预训练权重、完整推理代码、详尽使用文档，全部打包奉上。这意味着开发者可以直接拿来用，甚至在此基础上进行二次开发，门槛大幅降低。

落到实际应用场景，ControlFoley的想象空间不小。短视频内容创作、游戏音效设计、影视后期辅助——这些领域里，音效制作历来是专业活，需要经验、设备和时间。而现在，一个个体创作者也能快速生成高质量的配套音效，时间和金钱成本都被压了下来。研发团队也透露，未来会根据实际需求和用户反馈，探索面向终端用户的在线服务形态。可以预见，当这样的工具普及开来，视频内容的整体质感将迎来一次集体提升。