RVC;Retrieval-based-Voice-Conversion-WebUI

想试试给自己做个AI声音分身，或者给虚拟歌姬换上一副全新的嗓音？现在，门槛可能没你想象中那么高。一个名为RVC（Retrieval-based-Voice-Conversion）的开源项目，正让语音转换技术变得触手可及。它本质上是一个基于VITS的变声器框架，以其简单易用和开源特性，吸引了大量创作者和技术爱好者。

光说可能不够直观，我们来看一个具体的合作案例。在B站上，有一段名为《中日双语花海！我和自己的ai合唱了！》的视频。在这段视频里，UP主实现了与自己AI歌声的同台合唱，其背后用到的核心技术，正是RVC和另一个开源歌声合成项目DiffSinger。

视频链接：https://www.bilibili.com/video/BV1QP411X7A6/

更值得关注的是，视频的AI声音协作者和制作者在评论区详细分享了整个制作流程的技术要点，这为我们揭开AI合唱背后的秘密提供了一份绝佳的路线图：

1. 首先，由歌手“九三”本人授权提供声音素材，由用户“花儿不哭”使用开源变声模型【RVC】训练出专属的AI声库模型，以备后续的推理使用。
2. 接着，使用开源歌声合成引擎【DiffSinger】模仿“九三”的唱法进行虚拟歌姬调教，并将其作为输入源。
a. 具体步骤包括：获取并利用“東北きりたん”开源歌唱数据库进行训练。
b. 利用Synthesizer V进行制谱（注：1.9及以后版本需冻结实参），谱面基于“某只泽”老师的原始版本，并融入了对原唱“九三”、周杰伦以及中孝介等多个版本《花海》演绎方式的理解。
c. 通过OpenSVIP工程转换得到USTX工程文件，再使用OpenUTAU进行精细调教，重点调整特色的转音和咬字部分。
d. 最后，将调教好的歌声作为输入源，使用RVC进行换声推理，并完成最终的混音处理。

整个过程中，需要感谢所有贡献者：歌手“九三”的演唱、“花儿不哭”的RVC模型训练，以及DiffSinger项目的全体开发者、日语数据集的标注者和模型训练者。正是他们在合规框架下的工作，向我们展示了AI技术的可能性。最后值得一提的是，DiffSinger作为一款开源的歌声合成工具，在获得本人授权并拥有充足时间和标注数据的前提下，可以直接用于制作AI声库，再结合MIDI和歌词进行翻唱。这不仅能持续改善跨语种演唱中的细微口音差异，更有潜力拓展词曲创作，赋能虚拟歌姬达到新的高度。

如果你对这个过程感兴趣，网络上已有丰富的学习资源。例如，B站上就有题为《【RVC】全新AI变声器一键训练包发布！10分钟克隆你的声音！》的详细视频教程，可以帮助初学者快速上手。

视频教程链接：https://www.bilibili.com/video/BV1QP411X7A6/

项目的核心入口是其在GitHub上的官方仓库，所有代码、模型和文档都集中于此：