趁着我在测试L&DL 钢琴曲的时候,写几下这方面的东西
废话少说
具体的概念我就不讲了,想了解自己搜
如果你想做一个人物的ai翻唱,但是出来的效果并不好或者说不知道如何给跑出来的歌曲锦上添花又或者想从头开始学
那你可以参考一下这个贴的内容
一、前置
1.下载整首歌曲
你可以从音乐软件或者b站上利用工具下载原音乐
但前者的下载我没试
只说b站的,你可以从这个链接去下载b站或者油管的视频
https://snapany.com/zh/bilibili
其他的也可以,我在这只是给个例子
2.下载Adobe audition
对于ai翻唱歌曲,如果你没有改歌词的想法
那下载au就够用了
3.下载RipX DAW
处理模型难去除的杂音用,之后说
4.下载msst(别跟mtts搞反了)
msst的作用就是方便分离歌曲的人声、伴奏、混响、和声或噪音、特效声
5.下载ai翻唱软件
例如RVC、 DDSP、SVC4.1
你可以挑选喜欢的下载,我本人没用过RVC和SVC4.1做过人声翻唱,还没这个资格比较说这个一定好用哪个一定不好用
6.准备你想要的人物歌唱素材
低音 高音这些中音最好是都要有,没有的影响也不大
平常的说话素材尽量少一点
格式为.wav
7.准备在au运用的各种插件
包括延迟、混响、去齿音、EQ、母带处理(最基本)
二、运用msst分离
参考msst的文档
https://doc.msst.fun
你从他们的整合包链接下载的时候可以只下载本体,没必要下载过多模型,选择自己觉得好用的就行
因为其他模型可在msst webui中下载
如果你下载的网盘速度快的话也可以提前选好想要的下载,全下我也不拦着
然后将对应模型放到对应目录里面再重启webui就能刷新出来了
我在这里给出我在msst常用的模型

vocal这个一般来处理人声伴奏分离

这个分离混响,或者去噪声
对于这类你可以随意摆放位置,自己记得住它们的作用就行
三、用自己选定的ai翻唱软件炼出模型
将对应人物歌曲的数据集放到其中
具体根据它的步骤来,一般来说是保留人声去混响加上切分
然后启动TensorBoard来看模型的拟合程度
具体的还是要根据耳朵听
我这里放一张图供参考

说明还没完全拟合,效果不会太好
四、混音环节
1.在训练出自己满意的模型后,就可以在au把伴奏和混响加上去
原有的混响部分可能带有原唱残留的人声,看情况选择是否加上
2.先去齿音再EQ、压缩(人声美化)
去齿音这块有不同的插件,根据发行人的教程来,一般只需要几分钟就能搞懂
所谓的EQ就是均衡器,对声音频段进行削减或者增益
EQ这边我用肥波的插件做演示

最左边的会去除低频无用信息
中间的则需要你扫频从而削减低频(防止声音比较闷)

看到这个耳机的标识了吗,你扫频的时候按住这个听
发现人声比较闷的地方就从这个点往下拉
用鼠标滑轮调整q值,越窄才能做到精准
接着压缩,把超过电平阈值的声音按设置的比例压缩
不足阈值的就会往上增益

压缩完声音动态会减少,使整段人声更平稳
通过这几个步骤,你可以拿目前处理过的人声的再跑一遍优化
但我一般是直接就用(lazy......)
3.加延迟混响
(1)新建两条立体声总音轨,分别命名”延迟“和”混响“,或者你自己分清也行

看到这个S1了吗,你点击他再点击混响/延迟的轨道,就能发送混响/延迟,往下拉就是S2、S3,以便各种效果分别添加
下面则是发送的音量,通常在-7db到-20db
(2)对于延迟
人声的延迟就是平常歌声最后的小尾巴
这方面你需要搞清楚整首歌的bpm和调
我这里给个网站,你自己放原音乐进去查看就行
https://vocalremover.org/zh/key-bpm-finder
在搞清楚了它的bpm之后

可在bpm那填写
然后在左边的按钮调整延迟的节拍
不同bpm的歌曲需要的延迟不同,用耳朵听
(3)对于混响
这里拿肥波的混响插件当案例

通过调整这些参数,实现不同的效果
顺序上来说你可以按自己的想法来,但压缩一定要在削减处理后
(4)对于原有的混响/和声
你可以建个侧链发送到人声轨道
抬高高频压中频
防止和声与主人声打架


(5)对于伴奏
你也可以建个侧链
实现伴奏闪避

(6)母带处理
这里我用的mixboss,出效果简直不要太简单

总结一下吧,翻唱混音几乎是会按按钮和懂点乐理知识就能上手
我就不在这个贴展示我自己的炼的模型和剩下的插件了
或许在之后会打包丢到莫盘
总有更好的