pytorch使用mss_pytorch去除BGM实现语音分离(通过循环推理和跳过滤波连接)

Song • 429 次浏览 • 0 个回复 • 2018年12月25日

通过循环推理和跳过滤波连接进行语音分离,使用此pytorch库,你可以将一段有BGM或者混合乐器的混合音乐获取正在的音源码,即将音乐作品转换为清唱;如果拿到美颜界来说,他就是真正的反美颜工具(开个玩笑)。

试听示例:https://js-mim.github.io/mss_pytorch/

扩展:

  • 这项工作的改进,包括使用TwinNetworks的新型正则化技术,可以在这里找到。
  • 新分支称为nmr_eval。包含我们的L1 penalized模型作为循环推理算法的替代方案。该系统提交给SiSEC-MUS18并表示为MDL1MDLT。除此之外,还可以使用可以在成本函数内使用的附加变量,即反掩蔽阈值。后一种方法是处理感知评估的持续工作。

要求 :

  • Numpy : numpy==1.13.1
  • SciPy : scipy==0.19.1
  • PyTorch : pytorch==0.2.0_2 (用于推理和模型测试,支持pytorch == 0.3.0. 训练需要检查)
  • TorchVision : torchvision==0.1.9
  • 其他:wave(用于wav文件读取),pyglet(仅用于音频播放),pickle(用于存储一些结果)
  • 训练过的模型:https://doi.org/10.5281/zenodo.1064805 下载并将它们放在results/results_inference/
  • MIR_Eval:mir_eval =='0.4'(仅用于非官方交叉验证。有关报告的评估,请参阅:https://github.com/faroit/dsdtools

用法:

  • 克隆存储库。
  • 将基本目录添加到Python路径。
  • 虽然mss_pytorch是您当前的目录,但只需执行processes_scripts/main_script.py文件(如果没有正确设置基本目录,则首选iPython。)
  • processes_scripts/main_script.py文件的主要函数内给出了用于训练和测试的参数。

此项目研究得到了欧盟H2020框架计划(H2020-MSCA-ITN-2014)的资助,根据拨款协议no 642685 MacSeNet

该方法的支持材料和源代码:S.I. Mimilakis, K. Drossos, J.F. Santos, G. Schuller, T. Virtanen, Y. Bengio, "Monaural Singing Voice Separation with Skip-Filtering Connections and Recurrent Inference of Time-Frequency Mask", in arXiv:1711.01437 [cs.SD], Nov. 2017.。这项工作已被ICASSP 2018的海报接受展示。

项目地址:Js-Mim/mss_pytorch


原创文章,转载请注明 :pytorch使用mss_pytorch去除BGM实现语音分离(通过循环推理和跳过滤波连接) - pytorch中文网
原文出处: https://ptorch.com/news/226.html
问题交流群 :168117787
提交评论
要回复文章请先登录注册
用户评论
  • 没有评论
Pytorch是什么?关于Pytorch! pytorch实现SampleRNN,无条件端到端神经音频生成模型(samplernn-pytorch)