pytorch使用pytorch-kaldi实现ASR语音识别

Song • 962 次浏览 • 0 个回复 • 2018年09月17日

pytorch-kaldi是开发最先进的DNN/RNN混合语音识别系统的公共存储库。DNN部分由pytorch管理,而特征提取,标签计算和解码使用kaldi工具包执行。前面我们已经介绍了Linux/Windos搭建安装Kaldi环境实现ASR语音识别

介绍:

该项目发布了一系列代码和实用程序,以开发最先进的DNN/RNN混合语音识别系统。DNN/RNN部分在pytorch中实现,而特征提取,对齐和解码使用Kaldi工具包执行。提供的系统的当前版本具有以下功能:

  • 支持不同类型的NN(例如,MLP,RNN,LSTM,GRU,最小GRU,轻GRU)[1,2,3]
  • 支持recurrent dropout
  • 支持batch和图层规范化
  • 支持单向/双向RNN
  • 支持residual/skip连接
  • 支持双正则化[4]
  • python2/python3兼容性
  • gpu训练
  • recovery/saving checkpoints
  • 可与kaldi轻松对接。

所提供的解决方案专为标准机器和HPC集群上的大规模语音识别实验而设计。

先决条件:

输入python -c "import kaldi_io"以检查包是否已正确安装。您可以在https://github.com/vesis84/kaldi-io-for-python上找到更多信息(包括一些读写测试)。

RNN模型的实现根据训练句的长度对训练句进行排序。这允许系统在形成微型机时最小化零填充的需要。使用sox提取每个句子的持续时间。请确保已安装(仅在create_chunk.sh中生成功能列表时使用)

pytorch-kaldi源码环境:

cd pytorch-kaldi
source ./env.sh

如何运行TIMIT实验:

尽管代码可以很容易地适应任何语音数据集,但在文档的以下部分中,我们提供了一个基于流行的TIMIT数据集的示例。

1、运行TIMITKaldi s5基线。此步骤对于计算稍后用于训练pytorch MLP的特征和标签是必要的。尤其是:

  • 转到$ KALDI_ROOT/egs/timit/s5然后在path.sh之前运行run.sh脚本。
  • 确保一切正常。
  • 请使用local/nnet/run_dnn.sh运行KarelDNN基线。
  • 不要忘记使用以下命令计算test和dev数据的对齐方式。如果您想使用tri3对齐方式,请键入:
steps/align_fmllr.sh --nj 4 data/dev data/lang exp/tri3 exp/tri3_ali_dev

steps/align_fmllr.sh --nj 4 data/test data/lang exp/tri3 exp/tri3_ali_test

如果您想使用dnn alignments(如建议的那样),请输入:

steps/nnet/align.sh --nj 4 data-fmllr-tri3/dev data/lang exp/dnn4_pretrain-dbn_dnn exp/dnn4_pretrain-dbn_dnn_ali_dev

steps/nnet/align.sh --nj 4 data-fmllr-tri3/test data/lang exp/dnn4_pretrain-dbn_dnn exp/dnn4_pretrain-dbn_dnn_ali_test

2、将功能列表拆分为块。

  • 转到pytorch-kaldi文件夹。
  • create_chunks.sh脚本首先对kaldi特征列表进行清洗或排序(根据句子长度),然后将其拆分为一定数量的块。混合列表可能适用于前馈DNN,而排序列表可用于RNN(用于最小化形成微缩位时零填充的需要)。该代码还计算每个发言者和每个句子的CMVN

对于清洗mfcc功能运行:

./create_chunks.sh $KALDI_ROOT/egs/timit/s5/data/train mfcc_shu 5 train 0
./create_chunks.sh $KALDI_ROOT/egs/timit/s5/data/dev mfcc_shu 1 dev 0
./create_chunks.sh $KALDI_ROOT/egs/timit/s5/data/test mfcc_shu 1 test 0

对于有序的mfcc功能运行:

./create_chunks.sh $KALDI_ROOT/egs/timit/s5/data/train mfcc_ord 5 train 1
./create_chunks.sh $KALDI_ROOT/egs/timit/s5/data/dev mfcc_ord 1 dev 1
./create_chunks.sh $KALDI_ROOT/egs/timit/s5/data/test mfcc_ord 1 test 1

注意:每个训练块应包含大约1小时的语音。对于100小时的较大训练数据集,您应该使用:

./create_chunks.sh $KALDI_ROOT/egs/your_dataset/data/train mfcc_ord 100 train 1

3、设置配置文件。

  • 进入cfg文件夹
  • 打开配置文件(例如,TIMIT_MLP.cfg,TIMIT_GRU.cfg)并根据您的路径修改它:
  • tr_fea_scp包含使用create_chunks.sh创建的功能列表。
  • tr_fea_opts允许用户轻松添加规范化,衍生物和其他类型的特征处理。
  • tr_lab_folder是包含对齐(标签)的kaldi文件夹。
  • tr_lab_opts允许用户派生依赖于上下文的电话目标(当设置为ali-to-pdf时)或单声道目标(当设置为ali-to-phone --per-frame时)。
  • 请修改dev和测试数据的路径。
  • 您可以根据需要随意修改DNN架构和其他优化参数。
  • 所需的count_file用于在馈送解码器之前规范化DNN后验。该归一化步骤对于HMM-DNN语音识别是至关重要的。事实上,DNN提供后验概率,而HMM是与可能性一起工作的生成模型。为了得出所需的可能性,可以简单地将后验除以先验概率。计数文件包含上述先验,通过简单计算电话状态得出。如果运行完整的TIMIT s5配方(包括DNN部分),则会在此处自动创建计数文件:
$KALDI_ROOT/egs/timit/s5/exp/dnn4_pretrain-dbn_dnn/ali_train_pdf.counts

否则,您可以使用以下命令临时创建:

alidir=/home/mirco/kaldi-trunk/egs/timit/s5/exp/tri3_ali (change it with your own path)

num_pdf=$(hmm-info $alidir/final.mdl | awk '/pdfs/{print $4}')
labels_tr_pdf="ark:ali-to-pdf $alidir/final.mdl \"ark:gunzip -c $alidir/ali.*.gz |\" ark:- |"

analyze-counts --verbose=1 --binary=false --counts-dim=$num_pdf "$labels_tr_pdf" ali_train_pdf.counts
  • 使用use_cuda=1选项在GPU上运行代码(强烈建议)。
  • 使用save_gpumem = 0选项来保存gpu内存。代码会慢一点(大约10-15%),但它可以节省gpu内存。
  • 有关所有可能选项的更详细说明,请参阅config_description.cfg

4、运行实验。

键入以下命令以运行DNN训练:

./run_exp.sh cfg/baselines/TIMIT_MLP.cfg

或者

./run_exp.sh cfg/baselines/TIMIT_GRU.cfg

要检查可能出现的错误,请大家看看到log.log保存到在CFG文件中指定的输出文件夹(out_folder)文件。请注意,run_exp.sh是一个执行完整ASR实验(训练,转发和解码步骤)的bash脚本。如果一切正常,您应该在输出文件夹中找到以下文件:

  • 文件res.res总结了各个时期的训练和评估表现。查看exp/our_results,了解运行代码时应该获得的结果。
  • 包含语音识别结果的文件夹decode_test。如果您输入./RESULTS,您应该能够看到每个实验的错误率(PER%)。
  • .pkl模型是用于语音解码的最终模型。
  • .info文件报告每个训练块的损失和错误性能。
  • log.log文件包含训练过程中可能发生的错误。

添加自定义DNN模型

可以轻松编写自己的自定义DNN模型并将其插入neural_nets.py。与已经实现的模型类似,用户必须编写初始化DNN参数的init方法和forward方法。正向方法应该输入当前特征x和相应的lab标签。它必须在输出端提供处理过的小批量的损失,误差和后验概率。创建自定义DNN后,应以这种方式将新模型导入run_nn_single_ep.py文件:

from neural_nets import mydnn as ann

如果模型是RNN模型,则正确设置标签rnn = 1并且如果它是前馈DNNrnn = 0也是很重要的。请注意,RNN和前馈模型基于不同的特征处理(对于RNN模型,功能是根据其长度排序的,对于前馈DNN,功能是shuffled的。)

项目地址:mravanelli/pytorch-kaldi


原创文章,转载请注明 :pytorch使用pytorch-kaldi实现ASR语音识别 - pytorch中文网
原文出处: https://ptorch.com/news/208.html
问题交流群 :168117787
提交评论
要回复文章请先登录注册
用户评论
  • 没有评论
Pytorch是什么?关于Pytorch! python安装使用阿里云OSS上传/下载/删除文件