第一步:访问《Kaiyun全站官网登录入口》官网👉首先,打开您的浏览器,输入Kaiyun全站官网登录入口的官方网址《http://vmdukgk.huaweiupse.com/appset/detail/7qyF4tGd》。您可以通过搜索引擎搜索Kaiyun全站官网登录入口或直接输入网址来访问
👉第二步:点击注册按钮 在 《Kaiyun全站官网登录入口》站首 页右上角，您可以找到“登录”按钮。当您点击“登录”时，弹出的下拉菜单中有一个名为“注册”的按钮。点击该按钮以开始注册流程。
👉第三步:填写注册信息 在《Kaiyun全站官网登录入口》注册页面，需要填写以下信息哦。
👉第四步：验证账户 填写完个人信息后，您可能需要进行账户验证。澳门新葡官网进入网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。
👉第五步：设置安全选项 澳门新葡官网进入网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。
👉第六步：阅读并同意条款 在注册过程中，澳门新葡官网进入网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。
👉第七步：完成注册 一旦您完成了所有必要的步骤，并同意了澳门新葡官网进入网站的条款，恭喜您！您已经成功注册了澳门新葡官网进入网站账户。现在，您可以畅享澳门新葡官网进入网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋
🔥Kaiyun全站官网登录入口应用是一种基于云技术的应用程序，在云端进行数据存储、计算和处理。应用可以通过互联网访问，无需安装在用户设备上，可以随时随地使用。
🔥Kaiyun全站官网登录入口,现在下载,新用户还送新人礼包😍。 Kaiyun全站官网登录入口游戏是一款非常经典的动作射击类手机游戏，玩家需要不断的提升自身的战斗力可以成为真正的强者，感兴趣的小伙伴们快来下载终结战场手游试试吧！游戏
🔥欢迎使用Kaiyun全站官网登录入口系统类型:😍Kaiyun全站官网登录入口(中国)官方网站/IOS/Android通用版/手机2025-02-08是一款由网易打造的篮球竞技类3V3手游，游戏有嘻哈潮流的个性装扮，热血题材，街头玩法，自由有个性的篮球手游。不可错过的篮球手游~游戏
🔥Kaiyun全站官网登录入口软件，一款可以记录各种比赛的计分器工具，软件中提供各种体育、篮球、足球、乒乓球、羽毛球、网球、台球、棒球、排球等等，在打比赛的时候可以实时记分，结束比赛后可以随时查看记录的分数，是一个非常实用的软件。
🔥Kaiyun全站官网登录入口是一家提供绿色安全应用与游戏的安全下载市场，商店上汇聚了海量更新更全的ios-Android软件、ios-Android应用和ios-Android游戏。
🔥Kaiyun全站官网登录入口10分钟一局享受极致紧张刺激的推理乐趣!千万年轻人的选择，速来加入!分年龄、分水平的快速匹配，让你每一局都是质量局，给你提供最好的游戏环境!!

AIxiv专栏是小米新代机器之心发布学术、技术内容的语音识栏目。过去数年，别算机器之心AIxiv专栏接收报道了2000多篇内容，小米新代覆盖全球各大高校与企业的语音识顶级实验室，有效促进了学术交流与传播。别算如果您有优秀的小米新代工作想要分享，欢迎投稿或者联系报道。语音识投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

新一代 Kaldi 团队是别算由 Kaldi 之父、IEEE fellow、小米新代小米集团首席语音科学家 Daniel Povey 领衔的语音识团队，专注于开源语音基础引擎研发，别算从神经网络声学编码器、小米新代损失函数、语音识优化器和解码器等各方面重构语音技术链路，别算旨在提高智能语音任务的准确率和效率。

目前，新一代 Kaldi 项目 （https://github.com/k2-fsa）主要由四个子项目构成：核心算法库 k2、通用语音数据处理工具包 Lhotse、解决方案集合 Icefall 以及服务端引擎 Sherpa，方便开发者轻松训练、部署自己的智能语音模型。

近日，小米集团新一代 Kaldi 团队关于语音识别算法的论文《CR-CTC: Consistency regularization on CTC for improved speech recognition》被 ICLR 2025 接收。

• 论文链接：https://arxiv.org/pdf/2410.05101

• 论文代码：https://github.com/k2-fsa/icefall/pull/1766（已 merge 进 icefall 框架）

摘要

主流的自动语音识别（ASR）模型包括 CTC [1]、transducer [2] 和混合系统 CTC/AED [3]。CTC 是其中最简单、最便于部署的方法，但由于它的性能通常明显落后于 Transducer 和 CTC/AED，这限制了它的实际应用。

为此，新一代 Kaldi 团队提出了 Consistency-Regularized CTC (CR-CTC)，可以让纯 CTC 模型的识别性能比肩 Transducer 和 CTC/AED。CR-CTC 在多个主流的 ASR 数据集，包括 LibriSpeech、Aishell-1、GigaSpeech 等数据集上，取得新的 SOTA 结果（不依赖外部训练数据和外部语言模型）。

例如，在 LibriSpeech 数据集上训练 Zipformer-L，标准 CTC 的 WER 为 2.5/5.72，CTC/AED 的 WER 为 2.09/4.59, Pruned Transducer 的 WER 为 2.00/4.38；CR-CTC 的 WER 为 2.02/4.35；CTC/AED 和 Pruned Transducer 挂上 CR-CTC 联合训练后，WER 可分别进一步降低到 1.96/4.08 和 1.88/3.95。

方法实现

如 Figure 1 所示，CR-CTC 方法非常简单，先从同一个输入 Mel-spectrogram  x 得到两个不同的 augmented views 

。系统总体 loss 为：

，还引入 consistency regularization loss 来约束两个分布的一致性：

和

，除了计算两个 CTC loss 

和

，分别输入参数共享的 encoder 模型 f，得到对应的两个 CTC 概率分布

 和

其中 α 为控制正则的超参数，默认设置为 0.2。

Different augmented views

我们对同一个输入 x 的两个 copy 独立地使用 SpecAugment [4] 来获得不同的 augmented views 

。相较于普通的 ASR 系统，我们特意使用了更大程度的 time masking。

和

。SpecAugment 包含 time warping、frequency masking 和 time masking。由于 time warping 会显著改变输出的时间戳，因此我们在创建 copy 前先应用 time warping，防止两个分支的输出分布在时间戳上严重不匹配。接着，分别对两个 copy 独立应用 frequency masking 和 time masking，得到了 

和

Consistency regularization loss

我们在CTC 分布的每一帧上应用 consistency regularization，通过最小化每一对分布 和 。此处，sg 表示 stop-gradient，防止这一项的梯度影响目标分布。Consistencyregularization loss 公式为：

之间的双向 KL 散度：

和

方法解释

论文从三个不同的角度来解释 CR-CTC 的本质行为：1）self-distillation；2）masked prediction；3）peak suppression。

Self-distillation

当我们在训练中使用 dropout [5] 和 stochastic depth [6] 等模型正则技术，可以看作我们正在隐式地训练随机采样的不同 sub-model，这些 sub-model 最终被集成为一个 ensemble 用于推理。与 R-Drop [7] 和 cosub [8] 类似，CR-CTC 在进行对不同 sub-model 之间的 self-distillation，监督信号为对方提供的帧级别的 token 分布。另外，CR-CTC 使用了不同的 augmented views（以及更大程度的 time-masking），让这些 sub-model 接触输入数据的不同角度的信息，加强他们预测的多样性，这样有利于更丰富、更完备的知识蒸馏。

Masked prediction

在 CR-CTC 中，那些覆盖在 time masking 区域的帧，被要求着基于其他没有被 masked 的区域，去预测对方提供的 token 分布。这个过程类似于 masked-based 自监督模型 [9,10,11]，鼓励模型去学习非 mask 部分的上下文表征信息，并发掘模型隐式的语言建模能力。我们在 CR-CTC 中使用不同的 augmented views，减少两边同时被覆盖在 time masking 区域的帧的出现，提高这些被 masked 位置所接收的 token 分布的质量。另外，使用更大程度的 time masking 可以加强 masked prediction 行为，进而增强模型对上下文表征信息的学习。 

Peak suppression

众所周知，CTC 通常会学习到非常尖的概率分布。如 Figure 2 (left) 所示，non-blank token 只占 1 帧，其他的都是 blank，它们的概率都非常高。这种现象表明模型有可能已经过拟合了，泛化能力不强。CR-CTC 的 consistency regularization 引导着模型学习两边分布的平均，这使得模型学习到的 CTC 分布会更加平滑。这个 peak suppression 行为减少了在训练数据上的过度置信，从而增强模型的泛化能力。如 Figure 2 (right) 所示，CR-CTC 学习到的分布更加平滑，概率更低，伴随着更多 non-blank 的 repeat 出现。

实验结果

论文主要使用 Zipformer [12] 作为 speech encoder 进行实验验证。由于 CR-CTC 训练时需要进行两次 forward，我们对 CR-CTC 模型的 batch size 和 epoch 数都设置为标准 CTC 模型的一半，来确保两者训练代价可比较。具体使用的 GPU 数量和 epoch 数在论文附录中。

与 SOTA 模型相比较

Table 1、2、3 分别展示了不同模型在 LibriSpeech、Aishell-1、GigaSpeech 三个数据集上的表现（不依赖外部训练数据和外部语言模型）。总的来说，CR-CTC 的性能显著超越标准 CTC，和 CTC/AED 与 Transducer 模型效果相当。另外，挂上 CR-CTC 联合训练，可以进一步提升 CTC/AED 和 Transducer 的性能。在这三个数据集上，我们取得了新的 SOTA 结果。

消融实验

Table 4、5、6 分别展示了 CR-CTC 关于不同解释角度 self-distillation、masked prediction、peak suppression 的消融实验结果，具体说明可参考论文。

与挂一个 auxiliary head 联合训练相比较

想要提升 CTC 系统的性能，一个最直接的方法便是挂一个 AED head 或者一个 Transducer head 联合训练。如 Table 7 所示，CR-CTC 的性能明显超过这两个方法，参数还更少。

在 Conformer 模型上验证

如 Table 17 所示，使用 Conformer [13] 作为 speech encoder 时，CR-CTC 同样可以显著提升 CTC 的性能，并且略微超过 CTC/AED 和 Transducer。

参考

[1] Graves, A., Fernández, S., Gomez, F., & Schmidhuber, J. (2006, June). Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In Proceedings of the 23rd international conference on Machine learning (pp. 369-376).

[2] Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711.

[3] Watanabe, S., Hori, T., Kim, S., Hershey, J. R., & Hayashi, T. (2017). Hybrid CTC/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, 11 (8), 1240-1253.

[4] Park, D. S., Chan, W., Zhang, Y., Chiu, C. C., Zoph, B., Cubuk, E. D., & Le, Q. V. (2019). Specaugment: A simple data augmentation method for automatic speech recognition. arXiv preprint arXiv:1904.08779.

[5] Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, 15 (1), 1929-1958.

[6] Huang, G., Sun, Y., Liu, Z., Sedra, D., & Weinberger, K. Q. (2016). Deep networks with stochastic depth. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part IV 14 (pp. 646-661). Springer International Publishing.

[7] Wu, L., Li, J., Wang, Y., Meng, Q., Qin, T., Chen, W., ... & Liu, T. Y. (2021). R-drop: Regularized dropout for neural networks. Advances in Neural Information Processing Systems, 34, 10890-10905.

[8] Touvron, H., Cord, M., Oquab, M., Bojanowski, P., Verbeek, J., & Jégou, H. (2023). Co-training 2L submodels for visual recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 11701-11710).

[9] Devlin, J. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[10] Baevski, A., Zhou, Y., Mohamed, A., & Auli, M. (2020). wav2vec 2.0: A framework for self-supervised learning of speech representations. Advances in neural information processing systems, 33, 12449-12460.

[11] Hsu, W. N., Bolte, B., Tsai, Y. H. H., Lakhotia, K., Salakhutdinov, R., & Mohamed, A. (2021). Hubert: Self-supervised speech representation learning by masked prediction of hidden units. IEEE/ACM transactions on audio, speech, and language processing, 29, 3451-3460.

[12] Yao, Z., Guo, L., Yang, X., Kang, W., Kuang, F., Yang, Y., ... & Povey, D. (2023, October). Zipformer: A faster and better encoder for automatic speech recognition. In The Twelfth International Conference on Learning Representations.

[13] Gulati, A., Qin, J., Chiu, C. C., Parmar, N., Zhang, Y., Yu, J., ... & Pang, R. (2020). Conformer: Convolution-augmented transformer for speech recognition. arXiv preprint arXiv:2005.08100.

【联系我们】
客服热线：1252-463-367

《魔灵觉醒》金甲战龙神阶骑宠谱写英雄传奇[多图]

《坦克风云》 国之重器-99A式主战坦克[多图]

昆仑芯P800万卡集群宣布成功点亮，将进一步点亮3万卡集群[多图]

艾泽拉斯的召唤《风暴部落》今新服火爆开启[多图]

手游《召唤师》国庆特别活动 强势来袭[多图]

情报解禁《18梦境异闻录》国服监修访谈实录[多图]

基友千里来相会《全民奇迹MU》一键邀请下副本[多图]

《通天西游》今日首发 唐僧师徒集结家族试炼[多图]