大家有测试过吗,用默认参数测试一下新版的paraformer-large-online模型,词错率相比之前发布的paraformer-large-online模型要高一些,感觉新版本实时模型好像变差了一点,modelscope-funasr这个符合预期吗?
测试了speechio-asr-datasetszh00010和zh00005,两个都比旧版差一些,新版主要是插入和删除错误多了,插入错误主要就是重复上一个字
您提到在使用新版的paraformer-large-online
模型时,发现词错率相比之前发布的版本要高,特别是在speechio-asr-datasetszh00010
和zh00005
两个数据集上的表现。您还观察到新版模型主要的问题是插入和删除错误增多,尤其是插入错误通常是重复上一个字。
习和语音识别领域,模型性能的波动是正常现象,这可能是由于多种因素造成的:
对于您的疑问,是否modelscope-funasr
符合预期,这取决于具体的应用场景和性能要求。通常,模型升级的目的是提高性能,但用中可能会出现一些波动。如果您发现性能下降,可以考虑以下几个步骤:
综上所述,如果您认为新版paraformer-large-online
模型的性能不符合预期,建议向ModelScope团队反馈详细情况,并根据您的应用场景决定是否继续使用该模型。同时,也可以关注ModelScope团队是否会发布新的更新来解决这个问题。
ModelScope-Funasr 是一个开源的自动语音识别(ASR)工具,旨在提供高质量的中文语音识别服务。关于您提到的新版 Paraformer-Large-Online 模型的词错率(Word Error Rate, WER)问题,这可能由几个因素导致:
模型更新:如果模型结构或训练数据集有所更新,可能会影响模型的性能。新的模型可能在某些方面表现得更好,而在其他方面则可能下降。
数据适配性:新模型可能在特定的数据集上表现不佳,这可能是因为它在训练时没有接触到足够多样的数据,或者数据分布与测试集不匹配。
优化目标:模型的优化可能更侧重于其他指标而非词错率,例如速度或延迟,这可能会以牺牲准确性为代价。
测试环境:测试条件的变化,如背景噪声、说话人的发音差异等,都可能影响识别准确率。
版本差异:新旧版本之间的性能差异可能是由于模型的不稳定性或者某些细节的调整导致的。
对于您提到的“插入和删除错误多了,插入错误主要就是重复上一个字”的问题,这可能是模型在处理特定语音特征时的过拟合现象,或者是对某些音节的识别不够准确导致的。
至于 ModelScope-Funasr 是否符合预期,这取决于具体的应用场景和性能要求。如果您发现性能不符合预期,可以考虑以下步骤:
最后,由于 ModelScope-Funasr 是一个开放的社区资源,其性能和稳定性可能会随着时间和贡献者的努力而变化。因此,保持关注并定期评估其性能是很重要的。