我在使用开源的模型（像speech_sambert-hifigan_tts_zhida_zh-cn_16k）进行语音合成任务的推理时(使用官方示例代码的pipeline推理)，推理速度太慢了，500字大约需要1分钟，监控了一下GPU，虽然有GPU，但实际推理时还是CPU占用率很高，应该是没有用到GPU，我看pipeline使用时应该会首选GPU，GPU不能用时才使用CPU，我用的都是官方环境和机器，也没有任何报错信息，是TTS的模型不支持GPU吗？
使用开源的模型（像speech_sambert-hifigan_tts_zhida_zh-cn_16k）进行语音合成任务的推理时，推理速度太慢了，500字大约需要1分钟，为什么会这么慢
2023-12-06
619
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
使用开源的模型（像speech_sambert-hifigan_tts_zhida_zh-cn_16k）进行语音合成任务的推理时，推理速度太慢了，500字大约需要1分钟，为什么会这么慢
相关实践学习
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同，识别当前发音人的身份。按照任务具体分为两种： 声纹辨认：从说话人集合中判别出测试语音所属的说话人，为多选一的问题 声纹确认：判断测试语音是否由目标说话人所说，是二选一的问题（是或者不是） 按照应用具体分为两种： 文本相关：要求使用者重复指定的话语，通常包含与训练信息相同的文本（精度较高，适合当前应用模式） 文本无关：对使用者发音内容和语言没有要求，受信道环境影响比较大，精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍： 郑斯奇，达摩院算法专家，毕业于美国哈佛大学，研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
目录
相关文章
|
2月前
|
人工智能
数据处理
语音技术
LatentLM：微软联合清华大学推出的多模态生成模型，能够统一处理和生成图像、文本、音频和语音合成
LatentLM是由微软研究院和清华大学联合推出的多模态生成模型，能够统一处理离散和连续数据，具备高性能图像生成、多模态大型语言模型集成等功能，展现出卓越的多模态任务处理能力。
104
29
29
|
2月前
|
人工智能
自然语言处理
人机交互
CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
CosyVoice 2.0 是阿里巴巴通义实验室推出的语音生成大模型升级版，通过有限标量量化技术和块感知因果流匹配模型，显著提升了发音准确性、音色一致性和音质，支持多语言和流式推理，适合实时语音合成场景。
1798
22
24
|
2月前
|
机器学习/深度学习
人工智能
Linux
Fish Speech 1.5：Fish Audio 推出的零样本语音合成模型，支持13种语言
Fish Speech 1.5 是由 Fish Audio 推出的先进文本到语音（TTS）模型，支持13种语言，具备零样本和少样本语音合成能力，语音克隆延迟时间不到150毫秒。该模型基于深度学习技术如Transformer、VITS、VQVAE和GPT，具有高度准确性和快速合成能力，适用于多种应用场景。
210
3
4
|
6月前
|
自然语言处理
语音技术
开发者
|
7月前
|
机器学习/深度学习
TensorFlow
语音技术
|
8月前
|
语音技术
|
9月前
|
人工智能
搜索推荐
语音技术
|
9月前
|
自然语言处理
文字识别
Linux
ModelScope运行语音合成模型的官网代码示例报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题；本合集将收集ModelScope模型报错的常见情况和排查方法，帮助用户快速定位问题并采取有效措施。
224
0
0
|
9月前
|
自然语言处理
搜索推荐
PyTorch
ModelScope问题之NoteBook训练个性化语音合成模型报错如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动；本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
123
0
0
|
算法
语音技术
热门文章
最新文章
1
CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
2
百聆：集成Deepseek API及语音技术的开源AI语音对话助手，实时交互延迟低至800ms
3
SpeechGPT 2.0：复旦大学开源端到端 AI 实时语音交互模型，实现 200ms 以内延迟的实时交互
4
Kokoro-TTS：超轻量级文本转语音模型，支持生成多种语言和多种语音风格
5
3D-Speaker：阿里通义开源的多模态说话人识别项目，支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
6
Clone-voice：开源的声音克隆工具，支持文本转语音或改变声音风格，支持16种语言
7
ClearerVoice-Studio：阿里通义开源的语音处理框架，提供语音增强、分离和说话人提取等功能
8
Fish Speech 1.5：Fish Audio 推出的零样本语音合成模型，支持13种语言
9
KAN-TTS 在 conda 环境下无法安装 ttsfrd
10
ChatTTSPlus：开源文本转语音工具，支持语音克隆，是 ChatTTS 的扩展版本
1
SpeechGPT 2.0：复旦大学开源端到端 AI 实时语音交互模型，实现 200ms 以内延迟的实时交互
93
2
百聆：集成Deepseek API及语音技术的开源AI语音对话助手，实时交互延迟低至800ms
407
3
Kokoro-TTS：超轻量级文本转语音模型，支持生成多种语言和多种语音风格
149
4
Weebo：支持多语言和实时语音交流的开源 AI 聊天机器人，回复具备语调、情感的语音
154
5
三行代码实现实时语音转文本，支持自动断句和语音唤醒，用 RealtimeSTT 轻松创建高效语音 AI 助手
129
6
TangoFlux：高速生成高质量音频，仅用3.7秒生成长达30秒的音频，支持文本到音频转换
85
7
3D-Speaker：阿里通义开源的多模态说话人识别项目，支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
353
8
Freestyler：微软联合西工大和香港大学推出说唱音乐生成模型，支持控制生成的音色、风格和节奏等
121
9
CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
1798
10
ChatTTSPlus：开源文本转语音工具，支持语音克隆，是 ChatTTS 的扩展版本
165