打造你的专属语音助手,基于函数计算托管 CosyVoice 语音模型

本文涉及的产品
函数计算FC,每月15万CU 3个月
文件存储 NAS,50GB 3个月
简介: 打造你的专属语音助手,基于函数计算托管 CosyVoice 语音模型

目前,声音的推理和合成在很多领域都有广泛的应用,比如儿童/成人教育、疗愈/陪伴、销售/客服、游戏 NPC、车载通信,工/农业线下辅助等。CosyVoice 是一款优秀的语音合成模型,支持语音合成、情感控制、多语言语音合成等诸多功能,效果体验极佳。然而,对于很多普通用户和应用开发者而言,托管其专属模型,进行使用或者应用开发比较困难,今天分享一下,基于阿里云函数计算 FC 以及 CAP(云应用开发平台),极速托管专属的 CosyVoice 应用。并且我们提供了 API 调用方案以及镜像构建源码方便您根据自己的业务任意 DIY。
CosyVoice 部署托管
Step1 访问阿里云函数计算控制台[1],打开应用中心
选择 CosyVoice 智能语音应用模板,进行部署。
Step2 根据应用配置引导填写,点击“创建应用”
Step3 产品依赖确认,部署详细
点击后进行部署。
进入部署。
Step4 访问 web 界面
您可以直接在线体验预置语音生成、定制语音生成、高级语音生成三个模块。
API 调用
获取 EndPoint
CosyVoice 部署完毕之后,可以进行 API 调用。首先是需要获取 API 的 endpoint,这里有两个地址。
临时域名地址(30 天访问期)
Http 触发器地址(永久地址)
(注:http 触发器地址因安全限制直接访问无法看到 web 页面,但是可以通过 http 访问 api。)
使用 API Recorder 调试
通过 API Recorder,仅需点击 Web UI 页面即可获取访问 API 的相关代码示例,非常方便。下面演示一下如何使用 API Recorder 进行 API 获取。
Step1 打开 API Recorder
Step2 回到 Web UI 进行语音合成访问(上传声音文件,点击生成音频)
Step3 查看调用记录和生成的 API 示例代码
本地调试代码
以上生成的代码可以直接在本地安装调试,为了进一步方便实用,下面提供示例代码,完整的代码获取[2]。
声音推理
声音推理较为简单,复制以下代码(需要安装 gradio_client),修改 cosyvoice_endpoint 地址即可。
from gradio_client import Client
import os
import shutil
cosyvoice_endpoint = ""
client = Client(cosyvoice_endpoint)
result = client.predict(
_sound_radio="中文女",
_synthetic_input_textbox="天天好心情,我们走的每一步,都是我们策略的一部分;你看到的所有一切,包括我此刻与你交谈,所做的一切,所说的每一句话,都有深远的含义。",
[kod.7080mir.com)
[kod.congxx.com)
[kod.furongmiaojia.com)
[kod.geekchn.com)
[kod.zizhu808.com)
[kod.hebehan.com)
[kod.lovekissdress.com)
[kod.mubmedia.com)
[kod.aiffw.com)
_seed=0,
api_name="/generate_audio"
)

result 是返回的本地音频地址

把result 保存到当前的目录下

audio_filename = "preset.mp3"
shutil.copy(result, audio_filename)

删除原始的 音频

os.remove(result)
语音合成
新建 custom.py 文件,并复制这段代码(需要安装 gradio_client)。
import os
import shutil
from gradio_client import Client, file
cosyvoice_endpoint = "endpoint"
uploaded_voice_path = ""
client = Client(cosyvoice_endpoint)
result = client.predict(
_recorded_audio1=file(f"{cap_cosyvoice_endpoint}file={uploaded_voice_path}"),
_recorded_audio2=None,
_prompt_input_textbox="今天的不开心就止于此吧,明天依旧光芒万丈哦",
_language_radio="same",
_synthetic_input_textbox="来来来,我们走的每一步,都是我们策略的一部分;你看到的所有一切,包括我此刻与你交谈,所做的一切,所说的每一句话,都有深远的含义。",
_seed=0,
_audio_input_type_radio="upload_audio",
api_name="/generate_audio_1"
)
print(result)

result 是返回的本地音频地址

把result 保存到当前的目录下

audio_filename = "custom.mp3"
shutil.copy(result, audio_filename)

删除原始的 音频

os.remove(result)
高级情感Å
from gradio_client import Client
client = Client("")
result = client.predict(
_sound_radio="中文女",
_synthetic_input_textbox="Hello!!",
_seed=0,
api_name="/generate_audio"
)
print(result)
补充
对于声音推理,由于 Serverless 实例会轮转(比如无调用实例会被释放),无法持久化存储被合成的语音,所以如果您希望持久化存储所合成的语音,使其能够提供长期的 API 服务,需要增加阿里云文件存储产品 NAS 存储解决,函数计算挂载 NAS 非常简单,如下示例。
挂载 NAS
配置好之后获取 NAS 文件路径。
配置 CosyVoice 文件存储环境变量
之后重新使用 API Recorder 录制语音合成 API ,会发现 上传录制文件后的视频地址已经固定为 NAS 的地址了,接下来您便可以长久使用这个合成的声音了。
如何更新 CozyVoice 以及如何对后端服务修改定制
函数计算 CosyVoice 应用模版同步社区的更新存在滞后性,如果您希望体验社区最新的模型效果,本方案提供了 CozyVoice 构建的完整代码[3],支持您进行更新。
您可以更新代码工程,重新构建新的 Docker 镜像,将 Docker 镜像上传至阿里云容器镜像服务 ACR 服务。
然后修改函数计算上的镜像配置即可。
注意,上述源码的 CosyVoice-300M 工程中不包含模型, 需要先将对应的模型下载到本地,然后构建镜像。
cd CozyVoice-300M
mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/CosyVoice-300M.git pretrained_models/CosyVoice-300M
git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git pretrained_models/CosyVoice-300M-SFT
git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git pretrained_models/CosyVoice-300M-Instruct
git clone https://www.modelscope.cn/iic/CosyVoice-ttsfrd.git pretrained_models/CosyVoice-ttsfrd
还需要 audioseal 文件,可以从魔搭创空间获取[4]。
点击立即部署:https://fcnext.console.aliyun.com/applications/ai/create?template=109

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
2月前
|
消息中间件 存储 Serverless
函数计算产品使用问题之怎么访问网络附加存储(NAS)存储模型文件
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
2月前
|
消息中间件 网络协议 JavaScript
函数计算产品使用问题之删除应用重建后,如何快速生成之前的模型和参数
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
7天前
|
存储 Serverless API
打造你的专属语音助手,基于函数计算托管 CosyVoice 语音模型
今天分享一下,基于阿里云函数计算 FC 以及 CAP(云应用开发平台),极速托管专属的 CosyVoice 应用。并且我们提供了 API 调用方案以及镜像构建源码方便您根据自己的业务任意 DIY。
|
2月前
|
人工智能 Serverless 异构计算
用函数计算FC部署生成3D卡通头像模型体验
【8月更文挑战第10天】用函数计算FC部署生成3D卡通头像模型体验
36 2
|
1月前
|
缓存 前端开发 JavaScript
|
3月前
|
域名解析 Java Serverless
函数计算产品使用问题之如何在外部调用SD模型
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
2月前
|
机器学习/深度学习 Cloud Native Serverless
Serverless 架构问题之CNCF基金会托管的CloudEvents项目内容如何解决
Serverless 架构问题之CNCF基金会托管的CloudEvents项目内容如何解决
29 0
|
3月前
|
机器学习/深度学习 Serverless 异构计算
函数计算操作报错合集之上传模型提示报错,该怎么办
在使用函数计算服务(如阿里云函数计算)时,用户可能会遇到多种错误场景。以下是一些常见的操作报错及其可能的原因和解决方法,包括但不限于:1. 函数部署失败、2. 函数执行超时、3. 资源不足错误、4. 权限与访问错误、5. 依赖问题、6. 网络配置错误、7. 触发器配置错误、8. 日志与监控问题。
|
1月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
110 14
|
2月前
|
机器学习/深度学习 机器人 Serverless
FaaS 的应用场景
FaaS 的应用场景

热门文章

最新文章