活动实践 | AI智能体实时语音互动

简介: AI智能体实时语音互动方案提供端到端的实时音频交互,用户通过终端SDK与云端AI智能体进行音频通话。AI智能体接收音频输入,依据预定义工作流处理并生成响应,通过ARTC网络推送结果。该方案支持灵活编排AI组件如语音转文字、大语言模型等,确保高可用、低延迟的通信体验。用户可轻松创建和管理智能体及实时工作流,实现高效对话,并可通过示例网站体验功能。

AI智能体实时语音互动是一个端到端的解决方案,旨在为用户与AI智能体之间提供实时音频交互。用户通过终端SDK发起与云端AI智能体的音频通话请求,AI智能体接收到用户的音频输入后,依据预定义的工作流进行处理,生成相应的音频响应,并通过ARTC网络将响应结果推送给用户。用户可以订阅该音频流进行播放,从而实现与AI智能体的对话。

一、方案架构

AI智能体是本方案的核心组件之一,能够在云端模拟高度拟真的用户交互。用户可以根据需求自行创建智能体。通过灵活的插件式和拖拽式方式,用户可以编排各个AI组件,如语音转文字、大语言模型、语音合成和自研向量数据库等,从而实现AI智能体的实时工作流。实时音视频通信技术(ARTC)为用户与AI智能体之间的音频通话提供了高可用、高品质、超低延时的保障。
image.png

二、创建实时音视频通信应用

实时音视频 ARTC 是智能体和用户之间建立起实时音频通信的基础,实现AI实时互动需要准备一个ARTC应用,参照以下步骤开通并创建ARTC应用。

1、开通视频直播:计费方式选择按使用流量计费,点击右下角立即开通。
image.png

2、单击创建应用。
image.png
image.png

image.png

三、创建AI智能体

1、编排实时工作流

实时工作流是一种预先定义的流程模板,用于自动化处理ARTC音频流。支持创建语音通话并且预设了多种功能节点,包括语音转文字 (STT)、文字转语音 (TTS)、文生文大语言模型(LLM)等。平台提供了可直接选用的预置模板,同时,也支持根据需求创建自定义模板,让智能体自动按照预设好的流程工作。

1、登录智能媒体服务控制台,点击立即开通按钮。
image.png
image.png

2、登录AI实时互动-工作流管理,单击创建工作流模板。
image.png
image.png
image.png

2、创建智能体

AI智能体是在AI实时互动解决方案中定义的高仿真用户,用户可以根据自身需求创建智能体,并将其集成到自己的应用中,使其能够按照既定工作流程在实时音频环境中运行,从而实现实时音频交互功能。

1、登录AI实时互动-智能体管理,单击创建智能体。
image.png
image.png

四、部署应用

1、请点击应用模板链接打开我们提供的函数计算应用模板,填写配置。
image.png

image.png

2、应用部署完成后,可以在应用的环境详情中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。
image.png
使用https访问才能获取语音。
image.png
image.png

五、应用体验

1、单击拨打按钮,即可开始与智能体对话。
image.png

2、用户可以与智能体进行实时语音对话,页面上会同步展示当前对话的文字信息,以便用户查阅对话内容。
image.png

3、单击右上角,可以开启/关闭智能打断,以及选择切换音色。
image.png

4、进行对话。
image.png

六、清理资源

1、删除函数计算应用:

登录函数计算控制台,在左侧导航栏,单击应用。找到目标应用,单击右侧操作列的删除应用。
image.png

2、删除智能体:

登录智能媒体服务控制台,在智能生产制作 > AI实时互动 > 智能体管理页面,找到智能体并单击删除。
image.png

3、删除实时工作流模板:

登录智能媒体服务控制台,在智能生产制作 > AI实时互动>工作流管理页面,找到工作流模板并单击删除。
image.png

4、删除ARTC应用:

登录视频直播控制台,在直播+ >实时音视频 > 应用管理页面,找到ARTC应用并单击删除。
image.png

相关文章
|
9天前
|
人工智能 自然语言处理 API
Mathtutor on Groq:AI 数学辅导工具,实时计算并展示解题过程,支持通过语音提出数学问题
Mathtutor on Groq 是一款基于 Groq 架构的 AI 数学辅导工具,支持语音输入数学问题,实时计算并渲染解题过程,适用于代数、微积分等领域的学习和教学辅助。
40 5
Mathtutor on Groq:AI 数学辅导工具,实时计算并展示解题过程,支持通过语音提出数学问题
|
2天前
|
人工智能 开发框架 安全
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
Smolagents 是 Hugging Face 推出的轻量级开源库,旨在简化智能代理的构建过程,支持多种大语言模型集成和代码执行代理功能。
143 68
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
|
3天前
|
人工智能 API
MMedAgent:专为医疗领域设计的多模态 AI 智能体,支持医学影像处理、报告生成等多种医疗任务
MMedAgent 是专为医疗领域设计的多模态AI智能体,支持多种医疗任务,包括医学影像处理、报告生成等,性能优于现有开源方法。
46 19
MMedAgent:专为医疗领域设计的多模态 AI 智能体,支持医学影像处理、报告生成等多种医疗任务
|
8天前
|
存储 传感器 人工智能
「AI实践派」产品生态伙伴Zilliz联合活动
阿里云与向量搜索领域明星企业Zilliz将在杭州阿里巴巴西溪园区共同举办“中外AI产品应用实践和出海实战”分享沙龙。
|
5天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
17 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
12天前
|
人工智能 安全 DataX
【瓴羊数据荟】 Data x AI :大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期
第三期瓴羊数据Meetup 将于2025年1月3日在线上与大家见面,共同探讨AI时代的数据治理实践。
63 10
【瓴羊数据荟】 Data x  AI :大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期
|
7天前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案
101 3
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
|
12天前
|
存储 人工智能 人机交互
PC Agent:开源 AI 电脑智能体,自动收集人机交互数据,模拟认知过程实现办公自动化
PC Agent 是上海交通大学与 GAIR 实验室联合推出的智能 AI 系统,能够模拟人类认知过程,自动化执行复杂的数字任务,如组织研究材料、起草报告等,展现了卓越的数据效率和实际应用潜力。
93 1
PC Agent:开源 AI 电脑智能体,自动收集人机交互数据,模拟认知过程实现办公自动化
|
5天前
|
人工智能 监控 安全
云端问道18期实践教学-AI 浪潮下的数据安全管理实践
本文主要介绍AI浪潮下的数据安全管理实践,主要分为背景介绍、Access Point、Bucket三个部分
33 16
|
1天前
|
人工智能 测试技术 决策智能
玩转智能体魔方!清华推出AgentSquare模块化搜索框架,开启AI智能体高速进化时代
清华大学研究团队提出模块化LLM智能体搜索(MoLAS)框架AgentSquare,将LLM智能体设计抽象为规划、推理、工具使用和记忆四大模块,实现模块间的轻松组合与替换。通过模块进化和重组机制,AgentSquare显著提升了智能体的适应性和灵活性,并在多个基准测试中表现出色,平均性能提高17.2%。此外,该框架还具备可解释性,有助于深入理解智能体架构对任务性能的影响。论文地址:https://arxiv.org/abs/2410.06153
25 10