通义百聆语音交互模型开源,创新架构可节省近50%GPU计算!

简介: 通义百聆开源新一代语音模型Fun-Audio-Chat-8B,支持语音对语音交互,具备出色共情与情绪感知能力,对话自然流畅。在多项基准测试中超越同级模型,采用高效低算力架构,GPU计算成本降低近50%。支持角色扮演与个性化语音定制,适用于情感陪伴、智能客服等场景,现已开放下载。

刚刚,通义百聆家族开源新一代语音交互模型 Fun-Audio-Chat-8B。该模型在OpenAudioBench、VoiceBench、UltraEval-Audio、MMAU、MMSU、SpeechFunctionCall 等多项权威基准测评中,斩获SOTA,超过一众同量级开源模型。这款新模型兼具高智商和高情商,具备出色的共情能力,与之对话,仿佛与懂你的人聊天。image.png

通义百聆系列语音模型

作为通义大模型家族全新的语音大模型系列,通义百聆已有成员包括“会说话”的语音转文字模型Fun-ASR、“听得懂”的文字转语音模型Fun-CosyVoice3。最新开源的模型Fun-Audio-Chat-8B主打语音对语音功能——“能听会说”,用户可与模型音频对话,适用于语音聊天、情感陪伴、智能设备和语音客服等多种场景。即日起,用户可在魔搭社区、HuggingFace和GitHub下载模型自行体验。

模型开源下载地址:

ModelScope

https://modelscope.cn/FunAudioLLM/Fun-Audio-Chat-8B

HuggingFace

https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

GitHub

https://github.com/FunAudioLLM/Fun-Audio-Chat

高效低算力架构,节省近50%GPU计算

在加入大规模语音、多模态能力后,Fun-Audio-Chat-8B还能保持“原有智商”,得益于两个创新的音频模型训练模式。

一是采用Core-Cocktail两阶段训练策略,先快速学新本事,再把“新本事”和“老底子”融合起来,为了避免学新东西把原来的能力忘掉(灾难性遗忘),第一阶段训练得到的模型和原始的纯文本大模型参数合并后,再进行微调。

二是与人类偏好对齐。通过多阶段和多任务的后训练设计,模型在真实对话场景中能更好地理解用户语音内容与情绪线索,作出更自然、更符合人类期望的回应。

此外,Fun-Audio-Chat-8B的高效低算力架构也是重大创新,通过压缩-自回归-解压缩的双分辨率端到端设计,音频帧率降到业界最低的5Hz,在保证语音质量的同时节省近50%GPU计算。
image.png

出色共情对话能力,可自动感知用户情绪

// 无提示词、情绪标签下可自动感知用户情绪

没有任何情绪标签或提示词的情况下,该模型能通过用户的语义、语气、语速、停顿、重音等细微信号,感知对方的情绪状态,并给出恰到好处的关切、安慰或鼓励式回应。

比如用户说:“我一个人走在回家的路上,有人已经跟了我两个街区了。”模型会回应:“别怕,我陪你一起走这段路,好吗?”并提醒用户找到灯亮、人多的地方,甚至询问是否需要帮忙给家人发条消息确认位置。

// 支持角色扮演等量身定制语音

用户还可尝试角色扮演,量身定制语音的情绪、说话风格、语速、高低音和音量等。

比如当用户提出“你是一名兴奋的电竞解说员”时,模型会回应一段激情的现场解说。

相关文章
|
7天前
|
数据采集 人工智能 安全
|
16天前
|
云安全 监控 安全
|
2天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:七十、小树成林,聚沙成塔:随机森林与大模型的协同进化
随机森林是一种基于决策树的集成学习算法,通过构建多棵决策树并结合它们的预测结果来提高准确性和稳定性。其核心思想包括两个随机性:Bootstrap采样(每棵树使用不同的训练子集)和特征随机选择(每棵树分裂时只考虑部分特征)。这种方法能有效处理大规模高维数据,避免过拟合,并评估特征重要性。随机森林的超参数如树的数量、最大深度等可通过网格搜索优化。该算法兼具强大预测能力和工程化优势,是机器学习中的常用基础模型。
266 155
|
3天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:六十九、Bootstrap采样在大模型评估中的应用:从置信区间到模型稳定性
Bootstrap采样是一种通过有放回重抽样来评估模型性能的统计方法。它通过从原始数据集中随机抽取样本形成多个Bootstrap数据集,计算统计量(如均值、标准差)的分布,适用于小样本和非参数场景。该方法能估计标准误、构建置信区间,并量化模型不确定性,但对计算资源要求较高。Bootstrap特别适合评估大模型的泛化能力和稳定性,在集成学习、假设检验等领域也有广泛应用。与传统方法相比,Bootstrap不依赖分布假设,在非正态数据中表现更稳健。
206 105
|
10天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
724 5
|
13天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
814 153

热门文章

最新文章