达摩院语音AI技术创新全景
过去十年，语音AI从实验室走向应用，语音搜索、交互早已融入日常。本文一览达摩院语音AI技术创新全景，一起体会能听、会说、懂你的语音AI。
构建智能音箱应用：语音识别和自然语言处理
随着人工智能技术的迅猛发展，智能音箱成为了人们生活中的常见智能设备。这些设备可以通过语音指令与用户进行交互，并执行各种任务，如播放音乐、查询天气、控制智能家居等。在幕后，智能音箱背后的核心技术是语音识别和自然语言处理。
生成完美口型同步的 AI 数字人视频
在当今数字媒体和人工智能技术的推动下，生成完美口型同步的AI数字人视频成为备受关注的研究领域。本研究旨在开发一种技术，能够实现生成完美口型同步的AI数字人视频，使虚拟人物的口型与语音内容完美匹配。采用了深度学习方法，结合了语音识别、面部运动生成和视频合成技术，以实现这一目标。通过语音识别模型将输入的文本转换为音频波形，利用面部运动生成模型根据音频波形生成对应的面部动作序列，这些动作序列可以准确地反映出发音的口型和面部表情，最后生成口型同步的AI数字人视频。这项技术具有广泛的应用前景，可用于虚拟主持人、教育视频、学习平台等领域，提升视频内容的真实感和沟通效果。
仅用4块GPU、不到3天训练出开源版GPT-4o，这是国内团队最新研究
【10月更文挑战第19天】中国科学院计算技术研究所提出了一种名为LLaMA-Omni的新型模型架构，实现与大型语言模型（LLMs）的低延迟、高质量语音交互。该模型集成了预训练的语音编码器、语音适配器、LLM和流式语音解码器，能够在不进行语音转录的情况下直接生成文本和语音响应，显著提升了用户体验。实验结果显示，LLaMA-Omni的响应延迟低至226ms，具有创新性和实用性。