FaceBook （中文名：脸书）近期发布了一个新的翻译模型 Seamless Communication，可实现跨语言实时"无缝"交流。
该模型可以保留跨语言的表达方式和复杂性（翻译时保留语音中的停顿和语速，以及声音风格和情绪基调），语音翻译延迟大概只有两秒。
项目介绍
Seamless Communication 是一款开源多语音、语言、翻译、转录大模型。其官方模型名称之为 SeamlessM4T。
Star：7k
项目地址：https://github.com/facebookresearch/seamless_communication
SeamlessM4T 模型支持以下任务：
- 语音到语音翻译 (S2ST)
- 语音到文本翻译 (S2TT)
- 文本到语音翻译 (T2ST)
- 文本到文本翻译 (T2TT)
- 自动语音识别 (ASR)
无缝表达
SeamlessExpressive 是一种语音到语音翻译模型，可捕捉韵律中某些未充分探索的方面，例如语速和停顿，同时保留语音风格和高内容翻译质量。
无缝流媒体
SeamlessStreaming 是一种流式翻译模型。该模型支持语音作为输入模态和语音/文本作为输出模态。
无缝流媒体 模型支持以下任务：
- 语音到语音翻译 (S2ST)
- 语音到文本翻译 (S2TT)
- 自动语音识别 (ASR)
快速使用
该模型使用的必要条件之一是fairseq2，它具有仅适用于 Linux x84-86 和 Apple-silicon Mac 计算机的预构建软件包。
此外，它还依赖于libsndfile。
源代码中官方内置了一个Demo样例，可以进行本地模型测试：
cd demo pip install -r requirements.txt python app.py
总结
SeamlessM4T 在技术层面实现了巨大突破，支持多达100种语音、语言，同时与单一翻译产品相比，翻译效率/质量、降低延迟方面更优秀，使得全球不同地区的人可以实现流程的交流。
在进行鲁棒性测试时，与当前最先进的翻译模型相比，SeamlessM4T在语音转文本任务中针对背景噪声和说话人变化的表现更好，平均分别提高了37%和48%。
