开源音视频服务调研报告

简介: 介绍市面上常用的音视频方案

现状

在现在的**产品中,我们提供音视频通话的功能。支持发起用户级一对一的音视频通话,群组级多人参与的音视频会议,以及将单人电脑屏幕投屏给多个参会人的会议场景。

技术架构:

1、音视频信令服务(**自研)

2、Jitsi开源音视频服务(私有化部署)

现存问题

问题一

Jitsi的服务端以Java作为主要开发语言,来提供音视频流的转发服务。**的服务端以Golang为主要语言开发,提供**App用户鉴权等业务能力。由于开发语言不同,在音视频服务与**业务服务的通信过程中,需要编写更多的胶水代码来对接两个服务。

问题二

移动客户端SDK同时集成了音视频服务通信,连接状态维护与前端展示UI逻辑。Jitsi堆砌的功能非常多,导致整个SDK的代码复杂度很高。当**业务需要个性化定制某些功能逻辑时,必须在维护Jitsi代码逻辑的基础上,才能正常推进。有的UI逻辑会碰到Jitsi的代码逻辑与**业务相违背的情况,增加定制难度。

问题三

Jitsi框架使用React Native作为移动端跨平台实现方案,主要开发语言为Java Script,与**目前以Flutter为主的跨平台相违背,开发人员技术栈不兼容,功能后期维护成本高。

解决方案

基于现在的技术架构,我们可以选择使用新的音视频方案对接**的自研音视频信令服务,平滑替换掉的Jitsi音视频服务。

在选择新方案时,优先考虑的几个条件:

1、服务端使用Golang作为开发语言,方便后期与**业务通信。

2、客户端SDK复杂度适中,降低二次开发的难度。

3、客户端SDK使用Flutter跨平台方案,或为原生平台方案。

本次调研涉及的开源方案

1、Jitsi(https: //github.com/jitsi/jitsi)

2、OpenVidu(https: //github.com/jitsi/jitsi)

3、Pionion(https: //pionion.github.io)

4、LiveKit(https: //livekit.io)

Jitsi

优点:

​ 1、部署容易,可水平扩展

​ 2、提供JS、React、React Native的客户端SDK

​ 3、服务端基于Java编写

​ 4、适合大流量的音视频,支持P2P

缺点:

​ 1、缺少HTTP接口

​ 2、后期二次开发复杂(涉及xmpp协议,lua脚本,jicofo/jvb等Java后端模块)

​ 3、缺少文档

OpenVidu

优点

​ 1、流媒体服务器基于Kurento(WebRTC SFU)框架开发

​ 2、提供JS、React、Vue、React Native的客户端SDK

​ 3、文档详细。

​ 3、提供Webhook(可以监控每个房间的具体信息)

缺点

​ 1、服务端基于Java编写,使用Springboot框架

​ 2、不支持P2P通话,需要流媒体服务器中转

​ 3、由于Sesson的逻辑限制,服务水平扩展需要二次开发

Pionion

优点:

​ 1、服务端基于Golang开发

​ 2、提供JS、Flutter的客户端SDK

​ 3、社区活跃

​ 4、信令与媒体服务解耦,易于扩展

缺点

​ 1、缺少文档

​ 2、无原生平台SDK

​ 3、框架处于快速迭代期,稳定性不佳

LiveKit

优点:

​ 1、使用可水平扩展的WebRTC 可选转发单元(SFU),可基于Redis水平扩展

​ 2、提供JS、React、Swift、Kotlin、Flutter的客户端SDK

​ 3、服务端基于纯Go语言,可单二进制部署

​ 4、文档详细

​ 5、提供JWT身份验证、服务端API(Go)

​ 6、提供UDP、TCP通道,内置TURN/TLS

​ 7、单节点性能高(10个演讲者+1000个听众,或4个视频源+400个观看者)

缺点:

​ 1、不支持P2P通话,需要流媒体服务器中转

​ 2、客户端SDK功能简单,需重新业务定制

​ 3、官方demo缺少客户端断线重连逻辑

结论

基于调查结果,我们将选用LiveKit作为升级方案。

Livekit服务端使用Golang语言,方便后期与**业务的通信。同时提供JS、Flutter、iOS/Android原生平台的SDK,可以使**现有的PC、Mac、Android、iOS客户端快速替换现存音视频服务。使用对应平台的开发语言,可以降低开发人员在业务定制上的难度,同时减少后期的维护成本。

目录
相关文章
|
Web App开发 应用服务中间件 Go
尝鲜:如何搭建一个简单的webrtc服务器
前几天我一朋友问我有关webrtc的事,简单了解了下相关知识,搭建了一个webrtc的服务,以及经历的各种踩坑事件,感觉踩坑主要是Python、Node、OpenSSL等版本问题和证书问题导致。本来以为很简单的搭建,但在搭建的过程中遇到各种阻碍,写一篇文章梳理一下。
13258 0
|
人工智能 并行计算 安全
从零到一,打造专属AI王国!大模型私有化部署全攻略,手把手教你搭建、优化与安全设置
【10月更文挑战第24天】本文详细介绍从零开始的大模型私有化部署流程,涵盖需求分析、环境搭建、模型准备、模型部署、性能优化和安全设置六个关键步骤,并提供相应的示例代码,确保企业能够高效、安全地将大型AI模型部署在本地或私有云上。
3786 7
最新jsonwebtoken-jjwt 0.12.3 基本使用
最新jsonwebtoken-jjwt 0.12.3 基本使用
3375 1
|
网络协议 ice
STUN, TURN, ICE介绍
STUN STUN协议为终端提供一种方式能够获知自己经过NAT映射后的地址,从而替代位于应用层中的私网地址,达到NAT穿透的目的。STUN协议是典型的Client-Server协议,各种具体应用通过嵌入STUN客户端与STUN Server端通讯来完成交互。
14623 1
|
JSON NoSQL MongoDB
MongoDB Compass的安装及使用图文说明(非常详细)
MongoDB Compass的安装及使用图文说明(非常详细)
4622 2
Debian 官方源换为国内的源的操作方法
apt-get update 报错,采用更换源的方式解决问题。
57452 0
|
9月前
|
人工智能 自然语言处理 API
Oliva:语音RAG革命!开源多智能体秒解复杂搜索,实时对讲颠覆传统
Oliva是一款基于Langchain和Superlinked的开源语音RAG助手,通过实时语音交互在Qdrant向量数据库中进行语义搜索,支持多智能体协作处理复杂查询任务。
519 4
Oliva:语音RAG革命!开源多智能体秒解复杂搜索,实时对讲颠覆传统
|
11月前
|
人工智能 自然语言处理 算法
大模型备案、登记全流程攻略
在AI浪潮下,大模型技术迅猛发展,为各行业带来变革。为确保算法安全有序发展,需进行相关备案登记。具体包括:大模型备案(面向公众提供生成式服务)、大模型登记(借助第三方大模型)、算法备案(5类算法)及双新评估(舆论属性服务)。未及时备案将面临法律处罚,备案流程涉及属地初审、中央终审等环节,周期约3-4个月。境外模型和特定行业有额外限制,备案后仍需常态化安全管理。
|
数据采集 机器学习/深度学习 TensorFlow
声纹识别实战:从数据采集到模型训练
【10月更文挑战第16天】声纹识别技术通过分析个人的语音特征来验证其身份,具有无接触、便捷的特点。本文将带你从零开始,一步步完成声纹识别系统的构建,包括数据采集、音频预处理、特征提取、模型训练及评估等关键步骤。我们将使用Python语言和相关的科学计算库来进行实践。
2434 0

热门文章

最新文章