【视频】低代码音视频工厂产品与 vPaaS 架构学习|学习笔记

简介: 快速学习【视频】低代码音视频工厂产品与 vPaaS 架构学习。

开发者学堂课程【低代码音视频开发教程:【视频】低代码音视频工厂产品与 vPaaS 架构学习】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/936/detail/14776


【视频】低代码音视频工厂产品与 vPaaS 架构学习


内容介绍:

一、课前引入

二、市场趋势

三、vPaaS 视频原生应用开发平台

四、低代码音视频工厂


一、课前引入

1.自我介绍

阿里云智能的宏尉老师目前在视频云负责整个低代码,音视频工厂的技术工作。

2.分享内容

分享低代码音视频工厂产品下的技术实现

3.详细分块

(1)从市场行业趋势看视频应用开发面临的新挑战

(2)阿里云音视频如何利用云产品、云技术搭建平台帮助行业应对新难题

(3)在新的平台上可以做出的常见产品


二、市场趋势

1.近年来,受疫情推动直播+场景快速发展,视频化是未来趋势

image.png

从视频数据分析看,视频市场征服明显,用户线上习惯快速养成。各行各业的视频化转型的诉求明显增加。身边的各种应用也或多或少会有视频相关的功能。整个视频市场空间巨大。在产业视频化大背景下,业务决策者会面临自建视频应用还是采购外部的 SaaS 工具的问题。

2.私域流量运营诉求增强,自建直播需求增加

以直播场景举例,观察采购和自建应用两种方式各自的优劣

(1)采购直播工具

利:

采购的 SaaS 工具,开箱即用,投入少,省心省力,无须开发

弊:

①更新迭代不可控,个性化需求不能满足

②无法沉淀自有流量

(2)自建直播应用

利:

①产品功能迭代自主可控,匹配业务诉求

②沉淀私域流量

③内部系统打通,体验闭环

弊:

直播技术门槛高,较高的开发成本、运维投入,懂音视频的 IT 人才是一个比较大的难题,尤其是传统行业、中小企业本身的研发能力弱,甚至没有专业的音视频研发力量。

(3)新课题

我们如何能够快速自建平台,利用视频的技术来助力业务发展,成为整个行业视频化转型的新课题。

3.低代码音视频开发,快速打造自有品牌视频应用

image.png

提出了利用低代码音视频开发技术来解决新的难题,帮助客户快速自建直播应用。首先,对比一下传统音视频和低代码音视频开发两个的差异。从技术门槛,开发效率,迭代周期来看,低代码音视频开发都具备了非常大的优势,整体可以大幅减少企业自建应用的研发投入,做到降本提效。因此坚信低代码音视频开发在产业视频化的大趋势、大背景下会成为自建应用的最短时间路径,低代码技术下的视频原生应用将成为行业视频化转型的应用最佳的应用选择。


三、vPaaS 视频原生应用开发平台

1.背景

在视频原生应用的大背景下,阿里云视频云推出了 vPaaS 视频原生应用开发平台。融合低代码音视频开发云原生技术,AI 算法等,帮助企业快速搭建自由品牌的视频应用,下面详细介绍一下 vPaaS 视频原声应用开发平台。

2.vPaaS 视频原生应用开发平台的1+N 全景

image.png

首先看一下整个平台的全景概览,我们把整个平台归纳为1+N 。1+N 即一个平台,N 个场景产品,每个产品提供样板间和 SDK 的集成方式。所有的场景产品组成低代码音视频工厂。

在工厂里你能够找到各种各样的场景实现的产品根据你的业务需求寻找合适的产品。视频原生应用开发平台是整个技术底座,在客户端侧提供视频原生 RoomEngine SDK 。在服务端侧提供场景化的 API 和原子能力的 API 帮助业务服务进行扩展。平台底层有AI算法、一体化的录制存储来进行加持。另外,也有详细的API文档和场景集成的文档指引,来帮助我们的应用开发者快速地开发应用。在整个开发平台上,我们希望构建一个视频原声的开发生态,除了打造的一方场景应用,还能够有更多的企业在平台上自建自己的应用,有更多的应用开发者在平台上利用视频+的技术。做出有意思的创新。

3.vPaaS 的平台技术架构

image.png

(1)vPaaS 平台的云端一体的架构,云就是云端的平台服务,端是客户端 SDK 的内核加上对外的 SDK 接口。中间通过两个长连接,一个是媒体长连接。一个是业务长连接。把云和端连接起来,保证媒体数据的传输和整个信令调用的传输。

(2)平台服务,包含平台的业务服务板块。音视频媒体服务、基础长连接、场景应用服务、样板服务,托管平台等等。服务具备多中心部署,具备弹性伸缩的能力,保障整个平台的服务稳定。

(3)客户端 SDK ,客户端内核是跨平台实现一套代码。多端的API一致,保证统一的开发体验和能力的扩展。RoomEngine SDK 向上会适配各种各样的开发框架,来帮助视频原生应用在各种开发框架下快速地集成。


四、平台技术演进的方向

1.背景

面向未来,整个平台会不断的往四个技术方向进行演进。在低代码开发、云原生技术、AI 智能化、应用持续集成四个方向上,持续构建每一个技术方向的核心能力。经过和客户共创产品化分装最终输出给开发者。

2.多重体验低代码开发,快速打造多重体验应用。

image.png

(1)多重体验技术

①跨平台,跨终端 SDK

②渐进式网页应用(PWA)

③智能 Robot 场景应用

(2)低代码开发技术

①多产品联动、统一控制台

②场景化样板间,最简代码接入

③动态组装的场景 SDK

④开发框架适配(如React、Flutter、Election)

(3)解说

多重体验低代码技术为视频原生应用提供了跨平台,跨终端一致的体验指引。因此会持续构建各端包括外部网页应用、开发体验一致的 RoomEngine 的 SDK,同时平台会提供智能机器人的技术和产品,保障全方位的用户体验,通过低代码的技术来降低整个开发门槛。首先,是产品开通配置,通过多产品的联动开通统一控制台,简化各个产品繁琐的配置。提供最简化配置,如果是一个场景中使用多个云产品的情况就能够大幅减少开通和配置的步骤,从原来很难搞定多个产品之间跳转开通配置的情况,变成几分钟就能搞定。开通配置完成后,通过提供的低代码样板间产品,十行代码集成,就能够获得完整的视频应用体验,把集成的时间由原来的一星期或是一个月或是更久的集成工作,降低到十几分钟就能够完成。低代码样板间产品是我们提供的一个端到端的。UI 的标准样板实现的产品,在标准实现的基础上提供了丰富的扩展开发 API 的能力。帮助我们开发和业务连接的功能。以电商直播间举例说明,可以扩展开发一些商品橱窗,热卖的商品推荐,也可以通过自定义的商品消息实现销售商品的推送,发送红包等等的功能。如果是使用场景 SDK 的集成,原来需要集成多个 SDK,就变成了只需要集成一个一体化的场景 SDK,会把整个功能包在里面。做了各种开发框架的适配,可以很方便地对接到已有的应用上。能够自己选择,例如应用是使用的 Flutter,则可以选择 Flutter ,适配好的 SDK,这样做到简单应用。希望通过在低代码应用上的不断演进,提供可灵活组装的组件,提供丰富的样板间的产品,为自建应用尽可能地做到降本提效。

3.云原生托管,提供简单、稳定的样板服务。

image.png

(1)样板间服务全生命周期托管

①服务一键自动部署

②可视化服务管理

③最简化运维

(2)云原生技术全流程保障

①企业级容器化应用

②一站式容器管理

③极致的弹性扩容

④全流程监控保障

(3)解说

第二个技术方向是视频与云原生技术相结合,为整个平台利用提供简单稳定的托管服务。提供的低代码样板间产品里包含一个标准化的产品的样板间服务。服务托管在云容器 ACK 的集群上。以直播样板间来举例说明,在客户端样板 UI 实现的背后,是整个服务标准化直播间的开启、暂停、结束等生命周期的管理逻辑。以及每个直播间里面功能的实现的服务端的实现。借助云原生的技术,能够提供企业级容器化的服务。做到服务的自动部署,极致的弹性扩容。产品上可以把样板间服务管理做到可视化设计,提供最简化的服务运维功能。可以按照业务规模需要一键进行整个样板服务的容量扩容。比如,可以从一千并发在线的服务能力,一键扩充到一万并发的服务能力。在整个扩容只需要点击一个按钮就可以。希望通过打造一个融合云原生技术的视频原生应用开发平台。为企业、为客户自建视频应用提供简单的稳定的平台托管服务。

4.场景化 AI 引擎,加速视频原生应用智能发展

image.png

(1)云端一体的 AI 引擎

①云端一体 AI 引擎

②智能语音,图像视频,自然语言 AI

③多场景适配

(2)开箱即用的 AI 算法

①场景化 AI,开箱即用,无需开发

②如开发门槛、无数据维护、无需工程部署

③配置可视化,一键投入生产

(3)解说

第三个方向是 AI 智能,在整个视频原生开发平台里面有一个非常大的板块,就是算法。在视频原声应用里通常会有这样几类算法。首先是视频图像类的算法,主要有视频增强、超分、插针等等这样的算法来加持,能够让我们在同等或更低带宽消耗情况下,获得更好的视频体验。其次是内容识别类的算法,例如智能拆条,智能语音,自然语言类的算法,这些算法结合一定的业务场景,能够提供更加智能的产品的体验,我们在整个平台里通过提供的云端一体的 AI 引擎,来作为整个平台算法的底座,快速的接入更多的平台能力需要的,场景产品需要的各类算法,通过进行场景化的适配。产品化后,零门槛提供给应用进行集成,让没有算法开发能力的企业和开发者都能够轻松使用这些算法进行智能化的创新。

5.音视频应用工厂,视频原生应用可持续集成平台

image.png

(1)视频原生应用引擎

①云原生、视频原声、云端一体基础设施

②跨平台,多端体验一致

③媒体、信令网络一体化融合

④音视频组件、互动组件,动态组装

(2)可持续集成平台

①低代码、强扩展,快速上线的开发体验

②UI 组件、开发框架、IDE 等支持

③集成、构建、调试、部署、分发、灰度的全流程支持

(3)解说

第四个是音视频应用工厂,在这个工厂里可以提供多场景的动态组装的场景化 SDK ,以及各种各样场景样板应用的实现,一方面我们持续构建视频原生应用的开发平台的底座以及能力,在音视频技术、网络技术、多网一体化融合、AI 算法、场景组建、多端一致的开发体验等重点的技术方向上去提升整个平台的竞争力,一方面持续建设动态 SDK 的组装能力,更多的开发框架的适配。在开发工具上提供给应用开发者更好的开发体验,让整个视频应用的集成,构建,调试,部署,分发,灰度能够完整的在平台上完成,打造成整个视频原生应用的一站式开发平台。

以上即第一部分内容,视频开发面临新的技术挑战、技术难题。如何使用 vPaaS 视频原生应用开发平台来解决行业难题。


四、低代码音视频工厂

在 vPaaS 平台之上发布的产品低代码音视频工厂,是一个视频场景的产品套件。产品套件里会包含多个场景的产品。

1.低代码集成的场景产品

image.png

每个场景提供两种集成方式:

(1)场景化 SDK 集成

(2)样板间低代码集成

2.解说

在整个低代码音视频工厂套件里,已经发布了互动直播、互动课堂两个场景产品,正在开发短视频场景的样板。在规划中的另一个场景是企业培训直播,其中每个场景产品都提供两种集成方式,优先推荐低代码样板间集成。如果低代码样板间的 UI 或者功能不能满足需求时,也可以选择场景化 SDK 集成。在我们和中小客户共创的过程中,当把做好的 demo 给客户体验时,很多客户都会说做的 demo 做得漂亮,体验很好。是否能够直接快速地在平台里具备这样一个相同的能力和体验。这是前面所讲到的整个行业视频化在面临着的新的课题。这些客户往往会在他的公司里有3~5个开发人员。要开发出这样一个体验好的视频应用、视频功能,门槛非常高,后期的维护成本也会非常高。基于这些,我们在 vPaaS 平台上推出场景样板低代码产品,把客户端的 UI 实现,整个功能实现。包括提供的二次扩展的能力,还有标准的客户端的服务,通过云原生集群托管,整体进行打包,提供一个端到端的完整的解决方案来解决难题。真真正正能做到十行代码就完成整个集成。得到良好的视频产品的体验。

3.低代码样板间产品展示

image.png

上图是低代码样板间的截图。左上角两张是互动直播样板,右下角两张是互动课堂的截图,希望未来在 vPaaS 应用音视频原生应用开发平台上,构建的低代码音视频工厂的产品里,能够有越来越多的低代码样板间上架。也有越来越多的底层原子能力能够上架。可以供客户进行选择,快速的支持各种视频场景下自建应用。

4.低代码音视频工厂的产品优势

集成 vPaaS 平台的低代码音视频工厂产品,集成开发视频原生应用具备哪些优势。

image.png

(1)低门槛接入

首先是最低门槛的接入,一键开通,三不接入十行代码可得到整个运行的效果,获得一个直播间或者一个课堂能够直接运行看到效果。

(2)易扩展

第二,易扩展,提供一体化的客户端 SDK,样板间 SDK 扩展的 API 、服务端、多场景多原子的 API 集合。支持可以和自己的业务流程进行快速对接,实现各种各样的业务功能。

(3)灵活可配置

第三个是灵活可配置。把所有的 SDK 样板间产品的可配置项按单场的应用成两个维度进行设计,在控制台进行产品化,最后提供可视化的产品配置界面,简单快速可以定制 SDK 的能力和样板间的展示效果或是功能。

(4)场景智能

最后是场景智能。使用低代码音视频工厂的产品,可以零门槛地获得行业领先的 AI 算法。来赋能业务进行创新发展。

5.视频解说

(1)发现问题

简单地了解一下低代码音视频工厂产品能够帮助解决什么业务问题。

(2)视频内容

超视频化时代,视频已成时代语言。如何快速低成本定制低视频业务?如何提高音视频观看及交互体验?阿里云视频提供低代码音视频工厂,实现超低成本对接,助力电商互余、教育、企业培训、营销等业务急速上限,提供一站式的应用随性配服务,灵活定制,满足多样性需求。一体化封装,低门槛集成,模组化设计,灵活可拓展电商场景样板间。支撑电商场景的弹幕、点赞、购物车、直播录制、直播审核的能力,控制台一键选配电商直播样板间,两步生成一体化 SDK 、互动课堂,面向教育行业的互动教学。低代码产品提供丰富的教学场景和互动工具。多年技术积累,通话清晰流畅。多种加密算法,内容安全有保障。阿里云互动课堂会帮您快速构建自有品牌的在线课堂业务。阿里云视频云服务,让音频应用开发更简单。

相关文章
|
13天前
|
人工智能 运维 Cloud Native
上新丨统一多层网关架构系列视频课程
《统一多层网关架构系列视频教程》将于 11 月初上线。通过该课程,您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或服务包括 PPT(PDF 版)、演示 Demo、视频回放和群内答疑等。
|
2月前
|
机器学习/深度学习
ACM MM24:复旦提出首个基于扩散模型的视频非限制性对抗攻击框架,主流CNN和ViT架构都防不住它
【9月更文挑战第23天】复旦大学研究团队提出了ReToMe-VA,一种基于扩散模型的视频非限制性对抗攻击框架,通过时间步长对抗性潜在优化(TALO)与递归令牌合并(ReToMe)策略,实现了高转移性且难以察觉的对抗性视频生成。TALO优化去噪步骤扰动,提升空间难以察觉性及计算效率;ReToMe则确保时间一致性,增强帧间交互。实验表明,ReToMe-VA在攻击转移性上超越现有方法,但面临计算成本高、实时应用受限及隐私安全等挑战。[论文链接](http://arxiv.org/abs/2408.05479)
70 3
|
4月前
|
Kubernetes 关系型数据库 分布式数据库
PolarDB产品使用问题之PolarDB-X的架构形态有什么区别
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
3月前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之如何管理企业的组织架构
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
4月前
|
敏捷开发 前端开发 测试技术
软件开发工作流【详解】(含公司产品研发流程图、大厂研发架构图、大厂研发流程图)
软件开发工作流【详解】(含公司产品研发流程图、大厂研发架构图、大厂研发流程图)
991 1
|
6月前
|
存储 运维 5G
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
|
4月前
|
供应链 Java 中间件
软件架构一致性问题之研发新产品创造价值如何解决
软件架构一致性问题之研发新产品创造价值如何解决
35 0
|
4月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之如何确定是否需要更改MC的Endpoint服务接入架构
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
存储 弹性计算 安全
构建高效企业应用架构:阿里云产品组合实践深度解析
该方案展现了阿里云产品组合的强大能力和灵活性,不仅满足了当前业务需求,也为未来的扩展打下了坚实的基础。希望本文的分享能为读者在设计自己的IT解决方案时提供一定的参考和启发。
345 1
|
6月前
|
编解码 人工智能
DiT架构大一统:一个框架集成图像、视频、音频和3D生成,可编辑、能试玩
【5月更文挑战第23天】研究人员提出Lumina-T2X框架,统一生成和编辑图像、视频、音频及3D内容。使用Flow-based Large Diffusion Transformer (Flag-DiT)模型,实现多模态生成,支持内容编辑。尽管面临训练资源需求高、生成质量不及人类创作等问题,该框架在娱乐、广告等领域有广泛应用潜力。[论文链接](https://arxiv.org/pdf/2405.05945)
107 1
下一篇
无影云桌面