顶级赛事的技术精华,就在这一册。
亚运会风声已起,转瞬的体育年余音犹在。技术也在其中,非凡演进。
对大众而言,体育竞技场一直是聚览的热地,2022的超级体育年里,冬奥会、NBA、世界杯热度贯穿,云上技术打破时空之限,屏幕前的每个观众都是技术的受益者,可以享受如临现场,乃至超越现场。
对此,云技术考虑的重点,是如何保障低延迟、超高清、深沉浸、强互动的极致观赛体验,纵览所有顶级赛事,在云之上的视频云和边缘云技术创新,为不同赛事定制了多元而极致的赛事体验。
为了更好的展现顶级赛事的云技术应用,我们打造这一册《超越感官,沉浸赛场——大型体育赛事云上实战精选集》电子书,分享超4万字的赛事技术实战集锦。
01 六大顶级赛事贯穿
以“云”之力,破赛事之境。
后疫情时代,赛事直播体验不断被升级。世界杯、NBA、北京冬奥会、东京奥运会、英雄联盟S10、CUBA,作为赛事的六大顶流代表,异彩纷呈。
本书精选了阿里云在六大赛事中的场景技术创新,深度刻画帧级同步、超清还原、虚实融合的新一代沉浸式极致体验标杆。
这其中,超低延时直播RTS、互动虚拟演播、Cloud ME实时全息交互、自由视角、窄带高清、AI云智剪、电竞AI技术七大经典应用,均展现在顶级赛事中,突破体验之限。
02 三项赛事技术突破
以“云”之力,创技术之新。
电子书呈现超低延时直播RTS、零处理、自由视角三项行业先锋技术的打磨锤炼过程,为音视频行业提供最佳实践案例与技术发展的演进方向。
- RTS:世界杯延时缩至1秒
过去,大型体育赛事直播延时通常在15s以上,尤其是世界杯这样的顶级赛事,还面临着用户数量多、网络复杂多样的情况,带来热点赛程流量陡增、直播卡顿延时等众多挑战。
阿里云超低延时直播RTS,对视频直播进行全链路延时监控、CDN传输协议改造和UDP等底层技术优化,支持在千万级并发场景下毫秒级延时直播的能力,保障低延时、低卡顿的极致直播观看体验。
RTS的亚秒级延时和卓越的抗弱网能力,大幅提升了传输效率,在相同卡顿率下,延时降低80%,将世界杯直播端到端延时缩短至1秒。
- AliRTC“零处理”:奥运的黑科技内核
2022北京奥运会举办期间正值Covid-19肆虐,在物理空间限制下,人们更加渴望探索真实会面感,收获沉浸交互体验,由此,阿里云音视频通信AliRTC应运而生。
依托于“云处理+端渲染”技术,AliRTC“零处理”解决方案,让硬件端只进行简单的采集、传输、播放,同时,所有复杂工作全部集中在云上完成,让终端实现“零处理”。
基于AliRTC,影像画面传输和处理的全过程,仅需在眨眼间的200毫秒内即可完成,毫无延时顿感,为体育赛事的实时全息互动打下坚实基础。
- 自由视角:随心导播看CUBA
第二十三届CUBA中国大学生篮球联赛期,阿里云与优酷、中国电信强强联合,通过5G+边缘计算+“自由视角”,充分发挥多角度、多细节、自由观看的特点,帮助观众更立体地追踪球赛的精彩瞬间。
所谓“自由视角”,是将多台摄像机环绕部署采集的视频内容,编排整合后回传至中心云或边缘节点,进行视频流3D渲染重建,并实时传送给观众,让观众可以在150度的范围内随心滑动,观看“自己导播的专属比赛”。
03 四个百年奥运「首次」
以“云”之力,挥人文之光。
“奥运120多年历史,是人类更高更快更强的拼搏史,也是科技应用的演变史。基于数字化,奥运正焕发着新光彩。”国际奥委会主席托马斯·巴赫说。
阿里云视频云全面助力“奥运上云”和全新创造云上的一切,电子书收录了百年奥运史上浓墨重彩的众多“第一次”。
- Cloud ME:奥运首次多人异地全息会面
为保障北京冬奥会的顺利举办,阿里云聚“Alibaba Cloud ME”,第一次在百年奥运史上跨越物理空间,呈现多人异地远程全息会面的“云聚”时刻。
在实时传输协议、QoS抗丢包策略和阿里云音视频通信网络的保障下,Cloud ME完成包括转码、渲染、场景重建、光影处理等复杂流程,实现真人1:1等比“发丝级”复刻,塑造全真实交互的沉浸感。
- 互动虚拟演播:奥运首次实时沉浸报道
全新的云导播互动虚拟演播方案,是百年奥运以来的首次启用,全程助力CGTN打造奥运赛事报道的沉浸式体验。
互动虚拟演播采用国内首个纯云端实景抠像合流技术,并首次打通了RTC和GRTN网络,达到广电级导播能力。
仅需“两部手机+一台电脑”,即可随时随地展开采访直播与转播,互动虚拟演播革新了媒体生产与传播的技术链路,也将沉浸式直播的互动效果全面提升到新的境界。
- AI云智剪:国内首个多层级短视频生产技术
北京冬奥会期间,AI编辑部“云智剪”提供的云上智能生产能力——AI云智剪首登冬奥赛场,对视频内容进行多维度解析,完成精彩素材生成,同时基于跨视频集锦生产能力,第一时间为观众生产主题集锦视频。
此外,针对奥运赛事内容,AI云智剪设定了丰富的美学主题智能模板,通过智能化视频云技术,全面捕捉赛事瞬息间的美学光影。
- 奥运首次全面上云:体验身临其境
2022北京冬奥会是首个全面上云的冬奥会,赛事成绩、赛事转播、信息发布等信息系统迁移至阿里云上,实现核心信息系统100%上云。
其中,“奥运转播云”为转播方提供云上解决方案,实现了高清电视直播和网络渠道直播同时在云上转播,将精彩赛事送达至全球数十亿观众。
与此同时,云上转播突破了传统的2k,全程以4k超高清格式转播,部分重要赛事以8k格式转播,让观众“身临其境”。
04 五大AI应用解码
以“云”之力,乘AI之势。
随着人工智能技术的日趋完善,AI在大型体育赛中发挥着至关重要的作用,场景化创新水平也不断提升,电子书呈现了阿里云在大型体育赛事中的五大AI创新应用。
- 球星智能集锦:世界杯追星神器
利用视频AI+云剪辑+媒资管理的技术,赛后生成球星集锦视频,不仅可为生产方快速提供素材,还可满足球迷们的“追星”需求。
球星智能集锦基于多模态融合的视频AI技术,结合人物、语音和文本识别输出视频AI时间线,从而对原始素材进行剪辑合成。
与传统的人工制作方式相比,阿里云智能集锦技术可在赛后分钟级生成集锦视频,速度提升10倍以上。
- 窄带高清:NBA高清最优解
窄带高清2.0技术,从人眼视觉模型出发,将编码器的优化目标从经典的“保真度最高”调整为“主观体验最好”。
通过引入AI自适应亮度、对比度和色彩增强算法,智能化增强赛场画面中较柔和及灰暗颜色的强度,为低码率的源视频增强整体画面色彩表现力,打造极致流畅、视觉饱满、深度沉浸的观看体验。
- AI云智剪:北京冬奥新内容生产力
AI与机器学习在体育媒体视频生产领域的应用是产业的大势所趋。在北京冬奥会期间,“AI云智剪”发挥巨大价值,俨然成为科技冬奥新内容的生产力。
通过对赛事内容的精彩信息进行定义、提取,从比赛视频、解说词音频、人物场记等各个维度进行识别与分析,并利用多模态融合技术,实现复杂场景下的特色集锦效果。
- 云化转播车:东京奥运全链路智能方案
东京奥运会期间,阿里云采用“5G+4K+AI+云”的云化转播车方案,通过云制作技术赋予现有电视转播车云上生产的能力,提升内容制作效率,降低制作成本,孵化新内容形态。
该方案适合网络媒体、OGC、广电融媒等新媒体高清HD直播场景,相较于传统的EFP制作流程,具有便捷、稳定、低成本的特点,更可以通过智能化的手段完成智能抠像、动漫化、多主体分割等亮点应用。
- 游戏直播实时字幕:S10电竞流量密码
在英雄联盟S10赛事中,由阿里云视频云导播台提供的全球首个游戏直播实时字幕技术,热力支持电竞赛事,吸引无数流量。
实时字幕针对特定游戏场景进行特定的语音识别,并实时展示在直播流中,让分发端的观众可以借助字、音、画多维度信息理解视频内容。
该技术由阿里云视频云与达摩院共同研发完成,通过特定游戏场景训练模型和全链路解决方案,提升游戏直播的体验感,从而引导更多泛电竞受众。
在云之上,超现实体验的大门缓缓拉开,未来,更震撼、更奇妙、更酣畅淋漓的音视频全景体验跃然纸上。
本次推出的电子书为「Cloud Imagine」首册场景篇,未来,我们将陆续推出「Cloud Imagine」系列电子书,围绕场景、围绕技术、围绕创新。
本期更多精彩内容,就在《超越感官,沉浸赛场——大型体育赛事云上实战精选集》电子书,欢迎免费下载。
点击链接下载完整版电子书:https://developer.aliyun.com/ebook/7909?spm=a2c6h.12873581.technical-group.ebook7909.172b5751DRGZIg