带你读《2022技术人的百宝黑皮书》——大淘宝技术斩获NTIRE视频增强和超分比赛冠军（内含夺冠方案）(8) https://developer.aliyun.com/article/1243532?groupCode=taobaotech
NTIRE22
我们提出方法在NTIRE 2022压缩视频超分辨率和质量增强挑战赛的三个赛道表现如表8所示。在三个赛道中，均使用了测试时集成方法[31,32]，其中Track 3赛道还使用了模型融合方法。具体地，对于Track 1、2，对输入视频帧进行翻转和旋转，为每个样本生成8个增强副本，然后分别送入第一阶段和第二阶段网络，最终计算第二阶段网络的8种预测平均值。对于Track 3，除了Track 1、2中的8种增强手段外，还在第一阶段进行了模型集成，即对两个模型的16种预测计算平均值，并将该平均值用作第二阶段模型的输入。
表8 我们的方法在NTIRE 2022挑战赛中的PSNR表现
结论
我们提出了一个两阶段视频增强框架，用于同时去除压缩伪影和缓解视频帧间质量波动，引入了渐进式训练和迁移学习策略，用以稳定训练过程、缩短训练时间，并最终提高视频增强性能，在增强性能和模型复杂度之间取得了良好的平衡，并在NTIRE2022视频超分与压缩伪影增强挑战赛中获得了两项冠军和一项亚军。
团队介绍
代表阿里巴巴参加本届NTIRE比赛夺魁的参赛团队，出自大淘宝技术内容团队，负责音视频算法和相关基础技术。
团队同时支持大淘宝内容业务，致力于打造业界领先的音视频体验，尤其是视频画质和流畅度，通过视频编码器S265、视频增强方案STaoVideo，以及媒体处理系统TMPS，为直播和短视频提供核心技术。相关算法技术目前服务于包括直播、逛逛、点淘、首猜等大淘宝业务并可被集团其它业务复用。通过持续的技术打磨和算法创新力求高质量、低成本赋能淘宝内容业务。团队在视频增强STaoVideo方面引入差异化的智美高清和普惠高清算子，分别针对高热视频和大盘视频提升画质并降低转码过程中的算力成本开销。团队既关注人眼主观体验，同时积极探索能够提升客观指标的方法。此次比赛的冠军方案：渐进式训练的两阶段视频恢复方法就是团队同学在日常业务研发中探索出的新方法。
团队负责人认为大淘宝内容业务足够复杂，包含多样化的真实场景，为算法同学提供了持续迭代技术，实时赋能业务，创造价值的舞台，团队亦可籍此沉淀技术领先性。依托当前技术储备，适当投入高水平的国际赛事，对团队来说是一个很好的练兵和面向业界前沿学习和交流的机会。
内容化正在驱动互联网进入新周期，音视频技术是其中重要的技术板块。此次在NTIRE取得出色成绩，是大淘系技术长期以来对音视频领域的持续投入和不断创新的阶段性成果。随着以淘宝直播、逛逛、点淘为代表的内容化业务的发展，内容场和电商场的双重复杂度不断叠加，未来不仅是音视频技术，大淘系技术在多模态、3D XR、认知计算与知识图谱等技术领域的迭代长期都会处在加速状态。
带你读《2022技术人的百宝黑皮书》——大淘宝技术斩获NTIRE视频增强和超分比赛冠军（内含夺冠方案）(10) https://developer.aliyun.com/article/1243529?groupCode=taobaotech
