MSU世界视频编码器大赛放榜，网易云信这项技术节省带宽成本超60％

近日,2022 MSU 世界视频编码器大赛正式放榜,网易云信首次参赛就获得骄人成绩,自研的结合智码超清技术的 NE265E 编码器以公开身份参赛,在 H.265 赛道下获得多项指标第一名。

首次参赛,斩获 3 项指标第一

MSU 世界视频编码器大赛(MSU Video Codecs Comparison)是由莫斯科国立大学主办的国际大赛,迄今已连续举办 17 届,被称为视频编码压缩领域最具权威和影响力的全球顶级赛事。

而在 FullHD 比赛更是高手如云,几乎涵盖了国内外众多音视频领域的行家里手。参赛的各种视频编码器被要求在一定速度、码率等规则下,通过多种客观质量指标和主观质量指标层层评估编码质量,并给出最终比赛结果。

此次大赛,网易云信 NE265 编码器首次参赛,以公开编码器身份在 H.265 赛道的 15 个指标中获得 3 项指标第一,8 项指标第二。

其中在 Y-VMAF(v0.6.1/v0.6.2/v0.6.3) 的客观指标上,网易云信智码超清 NE265E 编码器在 1fps/5fps/30fps 所有速度档位下,成绩均胜过其他大厂的参赛编码器,获得了 H.265 赛道的第一名。在其他客观质量 YUV-SSIM, YUV-MS-SSIM, YUV-PSNR 等指标上,在 5fps/30fps 速度档位下,网易云信 NE265 编码器获得 H.265 赛道的第二名。

高规格国际顶级赛事,众多大厂同台竞技,网易云信能以公开的编码器参赛并获得细分赛道多项指标第一,足见这项基于 NE265E 编码器的智码超清技术领先性已获得了业界权威认可。

网易云信智码超清 NE265E 编码器在 1fps/5fps/30fps 所有速度档位下均获得了赛道第一名

这么牛的技术能用来干啥?

可能有人会问,这项技术听起来好像很牛,但是那些指标咱们吃瓜群众也看不懂,和日常生活有什么关系?

还真有。随着视频成为许多内容的媒介载体,人们对视频画质要求也越来越高,从 1080P、2K 到 4K,甚至 8K。不过观看体验要好,分辨率尺寸就得越来越大,若是不经过视频编码器压缩,网络带宽流量成本也会水涨船高。

高分辨率带来更优画质体验,但带宽成本也会水涨船高

网易云信智码超清技术解决的就是这个问题,能在相同码率情况下提供用户更高画质的视频体验。

如此一来,对流媒体平台而言,视频的存储、分发、传播成本都能得到显著降低;对用户而言,咱们刷在线视频、看 4K 电影、直播追剧等都能看个过瘾,不必担心流量告急。

“榜一大哥”具体是怎么炼成的?

那么,这项与人们日常生活紧密相关的智码超清技术,其转码的关键技术点在哪呢?网易云信是怎么做的?

总结来说,智码超清转码的关键技术点分为了视频前处理、视频编码、视频后处理三个部分。

首先是视频前处理,包含了内容分析与画质提升两个方面。内容分析的第一步是通过场景识别区分出不同场景,如:游戏、动作片、动漫、视频会议等,根据场景选择不同的前处理策略和编码工具,做到场景自适应;其次是进行基于深度学习的 ROI 区域检测,将检测后的 ROI 区域传给前处理模块和编码模块,进而对 ROI 区域画质进行增强修复。

画质提升则是通过视频增强、色彩增强、视频降噪三方面入手,前两者着重通过对原始视频的增强提升主观画质,而视频降噪是在噪声评估之后进行降噪处理,提升主观画质的同时,还能对视频编码的压缩率带来帮助。

其次是视频编码。智能编码方面包括了感知编码、ROI 编码,以及精准的帧级和行级码控;编码内核方面,通过自研的 NE264、NE265,以及支持私有协议的 NEVC 完成。

在视频后处理方面,主要通过视频超分、视频增强技术等完成画质提升。视频超分是指通过网易云信 AI 超分算法,将低分辨率图像生成高分辨率图像。网易云信提出了基于编码损失复原的视频超分技术,采用数据驱动和网络设计并重的策略,通过数据处理模拟真实失真场景,并且从模型设计到工程化实现进行层层优化,在模型实时性和真实场景超分效果方面取得了不错的效果。

节省带宽成本超过 60%

值得一提的是,这并非网易云信音视频实验室第一次在世界的舞台上闪耀。

在 2022 年,计算机视觉领域最高级别的会议 CVPR(CVPR NTIRE 2022 EfficientSuper-Resolution Challenge)上,网易云信音视频实验室的 AI 超分技术同样摘得了综合性能赛道的世界第一。

坐而论道,不如起而行之,技术积累需在真实场景落地才能体现价值。在网易集团内部,网易云信智码超清技术已在网易传媒、网易云音乐、网易元气等业务中全量上线。

以网易传媒为例,从去年统计的结果看,每日 40 万分钟视频转码的带宽由每天 80G 下降到每天低于32G,节省带宽成本超过 60%。

未来,网易云信也将继续保持前沿技术探索,为业界提供更低成本、更低延时、更高画质的视频编码压缩方案。