本文为论文精要,原文刊发于《广播与电视技术》2021年第11期。
自AVS标准工作组成立以来,已经制定并颁布了从AVS1到AVS3三代视频编码标准,突破了国际标准的专利垄断。本文介绍了AVS技术的发展及标准体系的建立,以及AVS技术标准在中央广播电视总台电视中心的部署和应用实践,同时针对总台4K超高清频道使用的AVS2编码标准,通过编码工具性能研究及实时编码设备测试评估,提出了实用性编码优化建议。
本文作者:潘晓菲
中央广播电视总台
作者简介:
潘晓菲,女,1981年生,博士生,高级工程师,中央广播电视总台技术局科长。主要从事广播电视视音频编码相关技术的研究与电视中心系统部署应用,组织AVS+、AVS2、AVS3等广播电视视频编码系列标准的起草,组织高动态范围相关技术研究及行业标准制定工作。
1AVS发展简介
2006年首个自主技术的视频编解码国家标准(AVS标准)颁布,彻底扭转视频编码领域的专利收费格局。自2002年AVS标准工作组成立以来,经历了19年的发展,已经制定并颁布了从AVS1到AVS3这三代视频编码标准。2013年中央广播电视总台在国内首次面向高清电视节目分发应用自主技术的AVS第一代标准,2018年面向4K超高清节目分发应用第二代AVS2编码标准,2021年面向8K超高清节目分发应用第三代AVS3编码标准。在部署应用过程中着力解决了AVS广播级专业设备编码优化等问题,以产业示范应用带动了AVS自主技术和国产设备的不断进步。
2AVS技术标准在
总台的落地应用
2.1 AVS+技术标准的应用情况
2012年中央广播电视总台作为“AVS技术应用联合推进组”主要成员单位,牵头制定了广电行业标准《广播电视先进音视频编解码 第一部分:视频》,并于2013年在3D试验频道中首先展开AVS+高清编码器应用技术试验,首次将自主技术、国产编码器应用于总台编码压缩系统中。2014年在全国范围内首次以AVS+编码压缩方式播出6套高清节目。2015年完成CCTV-3/5/8高清节目H.264码流、CCTV-1/5+高清节目MPEG-2码流,向AVS+方式编码压缩方式的转换,至此完成总台全部11套高清节目的AVS+转换工作。2017年~2020年继续完成总台其余高清公共频道、付费高清频道的AVS+编码压缩分发。由此也在全国范围内在节目传输高清编码领域带动了自主技术、国产设备的全面快速发展。
2.2 AVS2技术标准的应用情况
AVS2编码标准于2016年颁布,中央广播电视总台于2018年10月上星首个4K超高清频道,带动了AVS2编解码产品的落地应用,推进了整体产业化进程。总台4K超高清频道全部采用国标AVS2的编码技术,在此过程中解决了自主技术的编解码设备产品化、产业化应用,以及编码压缩的系统级部署,编码压缩、分发和接收的端到端关键技术问题。
目前,总台建设的AVS2编码压缩系统可支持6套4K超高频频道的编码压缩和节目流分发,后续还将支持总台奥林匹克4K超高清频道等的播出。除播出信号编码分发外,目前在上海传媒港直播影院的节目分发等领域总台也在积极展开AVS2编码技术的应用推进。
2.3 AVS3技术标准的应用情况
2021年2月总台试播全国首个8K超高清试验频道,并在2021年的春节联欢晚会期间进行首次8K直播,为观众带来一场跨时空的视听盛宴。8K超高清视频信号的信息量是4K超高清视频的四倍,必须使用更高效且低损耗的编码方式对其进行压缩,为此,总台联合北京大学、鹏程实验室等科研单位加紧推进了AVS3编码标准的出台和落地。2021年1月,总台颁布《中央广播电视总台8K超高清电视节目制播技术要求(暂行)》,明确对8K超高清视频编解码技术采用AVS3标准。
技术标准确定后,总台与AVS3编码器厂商立即展开技术试验,重点探索了8K超高清节目的传送分发码率范围,解决AVS3复杂算法的实时性优化难题,进一步优化编码质量。同时明确系统级部署应用的上下游设备接口和功能要求,为后续规模化的产业应用提供有效的指导。
除8K超高清频道编码压缩分发应用外,总台还将在“5G+4K/8K超高清制播示范平台”项目中在8K节目采集环节中对AVS3编解码技术展开技术试验。
3AVS2编码技术优化研究
从高清到4K/8K超高清,视频图像的数据量大幅提升,相应的节目分发编码算法应用也从第1代AVS1发展到了压缩效率更高的AVS2和AVS3,在提升压缩效率的同时,算法复杂度也随之大幅提升。但广播电视节目的分发对实时性要求极高,AVS算法复杂程度的提升也对产品实时性带来了空前的压力与挑战。为了提高4K电视节目图像质量,提升传输效率,需要对视音频信号编码技术进行优化研究。中央广播电视总台开播的4K超高清频道采用AVS2编码进行电视节目传输,因此我们针对AVS2编码技术的优化进行了进一步研究。
3.1 AVS2与其他视频编码关键技术对比
与上一代编码标准H.264和AVS+相比,AVS2采用了基于编码单元、预测单元和变换单元的图像划分结构,能更好地适配更高分辨率的内容;在预测方面,采用更加丰富的预测模式来提升预测精度;在滤波方面,AVS在传统的去块效应滤波基础上,新增了样本自适应偏置滤波和自适应环路滤波,能够更加有效地提升主观重建质量;在变换方面,AVS2支持的变换核种类更多,可以进一步提升编码效率。
在同代技术比较方面,AVS2和HEVC属于一代视频编码标准,都针对高分辨率图像编码提出了更有效的编码技术。但二者在预测、变换和熵编码等环节中的具体技术也存在着差异。AVS2和H.264、AVS+、HEVC标准关键技术对比情况如表1所示。
综上,为提升编码效率,AVS2在块结构、帧内预测、帧间预测、变换、滤波、熵编码等各个环节都采用了新的编码技术,能够更加适配超高清视频内容特性。但较同时代技术复杂度更高,较上一代技术复杂度提升明显。在使用参考软件进行编码仿真实验后发现,在算法复杂度上,根据参考软件计算时间评估,AVS2计算时间是HEVC(同等参数开启条件下)的2.3倍,AVS2编码计算时间约为50000∶1(超高清)、6500∶1(高清),可见其复杂度极高。
3.2 AVS2编码复杂度客观测试评估和优化建议
在算法效率及复杂度客观研究方面,常用的方法是通过对参考软件逐一或组合开启各工具集,记录相应的仿真计算时间和客观失真值,从而综合评估编码工具对编码性能和编码时间的影响。我们对AVS2参考软件进行设置,比较了所有编码工具都打开时与某个编码工具关闭时编码性能和编码时间的差异,对不同编码工具的编码复杂度进行了分析。AVS2编码中主要使用的编码工具开启后对编码性能和编码时间的影响总结如表2所示。
通过表2可以看出:F帧、多方向B帧跳过、短距离帧内预测等编码工具对编码性能提升有限,但带来的编码时间增加较多。当编码资源有限,实时性要求较高,尤其是面向信号实时编码时,可以优先关闭这些工具,能够在保证编码质量的情况下提升编码器编码速度。
3.3 AVS2实时编码器测试评估和优化建议
上文提到对于理想的参考编码软件,即当多有编码工具集全部开启时,编码效率约为50000:1(超高清)。因此实际的实时编码器并不会开启全部的编码工具集,通常选择对质量优化有明显贡献且复杂度可以承受的一组工具集进行应用,同时对一个编码工具还会限制参数范围以进一步降低算法复杂度。
事实上,在AVS2编码器早期应用时,部分厂商选择了CPU+GPU的技术路线,GPU用来完成简单的单向图像处理,CPU则负责复杂逻辑的图像预测等。近年来随着高性能CPU的广泛应用,众多编码器厂商不再采用GPU而选用高性能CPU方案,图像质量进一步提升。但高性能CPU的应用,使得设备体积大、功耗高,一台单路的AVS2超高清编码器功耗达550W以上。随着日本一些芯片厂商推出专业编码芯片,国内一部分AVS2编码厂商也尝试了CPU+FPGA+编码芯片的技术路线。这类编码器功耗大大降低,单路4K超高清AVS2编码器的功耗在300W以下,编码延时量也大大降低。当然受限于芯片计算能力,这类设备的编码质量较纯CPU的编码器有一定的损伤。
为了评估实际编码器的实现性能,我们对总台实际使用的AVS2实时编码器设备进行了编码测试,这里均为纯CPU的编码设备。考虑到目前4K超高清频道播出时,实际应用码率为36Mbps,我们也重点分析了该码率点下AVS2编码的客观编码质量。AVS2实际编码器设备主要采用的编码工具集及参数如表3所示。
综上,随着CPU计算能力的进一步提升,AVS2实时编码器可以在现有基础上,在CU划分、帧内预测、帧间预测和滤波等工具实现上进一步优化,提升编码质量。
3.4 AVS2和HEVC 4K超高清编码器性能主观评价
上述比较了作为同代编码标准AVS2和HEVC在算法关键技术上的区别。经过3年多的产业发展,AVS2编码器在编码优化水平和稳定性方面都有了显著提升。我们对总台现有实际使用的AVS2和HEVC4K超高清实时编解码设备,在36Mbps压缩编码码率点进行了主观测试评估对比,结果如表4所示。
4小结
自2002年AVS标准工作组成立以来,我国全自主技术的AVS编码标准已经历经19年的发展,形成了紧随电视技术发展,全面覆盖标清到8K超高清视频信号的编码标准体系,提高了我国电视产业的自主权和国产厂商在这一领域的国际竞争力。中央广播电视总台作为“AVS技术应用联合推进组”主要成员单位,正在逐步部署开播使用AVS2编码压缩标准的多个4K超高清频道。基于AVS2编码优化研究提出的编码工具集的选择应用建议和对编码压缩系统中使用的AVS2实时编码器进行的编码性能测试评估,进一步推进解决了自主技术的编解码设备产品化、产业化应用,以及编码压缩的系统级部署,解决了编码压缩、分发和接收的端到端关键技术问题。
本文受国家重点研发计划“云计算与大数据”重点专项(批准号:2017YFB1002400)资助。
END
参考文献
[1] T/AI 109.2-2020.信息技术智能媒体编码. 第2部分:视频[S].
[2] 中央广播电视总台.中央广播电视总台8K超高清电视节目制播技术要求(暂行). [2020-01-21].
[3] GY/T 299.1-2016.高效音视频编码第1部分: 视频.
《广播与电视技术》、“广电猎酷”广告经营与商务合作代理:
北京中广信通文化传媒有限公司
联系人:王翠霞
联系电话:13651307963
好文共赏请转发 有话要说请留言
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.