引言:从像素到比特流的完整链路
在本系列的前七篇文章中,我们逐层拆解了H.265/HEVC的编码架构,从最外层的CTU划分到最内层的熵编码,完整覆盖了从原始像素到压缩比特流的整个编码链路。本文将对这些模块进行系统性回顾,梳理它们之间的协同关系,并展望下一代视频编码标准H.266/VVC的技术方向。
H.265核心模块全景回顾
1. CTU:灵活的四叉树划分结构
H.265将传统的宏块升级为CTU(编码树单元),最大支持64×64尺寸,并通过四叉树递归划分为CU(编码单元)、PU(预测单元)和TU(变换单元)。这种灵活的划分结构使编码器能够根据画面内容自适应选择最优的编码粒度——大块处理平滑区域,小块处理纹理细节,奠定了H.265高压缩效率的基础。
2. 帧内预测:65种方向模式
H.265将帧内预测方向从H.264的9种扩展到33种角度模式(后续扩展至65种),并引入平面模式(Planar)和DC模式,能够更精确地预测各种方向的纹理结构,显著降低了帧内编码的残差能量。
3. 帧间预测:Merge与AMVP双引擎
帧间预测通过运动补偿消除时间冗余。H.265引入的Merge模式允许直接复用相邻块的运动信息,实现零残差编码;AMVP(高级运动矢量预测)则构建了更丰富的候选列表,选择最优预测值。两者协同工作,大幅降低了运动信息的编码开销。
4. 变换与量化:可变尺寸DCT/DST与RQT
H.265支持4×4到32×32的可变尺寸DCT变换,并针对4×4帧内残差引入了DST变换。配合残差四叉树(RQT)机制,变换单元可以独立于预测单元进行自适应划分,使残差编码更加精准高效。
5. 环路滤波:DBF与SAO双重保障
去块滤波(DBF)消除块边界的不连续,SAO(样点自适应补偿)则通过边缘补偿(EO)和带状补偿(BO)校正振铃效应和色彩偏差。两者串联工作,不仅改善了输出画质,还提升了参考帧质量,形成正向循环。
6. 熵编码:CABAC的极致压缩
CABAC(基于上下文的自适应二进制算术编码)通过二进制化、上下文建模和自适应算术编码三个步骤,以接近信息熵极限的效率将语法元素压缩为紧凑比特流,相比CAVLC可节省约10%~15%的码率。
各模块的协同关系
H.265的编码流程是一个高度协同的流水线:
原始帧 → CTU划分 → 预测(帧内/帧间)→ 残差计算 → 变换(DCT/DST)→ 量化 → 反量化/反变换 → 重建 → DBF → SAO → 参考帧存储 → CABAC熵编码 → 比特流输出每个模块的输出都会影响后续模块的输入,而环路滤波后的重建帧又作为后续帧的参考帧,形成闭环反馈。编码器通过率失真优化(RDO)在所有可能的编码决策中寻找最优组合,在码率和画质之间取得最佳平衡。
H.265的应用现状
自2013年正式标准化以来,H.265已在多个领域得到广泛应用:
- 4K/8K超高清视频:H.265是4K视频的主流编码标准,也是8K视频的首选方案。
- 流媒体平台:YouTube、Netflix、Bilibili等平台广泛采用H.265降低带宽成本。
- 视频会议:Zoom、腾讯会议等支持H.265以提升低带宽下的画质。
- 监控安防:H.265使高清监控视频的存储成本大幅降低。
- 移动设备:主流智能手机的摄像头和播放器均已支持H.265编解码。
然而,H.265也面临专利授权复杂、编码复杂度高等挑战,这促使业界持续推动下一代标准的研发。
H.266/VVC:下一代视频编码标准
H.266/VVC(Versatile Video Coding)由MPEG和VCEG联合制定,于2020年7月正式发布。相比H.265,VVC的目标是在相同画质下再降低约50%的码率。以下是VVC引入的一些关键技术:
更灵活的块划分:QTMTT
VVC引入了四叉树+多类型树(QTMTT)划分结构,支持水平/垂直的二叉树和三叉树划分,块划分更加灵活精细。
增强的帧内预测
- 帧内预测模式扩展至67种(包括65种角度模式)。
- 引入帧内子块变换(ISP),允许对帧内预测残差进行子块级变换。
增强的帧间预测
- 仿射运动补偿:支持6参数和4参数仿射变换,能够更好地处理旋转、缩放等复杂运动。
- 双向光流(BDOF):在解码端进行像素级运动 refinement,提升双向预测精度。
- 基于子块的Merge(SbTMVP):在子块级别复用时间运动信息。
更精细的变换与量化
- 引入低频不可分离变换(LFNST),对低频系数进行二次变换,进一步提升能量集中。
- 增强依赖量化(DQ)技术,在量化阶段引入状态依赖,减少量化误差。
增强的环路滤波
- 自适应环路滤波(ALF):在SAO之后增加ALF,使用自适应维纳滤波器进一步改善重建画质。
- SAO和ALF协同工作,形成三级环路滤波体系。
面向沉浸式媒体
VVC原生支持360°全景视频、高动态范围(HDR)和广色域(WCG)内容,为VR/AR应用提供更好的支持。
H.266/VVC的挑战与展望
尽管VVC在压缩效率上取得了显著突破,但其推广仍面临一些挑战:
- 编码复杂度激增:VVC编码复杂度约为H.265的3~5倍,对硬件算力提出更高要求。
- 专利授权问题:VVC的专利池尚未完全明朗,可能影响产业 adoption。
- 硬件支持滞后:目前支持VVC硬编硬解的芯片仍然有限。
未来几年,随着硬件能力的提升和专利问题的逐步解决,VVC有望在以下场景率先落地:
- 8K超高清广播
- VR/AR沉浸式内容
- 云游戏流媒体
- 远程医疗与教育
与此同时,开源编码器(如VVdeC/VVenc)和浏览器支持(如Chrome、Safari的VVC解码支持)也在快速发展,为VVC的普及铺平道路。
结语
从H.264到H.265再到H.266,视频编码技术在过去二十年间取得了长足进步。H.265/HEVC以其灵活的CTU结构、丰富的预测模式、自适应的变换量化和创新的SAO滤波,成为4K时代的主流标准。而H.266/VVC则在H.265的基础上进一步突破,为8K、VR/AR等新兴应用提供了更强的压缩能力。
视频编码的本质是在码率、画质和复杂度之间寻找最优平衡。随着AI技术的融入(如神经网络视频编码NVC),未来的编码标准可能会引入更多数据驱动的优化方法,开启视频压缩的新篇章。