什么是自适应量化AQ(Adaptive Quantization)?

自适应量化（Adaptive Quantization，简称AQ）是指在视频编码中调整量化参数（如量化步长 Qstep）的方法，根据变换系数的分布来优化编码效率并最小化失真。这种方法通过针对输入信号的特定特征定制量化，可以提升感知质量。

1. 计算机科学中的自适应量化简介

自适应量化是一种技术，其中量化步长会根据输入信号或数据块的特性进行动态调整。通常，每块像素（pels）会计算一次步长，使量化过程能够在给定比特率和编码质量下适应信号的动态范围和局部变化。自适应线性量化（ALQ）和自适应均值量化（AMQ）等方法通过最小化量化的预期方差或归一化预期方差来调整不同量化级别的间隔。这种方法增加了有效量化级别的数量，并增强了编码信号的动态范围。

自适应量化广泛应用于HEVC/H.265和VVC/H.266等视频编解码器，用于补偿360度视频内容中投影造成的采样失真。该技术同样应用于电路设计领域，通过对负载值进行自适应量化，可在合理计算时间内获得接近最优解的结果。总体而言，自适应量化通过针对输入数据特性定制量化过程，显著提升编码与压缩性能。

2. 量化的基础知识及其在计算机科学中的作用

量化是一种通过将连续值映射到离散级别的过程，从而生成输入数据的有损表示，这对数字系统在数据表示、存储和传输中至关重要。均匀量化将输入范围划分为大小相等的输出级别，形成非线性的阶梯式输入输出特性。当量化误差均匀分布时，通常选择输出级别的中心点作为重建值，以最小化均方误差（MSE）。非均匀量化专为自然图像源等非均匀输入分布设计，采用非均匀步长以实现该分布下的最小MSE。随着量化步数增加，非均匀量化器相较于均匀量化器能展现更优的 MSE 性能。

非均匀量化是由神经网络的梯度分布不均匀这一观察结果驱动的。均匀量化通常将大多数梯度元素映射到相同的量化级别，导致较大的量化方差。非均匀量化，包括码本映射技术，通过使用针对梯度分布的不均匀量化级别来解决这一问题。例如，自然压缩（NC）将值舍入到最接近的 2 的整数次幂，而非均匀量化随机梯度下降（NUQSGD）则通过细化量化间隔以减少误差和控制方差，特别是对于小梯度场景。NC 兼容二进制浮点类型，除随机化过程外不产生额外计算开销。

标量量化控制单个变量的值，而矢量量化（VQ）作用于多个变量，随着变量数量的增加，其复杂性也随之增加。这两种类型都与图像和视频编码相关，其中量化器必须与输入特性相匹配以满足速率-失真性能要求。非均匀量化随着量化步数的增加，其均方误差（MSE）性能会越来越好。

3. 自适应量化的原理与技术

在视频编码的感知自适应量化中，量化步长（Qstep）由量化参数（QP）决定。感知自适应量化是通过为每个离散余弦变换（DCT）系数选择合适的 QP 或 Qstep 值来实现的。变换系数分布通过拉普拉斯概率密度函数进行拟合，分布参数估计为标准差的一半，均值为零。归一化量化偏移δ在帧内预测中设置为 1/3，在帧间预测中设置为 1/6，控制具有死区(dead-zone)的均匀标量量化（USQ＋DZ）中死区的大小。

机器学习模型中的自适应量化包括 ALQ、AMQ 和加性二进制幂量化（APoT）等方法。ALQ 和 AMQ 通过最小化量化的期望方差或归一化期望方差来调整量化区间，其中 ALQ 针对给定的梯度分布估计最小化过剩方差，而 AMQ 使用指数量化级别。APoT 基于基本二次幂量化级别的总和构建量化级别，利用位运算提高计算效率。基于聚类的量化方法，如具有超级聚类的多簇标量量化（MUCSC），将元素划分为簇并使用簇心值作为量化值，从而实现对原始元素的无偏估计。B-MUCSC 通过为最接近零的元素定义一个超级簇来进一步提高压缩效果。

自适应矢量量化通过更新码本以追踪输入向量的短期统计变化。自适应机制可采用后向方式（利用先前量化向量）或前向方式（利用当前或缓冲的未来向量），其中前向自适应需传输辅助信息以供解码器追踪。渐进式码向量更新机制在量化失真超过阈值时向码本添加输入向量，并移除使用频率最低的码向量以维持码本大小。另一种方案是设计新码本并低频传输，同时从通用码本中选取码向量以限制侧信息比特率。为降低侧信息需求，可针对每帧图像更新补充码本。

深度学习在自适应量化中的集成包含多种策略，其中卷积神经网络（CNN）模型可预测伪影可见性，并针对每个编码树单元（CTU）调整局部 QP 值，从而实现比传统方案更优的编码增益。例如，一个具有三层的高速 CNN 模型估计可见性阈值，并相应地调整局部 QP 值，根据结构相似性图像度量（SSIM）测量，相比 HEVC 提供 11% 的编码增益。

计算方面的考虑包括裁剪范围和量化分辨率之间的拮抗关系。较大的范围可以保留更多权重，但可能会降低后续量化的分辨率。不适当的裁剪可能导致网络收敛速度变慢，甚至无法收敛。APoT 中的位运算在计算上是高效的，在现代中央处理单元（CPU）中仅需一个时钟周期，从而降低了压缩开销。

4. 自适应量化在计算机科学中的应用

在视频编码中，感知自适应量化是通过为每个离散余弦变换系数确定合适的量化参数或量化步长来实现的。统计实验表明，变换系数大致遵循拉普拉斯分布，因此可使用拉普拉斯概率密度函数拟合变换系数分布。自适应量化方案被实现并作为 HEVC 编码器和解码器的扩展进行测试，保持标准合规性，并补偿 360 度视频中的投影失真，从而在不影响用户体验质量的情况下提高压缩效率。采用等矩形投影（ERP）纬度自适应量化技术，在保持相同压缩效率且无需修改解码器的情况下，提高了 HEVC 编码器的速度。

在机器学习中，自适应量化方法如 ALQ 和 AMQ 通过最小化量化期望方差或归一化量化期望方差来调整不同量化级别的区间，这有助于在保持精度的同时减小模型尺寸和计算负载。APoT 基于基本二次幂量化级别的总和构建量化级别，并在量化前对参数进行权重归一化，使其在映射时更加稳定和一致。MUCSC 使用聚类方法来确定量化后的离散值，将原始元素划分成多个簇，并将每个簇的质心值视为量化值。

在通信领域，多比特自适应量化方案用于从噪声信道测量值生成密钥，根据测量值将实值信道测量转换为比特，同时保持密钥元素间的零协方差。自适应量化间隔允许智能家居设备根据不同场景中的接收信号强度测量选择合适的量化参考电平。

在数据存储和检索方面，自适应量化显著增加了有效量化级数，从而在给定的比特率和编码质量下，能够适应更大的信号动态范围，步长通常对每个像素块计算一次。自适应量化可以增强游程编码和熵编码，从而进一步提高编码效率。

5. 自适应量化中的挑战与研究方向

在平衡计算开销与自适应量化优势之间仍然存在挑战。通用非均匀量化方法由于硬件兼容性问题，通常比均匀量化带来更高的压缩开销。APoT 等计算高效方法仅使用位运算移位操作，这在现代 CPU 中只需一个时钟周期。在训练过程中自动选择合适的量化阈值和裁剪范围尚未解决，因为不合适的裁剪范围可能导致收敛变慢或无法收敛。ALQ 和 AMQ 等方法试图通过区间确定来最小化量化的预期方差或归一化预期方差。管理量化分辨率与动态范围之间的权衡是相互矛盾的，因为更大的裁剪范围保留了更多权重，但可能会降低后续量化的分辨率。

量化参数可以通过自适应算法根据不同的精度需求自动调整，在保持精度的同时最大化模型性能。硬件加速和兼容性问题可以通过硬件感知自动量化（HAQ）等方法解决，该方法使用强化学习来确定针对不同神经网络和硬件架构的量化策略，根据边缘和云加速器的内存和计算约束分配激活位。自适应量化也受到跟踪输入序列短期统计变化需求的驱动，通过基于当前或相邻输入向量进行自适应，以利用向量间冗余。

6. 结论

自适应量化显著增加了有效量化级数，从而在给定比特率和编码质量下提升了信号的动态范围，其步长通常按每个像素块计算一次。

在视频编码中，自适应量化通过为每个离散余弦变换系数确定合适的量化参数或步长，实现了感知自适应量化。统计实验表明，变换系数近似服从拉普拉斯分布。区域自适应量化方案作为 HEVC 编解码器的扩展功能得以实现与测试，既保持标准兼容性，又可适配其他编码标准。

深度学习技术被用于增强传统量化方案，自适应量化策略通过卷积神经网络模型预测伪影可见性并调整局部量化参数值，据结构相似性图像指标测得，相较于 HEVC 可提升 11% 的编码增益。自适应量化方法如 ALQ 和 AMQ 在神经网络量化的上下文中调整不同量化级别的区间，该区间由最小化量化预期方差或归一化预期方差决定。 在 360 度视频编码中，自适应量化可补偿投影造成的采样失真。

参考文献：
1、Handbook of Visual Communications , 1995 pp 1-11
2、https://www.sciencedirect.com/science/article/pii/B9780080918549500063
3、Communication compression techniques in distributed deep learning: A survey
4、Intelligent Image and Video Compression , 2021 pp 485-513
5、Logic Synthesis in a Nutshell
6、A survey on just noticeable distortion estimation and its applications in video coding
7、Vector Quantization Techniques in Image Compression
8、A survey on 360-degree video: Coding, quality of experience and streaming
9、Secure key design approaches using entropy harvesting in wireless sensor network: A survey
10、A survey on security issues in IoT operating systems
11、Large models for intelligent transportation systems and autonomous vehicles: A survey
Advanced Methods and Deep Learning in Computer Vision , 2022 pp 159-190