MV-HEVC：多视图高效视频编码详解

视频技术的世界在不断发展，近年来最有趣的发展之一就是 MV-HEVC（多视图高效视频编码）的发展。尽管 MV-HEVC 在 2014 年被添加到 HEVC 规范中，但在近十年的时间里，MV-HEVC 并没有得到广泛的商业应用。

当苹果公司推出 Apple Vision Pro 时，这种情况发生了改变，苹果公司宣布，与 Meta Quest 和其他头显不同，他们的新设备将利用 MV-HEVC 实现身临其境的视频体验。在这篇文章中，我们将探讨什么是 MV-HEVC、其工作原理以及在增强流媒体体验方面的潜力以及如何开始使用。

什么是 MV-HEVC？

MV-HEVC 是 Multiview High Efficiency Video Coding 的缩写，一般译为“多视图高效视频编码”或“多视角高效视频编码”。它是 HEVC 在 2014 年第二版标准中的扩展。它旨在支持从多个视点捕获的多视图视频内容的高效编码，通常用于创建立体（3D）效果或虚拟现实（VR）和增强现实（AR）的空间视频体验。

对多个视点的编码和带宽要求加倍可能会造成缓冲和回放问题，但 MV-HEVC 可以实现立体内容的高效压缩和存储，在不影响视频质量的情况下减少流媒体所需的带宽或存储所需的文件大小。

简而言之，MV-HEVC 可以对同一场景的多个视图进行编码，既能保持视频质量，又能使比特率保持在可控范围内。因此，它非常适合需要大量实时数据处理的 3D、AR 和 VR 应用。

MV-HEVC 的工作原理

在了解 MV-HEVC 的工作原理之前，让我们快速回顾一下视频编码的基本原理。时间压缩是所有主要视频编解码器都采用的一种缩小文件大小的技术。除非场景发生变化，否则视频的各个帧之间通常没有太大差异。时间压缩利用了这一事实，并在可能的情况下重复使用数据，从而节省了一些编码比特并缩小了文件大小。

具体做法是对不同类型的帧进行编码，以减少重构播放所需的数据。I 帧是完全编码的帧，用作锚点，而P 帧（预测帧）可以重用其之前的帧的数据。B帧（双向预测帧）可以重用其之前和之后的帧的数据。

之所以提到这些，是因为 MV-HEVC 的一个关键优势是它还能利用多个摄像机角度或视角的共性。在创建左右眼不同视角的沉浸式和 3D 视频时，相似的视角通常意味着有很大的压缩潜力，可以创建更小、更易于管理的流媒体和存储文件。

MV-HEVC 的应用

立体视频（3D视频）

MV-HEVC 在 3D 视频或立体内容领域特别有用，在这些领域中，两个略有不同的视图（每只眼睛一个视图）产生了立体效果。通过在单个流中对左眼和右眼视图进行高效编码，MV-HEVC 比其他方法减少了文件大小和比特率。这对于 3D 电影或沉浸式 VR 体验等流媒体应用来说至关重要，因为在这些应用中，质量和效率是关键。当然其他编解码器也可用于 3D 立体视频，但 MV-HEVC 的效率更高。

空间视频

MV-HEVC 的另一个应用是空间视频，通常用于虚拟现实 (VR) 或增强现实 (AR) 内容。Apple Vision Pro 围绕捕捉和呈现空间视频的理念构建，让用户沉浸在场景的三维表示中，结合视频和深度信息。MV-HEVC 支持对于这些类型的体验至关重要，可将原始文件的大量比特率降低到可管理的水平，以实现流媒体和实时沉浸式体验。 

多视图视频

MV-HEVC 对于多视图视频也很重要，多视图视频是从不同角度捕捉同一场景的多个视角。这可用于体育广播，将不同的摄像机角度编码到单个视频流中，或用于允许用户交互式选择观看角度的应用。根据具体的使用情况，这可能需要多个解码器或额外的处理能力，但并非所有平台都能提供。

采用 MV-HEVC 的杜比视界

MV-HEVC 现在还兼容杜比视界（Dolby Vision），这是一种流行的高动态范围（HDR）视频格式，有助于确保内容看起来尽可能逼真和真实。如今，大多数顶级优质流媒体内容都采用杜比视界格式，因此，投资 MV-HEVC 生产流水线的公司都希望利用杜比视界的优势。Dolby Vision Profile 20 将 Dolby Vision 的潜在质量增强功能扩展到 MV-HEVC 和沉浸式内容。

Apple Vision Pro 及其他

Apple Vision Pro 正在推动沉浸式媒体的发展，虽然他们并没有创造出 VR 头显领域，但苹果肯定会在这一领域打上自己的烙印。多年来，从决定不支持 Flash 视频到决定（最终）支持 AV1，苹果对媒体技术行业的影响不胜枚举。

在 Vision Pro 的周围，MV-HEVC 很可能会产生光环效应。Blackmagic URSA Cine Immersive 摄像机就是一个早期的例子。预计在 2025 年，我们将看到更多的公司涉足 MV-HEVC 支持领域，从拍摄到后期制作再到发行。

结论

在很大程度上要归功于苹果公司，MV-HEVC 将成为未来身临其境和多视角内容的关键技术。MV-HEVC 能够有效地对同一场景的多个视图进行编码，减少所需数据，并保持较高的视频质量，这使它成为从立体 3D 电影到 Apple Vision Pro 等设备上的虚拟现实体验的重要工具。

在其他平台上，苹果公司似乎已经发出了转向使用AV1 编解码器的信号，但 AV1 目前还不支持多视图。这种情况在苹果产品和更广泛的视频生态系统中如何演变，我们拭目以待。唯一可以肯定的是，除非苹果公司放弃 Vision Pro，否则在可预见的未来，MV-HEVC 仍将是其中的一部分。