什么是 Foveated Imaging？
Foveated Imaging（中文：注视点成像，或中央凹成像）是一种增强视觉体验并优化数字显示系统计算资源的技术。其核心是，Foveated Imaging 反映了人眼感知世界的自然方式，即我们注视的中心（人眼中央凹）能够以高分辨率清晰地观察世界。与此同时，周边视觉捕捉到的细节较少。
利用这一原理，Foveated Imaging 可以根据观看者的注视焦点动态调整图像的分辨率。这意味着最高质量的图像集中在观看者直视的区域，而外围区域的计算量则较少。
想象一下，你戴上一副 VR 头显。Foveated Imaging 技术并非以最高分辨率渲染你面前的整个场景（这需要耗费大量的计算能力和能耗），而是确保只有你直接注视的特定区域才能达到最高分辨率。边缘区域会以较低的分辨率渲染，但渲染过程足够无缝，你几乎感觉不到过渡。
Foveated Imaging 技术应用于哪些场景？
Foveated Imaging 技术广泛应用于各个领域和行业，包括：
- VR 和 AR：Foveated Imaging 在 VR 和 AR 应用中至关重要，它允许在用户视野中实时渲染高分辨率内容，同时优化周边视觉的计算资源，从而带来更加身临其境、高效的体验。
- 游戏：Foveated Imaging 技术通过在用户焦点区域动态渲染高分辨率图像，同时以较低质量或分辨率渲染周边内容，从而增强游戏体验。这可以降低 GPU 负载，提高帧率，并带来更逼真、更引人入胜的游戏体验。
- 视频流：Foveated Imaging可用于视频流平台，根据观看者的注视点自适应地分配带宽资源，从而实现感兴趣区域的高分辨率和感知质量，同时节省外围区域的带宽。
- 视频会议和视频通信：Foveated Imaging 通过在参与者脸上呈现最高质量的图像、捕捉复杂的细节以及保持参与感和非语言交流来优化视频会议体验。
- 移动和物联网应用：可以利用 Foveated Imaging 来优化移动设备和物联网应用上的资源使用，通过优先计算和传输相关视觉信息，降低功耗并提高效率。
Foveated Imaging 的优势
Foveated Imaging 具有多项优势，使其在视觉感知和计算效率方面具有积极意义：
- 增强视觉敏锐度：通过为感兴趣的区域分配更高的分辨率和质量，Foveated Imaging可确保用户在焦点区域感知到清晰细致的图像，从而有助于提高视觉敏锐度并获得更逼真的观看体验。
- 降低计算负荷：Foveated Imaging通过选择性地将处理能力应用于真正需要的区域，显著降低了图像和视频处理系统的计算需求。这可以提高效率、降低功耗，并实现更流畅的实时渲染。
- 带宽优化：通过仅在 AOI 内传输高分辨率内容来节省网络带宽，从而实现更快的传输速度、减少延迟并适应较低带宽的连接，同时不影响视觉质量。
- 改善用户体验：通过紧密模拟人类的自然视觉感知，Foveated Imaging有助于在各种应用程序（无论是游戏、虚拟现实、视频会议还是流媒体平台）中实现无缝、身临其境的用户体验。
如何利用和优化 Foveated Imaging？
1. 使用眼动追踪硬件进行精确的凝视检测：为了获得最佳效果，请将高精度眼动追踪硬件集成到您的应用程序中，尤其是对于 VR 和 AR 应用。准确的凝视数据可确保注视点区域与用户的视线完美对齐。
2. 优化注视点级别：将图像划分为多个注视点区域，分辨率逐渐变化，而非突然过渡。这避免了边缘区域出现明显的质量下降，并保持了自然的观看体验。
3. 利用先进的渲染技术将 Foveated Imaging 与光线追踪或DLSS（深度学习超级采样）等技术相结合，以提高渲染效率并获得更高质量的视觉效果，尤其是在游戏和 VR 环境中。
4. 根据任务进行动态调整：根据用户活动调整注视点强度。例如，在游戏场景中，在周边视觉更为重要的快节奏动作场景中，降低注视点强度。
5. 针对低延迟环境进行优化：在视频会议或流媒体等实时应用中，通过使用针对低延迟任务优化的 GPU 并利用边缘计算进行本地化处理，最大限度地减少注视点渲染中的延迟。
原创文章，作者：ZEGO即构科技，如若转载，请注明出处：https://market-blogs.zego.im/reports-baike/2271/
