视频直播虚拟背景、背景虚化及背景透明是怎么实现的?

我们在观看直播时，经常会看到一些主播在直播中背景会根据主播讲的内容实时替换为对应的背景。或者在视频会议时不想暴露自己所在的真实背景，而采用虚拟背景或者背景虚化功能。

这类虚拟背景技术，通常是指通过计算机图形学和图像处理技术，将直播者的实际背景替换为预先设定的虚拟图像或视频的技术。在 ZEGO 的音视频能力里面被称为主体分割技术，本文我们就来了解下主体分割的概念、类别、功能场景及实现方式。

什么是主体分割？

主体分割是ZEGO实时音视频SDK提供的增值能力，通过 AI 算法识别视频画面中的内容，对每一个像素点设置透明度信息。其中，主体部分的像素点会被设置为“不透明”，主体部分之外的像素点会被设置为“透明”。开发者可以利用这些像素点的透明度信息，对画面中的主体和非主体部分做不同的处理，从而实现不同的功能。

主体分割应用场景

基于主体分割能力，开发者可以实现虚拟背景、背景虚化、演讲模式、多人实时同台互动等业务场景，打造更多样的互动体验。

虚拟背景

将主体外的画面替换为自定义的图片、视频、颜色。

具体可以应用在场景化直播间，比如在直播过程中，当主播讲到相对应的内容部分时，可以随时切换背景，给粉丝直观地展示对应的内容画面，便于粉丝观看和理解。

背景虚化

将主体外的画面做模糊处理。

比如在网络直播中，虚化背景可以保护主播的隐私，同时也能让直播画面更加专业。或者在制作教学PPT或视频时，对关键信息进行背景虚化，可以帮助学生集中注意力。

背景透明

将主体的画面渲染在本端的其他视频内容上。

例如在屏幕共享或正在播放的视频等内容上，实现演讲模式等功能。

主体分割与传输

结合 SDK 提供的 Alpha 通道数据传输能力，将画面中分割出的主体传输到拉流端，在拉流端做主体渲染，实现多人异地实时同处于一个场景中的视觉效果。

多人用户在不同场景下的时空共享，面向企业需求，提升场景的沉浸感，例如：线上发布会、线上年会;

主体分割类型

对身处不同环境的用户，ZEGO 提供“绿幕背景分割”和“任意背景分割”两种分割能力。

1. 绿幕背景分割

在用户自行架设了绿幕的情况下，可以将非绿幕区域的主体保留。适用于电商直播、在线考试等场景。

2. 任意背景分割

多数用户不具备架设绿幕的条件，可以通过 ZEGO 提供的任意背景分割能力，在没有绿幕的情况下，识别画面中的主体。适用于在线教育、视频会议等场景。

主体分割实现流程

流程图：

请注意，开发者可根据自己的业务场景需要，选择是否实现上图中的 （可选） 步骤。

具体实现方式请参考开发文档：https://doc-zh.zego.im/article/16333

注意：

• 当前ZEGO官网 SDK 不包含“主体分割”相关功能，如有需要，请联系 ZEGO 技术支持特殊编包，并提供您的 AppID，开通相关权限。
• “主体分割”功能为付费功能，如需申请体验或咨询正式收费标准，请联系 ZEGO 商务人员👇