近些年随着线上通讯需求的增加，关于线上社交、网课学习、在线娱乐等繁多应用场景，对于通讯质量的要求不断提高，除了音质、画质、稳定等基本的技术硬实力外，越来越多个性化、精细化的需求加入到实时互动浪潮中来，例如，对互动用户的背景进行处理。
- 当参会者背景杂乱时，参会者希望会议软件可以将背景进行虚化或者更换背景，让背景显得更整洁；
- 当需要保护主播隐私、渲染更贴合直播间的氛围时，主播希望直播软件可以将背景替换成符合直播主题的背景，例如：电竞主题、交友主题等；
- 当在带货直播时，商家希望可以更聚焦的展示商品信息、将直播背景替换为商品信息图片或者视频。
由此可见，线上通讯浪潮带来需求的增加，提供个性化的背景处理能力是企业亟需补足的地方。
主体分割技术让背景处理效果更丝滑
何为主体分割技术？
主体分割是 ZEGO Express SDK 提供的增值能力，通过 AI 算法识别视频画面中的内容，对每一个像素点设置透明度信息。其中，主体部分的像素点会被设置为“不透明”，主体部分之外的像素点会被设置为“透明”。形成视觉上的从原视频中分离出主体的效果。
ZEGO 提供“绿幕背景分割”和“任意背景分割”两种分割能力，通过不同的方式对分割后的像素点透明度信息进行处理，可以实现不同的功能。
任意背景分割
任意分割是指将主体从实际场景中分割出来。这种实现方式对于主体所处的环境没有过多要求，客户可以随时随地使用。ZEGO 共选取了机场、客厅、办公室、卧室、火车站、剧院等 40 种场景，数万张室内室外图像作为训练数据，使用户在各种复杂场景下都能获得较好的分割效果。
绿幕分割
绿幕分割是指将主体从架设了绿幕的背景中分割出来。相较于任意背景分割，用户需要先架设绿幕，从而获得更好的边缘表现。
并且由于绿幕的存在，使得分割的对象不再局限于人体，商品、乐器等都可以被成功分割出来。
多类型效果选择，一键开启背景更换
基于主体分割能力，ZEGO 利用算法将画面主体和背景进行了分离操作，以此来帮助用户实现不同的背景处理方式，ZEGO 将不同的背景处理效果进行了分类：背景虚化、虚拟背景、透明背景。
- 背景虚化：将画面中主体外的真实的背景做虚化处理；
- 虚拟背景：将画面中主体外的区域替换为自定义图片或者色彩；
- 透明背景：将画面的背景处理为透明，再将画面与本地的其他视频内容上混合为 1 路视频流。例如在屏幕共享或正在播放的视频等内容上，实现演讲模式、直播带货等功能。
背景虚化功能可以很好的保护用户隐私，也可以让参会者在会议场景中更聚焦于参会者本身。虚拟背景的可玩性相较于背景虚化更强一些，基本上虚拟背景覆盖了背景虚化能做的所有场景，场景应用范围也会相对更为广泛。
Alpha 数据传输让更沉浸互动成为可能
当画面经过主体分割模块处理得到 Alpha（透明度） 信息后，除了上文中提到的可以进行虚拟背景、背景虚化、透明背景的效果呈现，ZEGO 还结合了 Alpha 数据传输与 Alpha 数据渲染功能，将画面的 Alpha 信息传输到拉流端。
将 Alpha 数据传输与主体分割技术结合使用，可以扩展到更多的多人互动场景以及其他更为灵活的场景应用，比较常见的有以下两种应用：
应用一：多人实时同场景互动
当多人不在同一个真实场景中时，通过主体分割 + 通道传输技术，可以让多人实时出现在同一场景中进行互动。
针对多人实时同场景互动，ZEGO 提供两种方案供企业选择：
- 第一种方案是在拉流端做 Alpha 渲染。观众将各个画面的主体渲染在自己本地的视图上，可以应用在视频通话、视频会议等对实时性要求比较高的场景。
- 第二种方案是在服务端做 Alpha 渲染。使用混流服务将各个主播的画面渲染到同一个背景图上，再输出到 CDN ，这样观众实际拉取到的画面没有 Alpha 通道，观众的拉流 SDK 也不需要任何改动。
应用二：更灵活的演讲模式
当演讲主体的画面遮盖住课件、演示内容时，通过主体分割+ Alpha 通道传输技术，可以让其他参会者随意拖动演讲主体的视频画面，实现演示内容无遮挡。
多样背景玩法，满足场景需求
不论是虚拟背景还是背景虚化，用户对于背景替换的需求，预示着实时互动厂商需在精细化需求上追求精益求精。
主体分割与 Alpha 通道传输的技术结合，将主体从画面中分离出来，再与虚拟场景进行融合后，打破传统视频互动各个用户之间矩形框的分隔，提升实时互动的趣味性。
原创文章，作者：ZEGO即构科技，如若转载，请注明出处：https://market-blogs.zego.im/reports-product/808/
