# 3月 ZEGO ExpressSDK 功能上新速览 #
Native 新增功能
- SDK 内置媒体播放器支持播放带透明度的视频;
- 支持外放场景下的人声增强效果;
- 游戏语音支持自定义设置发声模式和收听模式;
- iOS 拉流端支持画中画能力;
- 单流自动转码功能支持 CDN /L3 拉流;
- 同个混流任务支持输出多个分辨率的视频流;
- 混流任务支持输入超级白板信息;
- 场景化音视频配置新增 【StandardVoiceCall】 标准语音通话场景;
Web 新增功能
- 新增背景虚化与虚拟背景功能;
- 新增实时变声功能;
Native 新增功能
内置媒体播放器支持播放带透明度视频
功能描述:媒体播放器支持渲染 Alpha 通道,开发者提供 RGB 通道与 Alpha 通道以双倍宽或者高的形式拼接后的 MP4 视频,实现播放透明礼物的动态效果。
应用场景:在语聊房和直播等场景中,客户不需要集成第三方播放器实现播放透明动态礼物的效果,透明礼物播放时不会遮挡直播间内容,大大提升用户体验。
功能优势:
- 开发成本低:开发者不需要学习复杂的动画实现方案,只需要使用设计师处理好的素材,即可实现播放透明礼物特效,提升开发效率和效果。
- 兼容性好:规避 Lottie、Cocos2d-X 等半透明动效实现方式复杂、性能不高以及部分机型的兼容问题较大,后期维护难度较高的问题。
相关接口: loadResourceWithConfig。更多详情可查看:播放透明礼物特效
支持外放场景下的人声增强效果
功能描述:支持开启人声增强音效并设置增强等级,可用于 KTV 外放场景下精细控制人声效果,效果推荐 level 配置为 4。
应用场景:在外放场景中,设备的 mic 与扬声器过近容易导致人声模糊/沉闷。该场景下使用人声增强能有效提升人声清晰度以及改善沉闷感。
相关接口:enableSpeechEnhance
游戏语音可自定义设置发声、收听模式
功能描述:游戏语音(旧范围语音)支持自定义设置发声模式和收听模式,用于实现加入小队后,仍支持屏蔽非范围内的同一小队玩家的场景,实现与范围内的人私密聊天。
功能描述:
- 老模式:世界模式、小队模式、私密小队模式
- 新模式:支持自定义设置发声模式(推流)和收听模式(拉流)
iOS 拉流端支持画中画能力
功能描述:iOS 拉流端支持画中画能力。调用相关接口后,支持切换到后台后也能正常拉流并且在其他应用上显示。
单流自动转码功能支持CDN/L3拉流
功能描述:单流转码,指在云端把每条原始流转换为不同编码格式、不同分辨率的转码。
应用场景:在直播等场景中,观众可以基于接入网络质量、终端设备等自行选择不同分辨率的流进行观看,以保证播放的流畅性。
*注意:若是 CDN 拉取转码流,必须使用转推 CDN,直推 CDN 暂不支持。
同个混流任务支持输出多个分辨率的视频流
功能描述:同个混流任务支持输出多个分辨率,可用于实现混流场景下的转码需求。
应用场景:混流场景下,可调用混流接口,基于同一个混流任务实现“合流+转码”能力,不需要额外触发转码任务。
功能优势:
- 帮助开发者降低混流任务的维护成本;
- 帮助客户节约混流的部分费用。
混流任务支持输入超级白板信息
功能描述:混流任务支持输入白板信息,将白板的操作内容在混流服务端转成实时视频。且支持设置白板配置信息,例如:设置白板 ID、白板宽高比、是否支持加载动态 PPT 等。
应用场景:在线教育等场景,将白板画面+ 摄像头采集的画面(如有)混流后转推到 CDN (比如转推到视频号等)时。
场景化音视频新增标准语音通话场景
功能描述:场景化音视频配置新增 【StandardVoiceCall】 标准语音通话场景,适用于 1v1 纯语音通话场景。
应用场景:1v1 纯语音通话场景。
相关接口:setRoomScenario
Web 新增功能
新增背景虚化与虚拟背景功能
功能描述:使用 AI 将视频中的主体分割出来,对主体外的视频区域做高斯模糊处理,或者将主体渲染到新的背景上,保护用户隐私,提升体验趣味性。
相关接口:
- 背景虚化:setBackgroundBlurOptions(blurdegree) 可以通过此接口设置背景虚化程度
- 虚拟背景:
setVirtualBackgroundOptions 可以通过此接口设置背景源
接口参数中的 source 为背景图片的 HTMLImageElement
objectFit 为虚拟背景的填充方式:’contain’, ‘cover’, ‘fill’
新增实时变声功能
功能描述:用户有隐私保护需求或者想提高语音玩法的趣味性时,可能希望能够实时改变声音。例如,心理咨询类的应用,用户可能不想暴露自己的真实声音,这时候需要用变声把真实的声音隐掉。
Native 重要优化
优化1:优化超分算法,提升机型覆盖率
优化详情:优化超分算法,大幅提升机型覆盖率。
优化2:超分逻辑优化,新增初始化、反初始化接口
优化详情:超分逻辑优化,新增初始化、反初始化接口。
*注意
[enableVideoSuperResolution] 修改了调用时机,需要在 [initVideoSuperResolution] 后才能调用。
相关接口: initVideoSuperResolution, uninitVideoSuperResolution
优化3:iOS 屏幕共享进程间通信性能优化
优化详情:优化 iOS 屏幕共享功能,通过新增的 [ZegoExpressEngine > setAppGroupID] 及 [ZegoReplayKitExt > setupWithDelegate:appGroup] 接口,启动 AppGroup 配置,可以获取更好的性能与稳定性。
优化4:优化 KTV 场景的回声消除(AEC)功能
优化详情:大幅度提高外放场景下的人声音质,使人声更保真;消除回声同时,有效避免偶现的吞字或人声起伏的现象。
Web 重要优化
优化1:新增 WebRTC SDP 协商格式
优化详情:有效提升弱网和首帧表现。
优化2:Web的播放组件添加首帧播放事件
优化详情:Web 的媒体流播放组件 ZegoStreamView 的 on 方法新增事件 canPlayVideo、canPlayAudio, 分别标识播放器接收到视频数据和音频数据。
以上就是 3 月 ZEGO SK 更新迭代的主要内容,更多详细文档以及 SDK 历史更新内容,可以进入“即构官网- 开发者中心”查看!
原创文章,作者:ZEGO即构科技,如若转载,请注明出处:https://market-blogs.zego.im/reports-product/694/