技术干货
-
即构 ZIM 在超大房间架构模型设计上的思考与实践
大型群聊聚集了同一项目爱好者,将单纯的群聊功能转变为线上俱乐部性质的大型发烧友群聊,如APP场景中大规模用户的即时消息推送,是区别于普通 IM 房间的,类似这种超大规模 IM 通讯…
-
什么是图像位深【音视频基础知识】
计算机在处理图像时,需要按一定规则将像素数据从内存中读取出来。这里的“规则”,首先基于色彩的采样 & 存储格式,其规定了色彩分量的“存储顺序”以及“分平面存储逻辑”。但仅知…
-
大规模连麦的技术难点及如何突破(万人实时互动能力养成)
早在五年前,ZEGO就推出了支持32人实时互动的视频通话连麦技术,比苹果的FaceTime早一年实现该能力。 但时至今日,在大多数用户的感知中,支持同时上麦互动的人数也并未显著提升…
-
图像宽高(Width、Height)与跨距(Stride)【音视频基础知识】
“图像的基本组成单元为像素,对视频图像的存储,实际上是对像素的存储”。基于图像位深,我们可以确定存储一个像素所需的字节数,下面,可以开始“指导”计算机如何定量读取图像数据了。 像素…
-
如何设置同时推多路流
推多路流即 SDK 提供了同时推多路流的能力。 目前 SDK 支持最大推流通道数量为 4 路流,2.14.0 之前版本默认最大推流通道数量为 2 路,如需支持更多推流通道,请联系 …
-
RGB 的采样和存储【音视频基础知识】
在前文《RTC 应用中最常使用的色彩空间之 RGB 和 YUV》中,我们已经知道,图像由像素组成,而像素通过记录色彩空间各分量呈现各种各样的色彩。对于 RGB 色彩空间,其三个分量…
-
YUV的采样和存储【音视频基础知识】
1 YUV 的采样格式 大家已经知道,区别于 RGB 色彩空间,YUV 色彩空间的三个分量并非都参与颜色的表示,即便仅存在亮度分量 Y,也能呈现黑白灰的图像轮廓。而人眼对…
-
噪声抑制ANS原理解析【音频基础知识】
我们今天讨论的噪声,无论是稳态还是非稳态,都是相对于“有用的声音”(人声)的加性噪声。加性噪声和人声不相关,人声的存在与否不影响加性噪声的存在性,它们的混合信号可以通过相加得到。 …
-
基于即构 SDK 实现虚拟直播间的搭建流程
虚拟直播场景为元宇宙社交娱乐模式下的全新直播方式,由虚拟形象替代真人出镜,可以给用户打造不一样的直播体验,还可以加入表情随动、手势识别触发特效等多种玩法,在场景里支持多位虚拟形象视…
-
WebRTC 降噪模块存在的一些问题及弥补方式
通过上文 噪声抑制ANS原理解析,我们学习了 WebRTC 的一种降噪方案,大致了解了噪声抑制的基本原理。基于对这些原理的了解,我们可以进一步讨论WebRTC 降噪模块存在的一些问…
-
AI 降噪:消灭非稳态噪音的利器
摘要:轻量级神经网络降噪方法,解析 ZegoAIDenoise 的算法实现! 轻量级神经网络降噪——ZegoAIDenoise 当下,用户在进行音频通话时常常置身于各种不同的场景中…
-
RTC 应用中最常使用的色彩空间之 RGB 和 YUV
本文分享在 RTC 应用中最常使用的两种色彩空间:RGB 和 YUV 。 1 RGB 首先,我们来认识一下 RGB 色彩空间。 我们前面已初步了解,RGB 色彩模型基于光的三…
-
多路混流实操流程
功能简介 混流是把多路音视频流从云端混合成单流的技术。 1混流优点 2混流常见使用场景 3混流使用说明 SDK 既支持音视频混流,也支…
-
如何选择音频编解码格式【音视频编码基础知识】
在上文中我们除了提及的 AAC ,常见的音频编解码格式还有:OPUS、SILK、SPEEX、MP3、iLBC、AMR、Vorbis、G.7 系列等等,而在 RTC 应用中常用的有 …
-
音频编码压缩的可行性【音视频编码基础知识】
我们已经知道,音频编码过程是压缩、减少数据量的过程,但“减少”并不代表可以随意丢弃,而要在减少“数据量”时,同时尽可能避免“信息量”的丢失,也即保真。如果被压缩的音频数据,其所有信…
-
音频编码压缩的必要性【音视频编码基础知识】
我们都知道,要想把音视频数据实时分享到世界的各个角落,有一个传输工具必不可少:网络。而要用好这个传输工具,有一个必须关注的点:网络带宽。 作为资深网民,大家肯定都了解过带宽。它指的…
-
CDN 直播如何实现?
ZEGO Express SDK 支持推流到 CDN(Content Delivery Network,内容分发网络),包括转推 CDN 和直推 CDN 两种功能。开发者基于该功能…
-
人像分割技术原理解析与应用场景
抠图简介 抠图主要解决的是图像中前景和背景区域的准确预测问题,对于图像编辑和影视制作有着极其重要的实际意义。所以准确有效的抠图算法可以极大的改善内容生产的工作流程,从而节省大量的人…
-
低照度图像增强技术解析
在低光照的夜间,摄像头采集的画面通常是一片昏暗,画面清晰度要远远低于肉眼。而随着实时音视频应用技术的发展,我们已经看到了各种画质增强的视频增强技术,那么是否存在一种技术,可以使视频…
-
AGC进行音量增益“自动控制”的策略是什么?音频自动增益控制AGC(三)
在了解 AGC “自动控制”的策略之前,我们先对其处理的音量对象做进一步明确。 显然,并不是所有信号都要进行音量增益控制的,和 ANS/AEC 只抑制噪声/远端回声、要保留近端语音…