真·实时!打破技术瓶颈,即构首创在线KTV实时合唱方案

想K歌,上云端!疫情常态化推动了线上娱乐的蓬勃发展,线下KTV长时间的“闭麦”让线上云K歌更加火热。

从本地录唱到多人KTV,再到实时合唱,线上KTV的实时性与互动性越来越强。线上K歌娱乐不断迭代升级,背后折射的是用户“以歌会友”的需求,对真实的、实时的“陪伴感”的追求。

即构ZEGO 全网首创在线KTV实时合唱方案,打破行业技术限制,把线下KTV场景更完整的“复制”到线上,让实时陪伴的感知最大化。

『真实时』,即构创新“实时合唱”解决方案

目前行业内普遍采用的合唱方案为“串行合唱”。在“串行合唱”方案中,合唱各方串行加入,伴奏由主唱端混入。从本质上来说,这是一种“伪实时合唱”——
·主唱体验缺失:副唱、听众合唱同步效果良好,但主唱无法实时听到副唱的歌声
·合唱人数有限制:三人或以上的合唱实现复杂,延迟高,难以真正落地

------

▲串行合唱方案(点击查看大图)

为了突破这两个限制,同时不影响副唱和听众端的体验,即构对方案架构进行了重构,克服了多个技术挑战,实现了合唱者之间的实时互动,也满足了三人及以上的合唱需求。

---KTV-----

▲即构实时合唱方案(点击查看大图)

『超硬核』,即构实时合唱克服技术挑战

即构凭借在音视频领域多年的技术积累,克服了多个挑战,完成了实时合唱方案的落地。

  • 端到端的感官延迟低至70ms

本质上,实时合唱效果可以通过极低延迟的RTC技术实现,我们需要将一端的歌声用最小的耗时传送到对端。

--1

我们将整个过程进行拆解,针对每个环节做以降低延迟为首要目标的优化,包括采集渲染延迟优化、音频前后处理算法优化、应用超低延迟编码方案、调整流控策略等。

通过对每个环节的“压榨”,即构在保障的合唱体验效果的前提下,将端到端的感官延迟降低至70ms。

  • 多端精准同步播放伴奏

为了实现线下KTV歌房的合唱效果,让伴奏音乐在各自端播放,各方演唱者由伴奏音乐驱动演唱,不必等待对方。这里引入另一个挑战:如何让各方同步播放伴奏音乐?

--2

为此,我们做了各端精准的时钟对齐,让各端在同一时刻启动伴奏播放。同时,结合播放器资源预加载,实现各端伴奏同时播放特性。

  • 服务端多演唱流同步混流

在满足演唱各方实时合唱的同时,我们还需要考虑观众端的体验。即构采用了服务端精准混流的方案,各方演唱者的声音和伴奏混音成一路流,混音的同时通过NTP时间精准对齐各方演唱进度。

听众端只需拉一路流就能听到良好的合唱效果,且这一方案对听众的网络要求很低。

  • 3人以上合唱拓展

基于以上即构“实时合唱”方案的架构,每一端的合唱的加入是独立的,不相互依赖,合唱人数的拓展变得十分简单,对合唱的人数没有限制。同时,观众通过混流收听不会受到多方合唱的影响。

『更适配』,基于场景需求选择合唱方案

基于不同K歌业务的场景需求,选择更适配的合唱方案,才能为用户带来最佳的体验。

1. 付费点歌合唱

专业主播在直播间开播,观众通过付费等方式获得与主播连麦合唱的机会。

-------2
  • 核心需求:优先保障付费连麦用户(即副唱)的体验,其次保障直播间中观众的体验。
  • 方案适配:串行合唱方案
    在此方案下副唱的拉流中主唱歌声与伴奏同步,副唱合唱后发起混流,观众端听到主副唱歌声与伴奏同步,副唱和观众的体验得到较好的保障。

2. 在线KTV实时合唱

多个用户在“歌房”中连麦互动,体验虚拟KTV的乐趣,社交属性更强。

-------1
  • 核心需求:实现连麦几方多人实时合唱。
  • 方案适配:实时合唱方案
    即构超低感官延迟连麦技术,保障了合唱者之间无障碍实时互动;接入成本低,扩展容易,支持3人及以上的合唱,复刻更贴近线下KTV的互动体验。

3. OMO歌房连麦

线下传统KTV歌房与mini-KTV欢唱室打通,线上线下融合(Online Merge Offline),实现线下不同场景连麦合唱。

OMO-----
  • 核心需求:连麦双方实时互动合唱。
  • 方案适配:实时合唱方案
    即构超低感官延迟连麦技术,打破空间壁垒,让陪伴和互动更加真实。

——————————————————————————

“即构最愿意做的事就是对变化迅速反应,对新场景主动开拓,不断创新解决方案,驱动核心技术落地,适应各类场景需要,真正让音视频技术深入各行各业,融于无形。”即构科技CEO林友尧表示。

基于对在线K歌的发展趋势和用户需求的洞察,即构发挥核心的音视频技术能力,创新场景解决方案,进一步打破空间壁垒,把线下的欢乐无缝的、完整的复制到线上,给用户带来更实时的陪伴和互动体验。

如果您想要了解更多关于即构的在线KTV”实时合唱”方案,欢迎联系我们。

原创文章,作者:ZEGO即构科技,如若转载,请注明出处:https://market-blogs.zego.im/reports-product/16/

(0)
上一篇 11月 24, 2020 11:05 上午
下一篇 4月 15, 2021 6:27 上午

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注