(一播多无人直播手机系统)直播互动软件无人直播

布景介绍

「元宇宙」概念的火速出圈曲播最新互动软件无人曲播，引发曲播互动软件无人曲播了群众对「元宇宙」的无限憧憬。虎牙曲播基于曲播内容生态，也在做着本身的摸索和测验考试。回归到目前的内容生态，曲播互动软件无人曲播我们发现曲播实时性、沉浸式体验、互动社交等特点与「元宇宙」有着异曲同工之处，曲播能够很好地满足人们在沉浸式场景停止实时交互的需求。那么，若何在曲播场景中实现虚拟化的沉浸式体验呢？

虎牙曲播做为国内出名软件的游戏曲播平台，在实时内容创做和曲播互动手艺方面积累了丰硕经历，我们连系曲播“元宇宙“的憧憬，在近期推出了虎牙云蹦迪曲播新弄法，让不雅寡化身虚拟形象，足不出户也能沉浸式体验现实蹦迪的五光十色和动听音乐。

1.少钱1 什么是云蹦迪

云蹦迪是通过衬着引擎和3D模子搭建绘造的虚拟曲播间场景，包罗了粒子效果、舞台颜色变更等多种模仿实在蹦迪场景的特效，并撑持用户通过弹幕发送创建随机角色，参加云蹦迪其实互动，一部手机无人直播。云蹦迪中的角色操做是通过弹幕指令触发，例如发送特定弹幕可实现角色换拆等。云蹦迪曲播间左上角设置了送礼和弹幕次数统计排行榜，排行榜前三的用户能够轮流上DJ台成为云蹦迪DJ，并付与了DJ特殊指令功用，例如切换歌曲和聚焦软件下载场景到某一用户。

云蹦迪是一种无人曲播形式，供给虚拟场景让用户自在玩耍，主播的感化更多是在于控造场景特效和组织曲播间活动，无人曲播的优势在于能够7*24小时不连续开播，只要云蹦迪开启，用户就能够随时进入娱乐。

虎牙云蹦迪测试场景

1.2 云蹦迪的拓展场景

云蹦迪是虚拟社交的此中一种场景互动弄法，其曲播互动软件无人曲播他场景也可参加云蹦迪的思绪，其实虚拟互动。例如云课堂，不雅寡不再是单纯面临材料和导师视频画面，通过构建虚拟的课堂场景，每个用户的虚拟角色错落有致的站在台下，通过弹幕指令控造虚拟形象能够生动地与导师交换，以至能够连系AI人脸识别和肢体驱动获取用户脸色和肢体行为控造角色，活泼课堂气氛和调度用户上课积极性。除了云课题的多人场景，还能够叫上三五良知开启云足球曲播间，似乎置身大球场设身处地旁观足球赛，云足球还能连系赛事实况触发多种虚拟特效，让不雅赛体验感提拔多一条理。

曲播间的互动弄法日益丰硕，全平台无人直播手机，逐渐向泛娱乐的轻游戏化演进，提拔了用户在曲播间的沉浸式体验。因而场景互动一定是大势所趋，要场景互动就需要愈加完美的衬着才能撑持，接下来，我将介绍虎牙曲播云蹦迪项目标手艺实现流程。

虎牙最新云蹦迪背后的手艺实现流程2.1 整体实现流程

云蹦迪实现流程

实现虎牙云蹦迪次要有四个环节，起首将外部领受的多媒体数据手机传递给云蹦迪游戏，多媒体文件可在云蹦迪场景内播放。第二，通过前期的素材造做和特效编纂器的设置装备摆设可导出云蹦迪所需场景资本包，场景和特效的衬着才能则由虎牙自研衬着引擎Tiger供给。接下来，开发者利用TigerLua IDE停止游戏逻辑的编写。TigerLua IDE是Tiger自研引擎的Lua化接口，便利利用Lua挪用Tiger的衬着才能。最初，将云蹦迪的音视频流再推送到线上不雅寡端。以下将会逐渐拆分详解云蹦迪实现过程中的关键步调。

2.2 Tiger自研直播引擎介绍

造做云蹦迪3D互动场景，第一步就是选择衬着引擎。衬着引擎能够简单定义为实现了一系列衬着手艺的框架，以云蹦迪的3D舞台场景为例，由美术在设想软件造做模子文件，计算机加载解析读取顶点数据信息，并添加一台颜色，光照，暗影，材量等内容，最初衬着到屏幕上，那就是衬着引擎的工做过程。

衬着引擎只是将模子绘造出来，但是云蹦迪还有互动逻辑，那里就需要脚本系统，说到那里，有人会觉得衬着引擎和游戏引擎很类似，是的，衬着引擎更像是游戏引擎的子集，一个很重要的子集，在实现的时候城市参考游戏引擎的架构设想和功用特点。若是云蹦迪只是一个零丁运行的法式应用，长短常合适利用Unity或者Unreal游戏引擎，究竟结果游戏商用引擎有成熟不变的工做流和参考示例，但是商用游戏引擎做为第三方一拨SDK嵌入有较大的手艺成本和性能成本。

为了让云蹦迪在挪动端、云办事器等多端流利运行万人同屏，我们决定利用自研衬着引擎Tiger。Tiger持久办事于虎牙曲播跨平台多端的美颜特效和互动弄法，而且拥有完美的消费链路和消费东西，至今已撑持数百种美颜特效和几十种曲播互动弄法，关于虎牙曲播的营业耦合性极好。以下，我们将会详细介绍Tiger引擎的架构和才能。

虎牙平台云蹦迪利用的衬着引擎是虎牙自研跨平台衬着引擎Tiger，自研引擎的优势在于深度定造连系营业场景，轻量化，功用快速迭代和优良性能。Tiger已经落地到虎牙的各个产物中，好比虎牙曲播，虎牙助手，海外曲播平台Nimo等，而笼盖的应用场景包罗，曲播特效，视频编纂，互动弄法等。以下是Tiger引擎功用架构。

Tiger架构

2.3 特效编纂器

因为衬着引擎和设想软件的光照、材量等存在差别，美术用户在造做场景素材和特效资本的时候需要一种所见即所得的编纂+预览效果，来包管上线效果契合设想预期。为此，我们研发虎牙特效编纂器MagicEditor，其内置多种美颜特效模板，例如AR贴纸，美妆美颜，3D礼品特效等等，撑持多种光照类型和材量，例如平行光，点光源，玻璃材量，毛绒材量等等，美术用户只需翻开对应的特效模板，拖入新造做的序列帧或者模子素材，通过简单的参数设置装备摆设即可产出新款特效，因为MagicEditor利用Tiger引擎衬着效果，美术在预览设置装备摆设素材场景的时候，就能包管与上线效果一致，极大促进特效资本更新产出，也削减额外的美术返工和沟通成本，虎牙曲播线上数量浩瀚且格式各别的特效就是由此工做链消费。

下图便是虎牙曲播特效从消费到上线的完好工做流程，(一播多无人直播手机系统)直播互动软件无人直播。

MagicEditor特效消费流程

2.3.1 场景无人搭建

MagicEditor其实不只造做特效，还能停止3D场景编纂，虎牙云蹦迪的舞台场景就是用此搭建的。在MagicEditor中能够用鼠标拖拽来控造模子的平移、扭转和放缩，便利美术用户的场景规划，而且还能够所见一拨即所得调整相机的视角和坐标信息，在3D场景衬着中，相机是控造衬着的可见区域，最末3D场景的察看视角和整体效果即是由相机察看所得。

在MagicEditor中app除了内置材量还有自定义材量，自定义材量撑持读取无人OpenGLes3.0 语法的shader，用户能够通过编写shader来实现奇特效果，shader效果能够实时修改和预览，云蹦迪舞台的颜色变更和闪灼即是利用MagicEditor的自定义材量实现。

MagicEditor场景编纂

在云蹦迪DJ台上扭捏的射灯是由模子动画造做的，Tiger引擎撑持MagicEditor的动画组件系统和动画关键互动帧编纂。美术用户将动画模子拖入编纂器可生成对应的AnimationClip资本，在对应模子节点新建Animator组件，通过动画组件选择动画资本，即可立即预览动画在3D场景模子的效果，便利美术用户调整动画效果。

MagicEditor动画组件

2.3.2 粒子特效造做平台

（1）粒子系统云蹦迪场景中闪灼的射灯光柱、灿艳最新多彩的空中光斑、五彩缤纷的烟花效果，一播多无人直播软件下载，做为气氛担任衬托了蹦迪场景嗨翻天的气氛，那些都是由互动粒子系统实现的。粒子特效在曲播特效、PK互动、游戏场景中起到锦上添花的感化。

自研的粒子系统是Tiger衬着引擎中十分重要的部门，其框架由控造办理器、衬着器、东西类模块等构成。内部实现了一系列如内存办理收受接管机造、衬着缓冲机造、独立衬着等手艺。粒子系统内部通过InstanceChunk、InstanceContainer、InstanceGroup、Instance来同一分配和收受接管每个实例的内存，利用内存池的体例，通过各个容器、组之间共同削减内存碎片化，使得分配内存愈加快速。粒子系统内部接纳多线程机造，利用双DrawCell缓冲手艺，由两个前后DrawCell Buffer不竭瓜代更新，使得衬着方面有了很大的性能提拔。

粒子系统做为模仿模糊现象的手艺，其功用模块需要负责实现粒子的初始阶段、模仿更新阶段、衬着阶段的处置工做，下面是Tiger粒子系统的功用模块架构图。

Tiger粒子系统的功用一拨模块图

（2）粒子效果编纂器所谓工欲善其事，必先利其器。功用模块涉及一播到粒子特效的造做，将粒子系统的功用模块嵌入到3D粒子效果编纂器傍边直播，面向所有的美术设想师，让更多的设想人员参与此中造做本身的粒子特效。

考虑到软件的易用性和界面的友好互动性，我们参考市道上成熟的商用引擎如UE4、U3D、Godot等，最末选择了U3D中的粒子系统功用模块做为我们的参考，将功用模块API、编纂器UI与Unity对齐，如许能够削减美术设想人员的进修成本和对接成本。下图是Tiger粒子编纂器复刻Unity3D火焰粒子效果的比照图，左为Tiger粒子特效，右为U3D粒子特效。

火焰粒子效果的比照图

（3）粒子特效造做流程为了方面与Unity引擎粒子互通，我们将后续开放U3D粒子导出脚本供美术造做人员停止利用，将主动实现将Unity粒子特效导入到Tiger衬着引擎中。

粒子特效下载造做流程图

2.4 Tiger引擎LuaIDE

云蹦迪场景搭建完后，就需要考虑若何编写互动逻辑，云蹦迪的互动逻辑便是用户和主播在云蹦迪中的互动弄法和关于衬着资本的调度利用，在Unity中游戏逻辑是通过C#的脚本系统实现的，Tiger引擎同样有一个”麻雀虽小五脏俱全“的脚本系统——TigerLua。

TigerLua现实上是Tiger衬着引擎接口的Lua化，便利开发者通过Lua脚本编写营业逻辑和挪用Tiger衬着才能，为此我们开发vscode插件——TigerScriptingTools，开发者能够按照TigerLua的脚本挪用事务来组织游戏逻辑，虎牙曲播的线上互动软件下载弄法均是均是用此编写。

Lua脚本框架

云蹦迪的难点息争决计划

云蹦迪开发碰到更大的难点即是若何流利运行万人同屏，对此我们从两个方面来优化性能，一方面是项目逻辑优化，在契合营业需求的前提下，若何精打细算地编写Lua脚本逻辑。另一方面是衬着引擎的优化，优化标的目的是削减CPU压力。

3.1 项目逻辑优化

当参与云蹦迪的人数较大的时候，云蹦迪法式会收到大量全下发的弹幕和礼品数据，因为项目标逻辑架构是单线程同步的，处置那些数据的时候可能会卡顿阻塞，于是利用了以下三种体例处理性能问题。

高并发招致卡顿曲播互动软件无人曲播：分帧优化，把弹幕、礼品数据放在队列拨里面，每帧取一些出来处置停止负载平衡气泡创建销毁开销：设置可视性和调整层级，一播多无人直播手机系统下载，每条弹幕过来就不需要额外的创建销毁削减大量的findNode：角色强引用角色相关的对象，削减findNode挪用

3.手机2 衬着无人性能优化3.2.1 UI气泡优化

云蹦迪还有发弹幕的功用，一播多无人直播手机系统，当运行万人同屏时会发出大量的随机弹幕，而那种弹幕是以UI气泡的形式显示出来。那些弹幕气泡都是非常类似的，区别可能只是文字差别、颜色差别、大小差别、布景差别等，通俗的引擎做法是一个气泡先画布景再画文字，即一个气泡画两次，若是有一千个气泡就要画两千次，CPU调度GPU次数响应会增加了上千倍，CPU性能也会变得很差，随之会形成画面的卡顿。

Tiger自研引擎能够很好的处理上述问题，1.Tiger自研引擎能供给新型绘造UI气泡的体例：即在一段文字Label中设置布景，引擎底层会将文字和布景合成一张纹理，如许就能布景文字同时绘造，即一个气泡只需要画一次，比其他平台引擎少绘造了一次。2.Tiger自研引擎还供给了一个主动合批衬着的功用，将场景下挂载类型为AutoBatchNode节点，引擎会将此节点的所有材量不异的子节点停止一个合批操做，只要把一千一播个气泡挂到AutoBatchNode节点下就能合批，一千个气泡就只需要画一次。颠末UI气泡的合并优化后，CPU处置耗时削减10%，DrawCall数量较少30%，提拔画面流利度。

云蹦迪弹幕气泡拨示例

云蹦迪气泡app的合并流程图

3.2.2 角色软件衬着优化一部全

虎牙云蹦迪衬着单个角色包罗两种要素：2D网格面片和半通明材量，那么在云蹦迪场景衬着成千上万角色的时候就会面对一个问题，要若何处置系统2D角色在3D场景的深度紊乱问题，因为2D角色是单纯的面片，其实不像舞台场景是3D模子有z标的目的深度，因而我们需要在CPU针对半通明2D面片根据深度停止衬着挨次排序（深度更大更先衬着）。

因为每个角色的动做都是零丁计算，相关的材量信息也是独立的，那么成千上万的角色关于GPU衬着挪用性能的消耗是庞大的，因而最新为了下载让虎牙云蹦迪可以实现跨平台多端无人万人同屏的效果，我们需要对DrawCall停止合并处置。

将DrawCall合并分为两个维度的合批，一方面，利用不异材量的多个持续深度的角色能够合批成一次drawcall，如下图所示，前后相邻且同样材量的角色就会停止合批处置，意味着他们共享不异的材量，削减没必要要的DrawCall。

角色材量合批

另一方面，合批处置的根底上在GPU利用4通道的UV坐标，映射多个材量（在shader中利用多个纹理），从而能够不变合批更多材量。

颠末UI气泡优化和衬着角色app优化后，万人同屏场景的DrawCall数量较少80%，均匀衬着耗时削减60%，在无独立显卡的PC端开启万人同屏云蹦迪，画面帧率连结在30帧以上。

总结和瞻望

基于虎牙在实时内容创做全和曲播互动手艺范畴的持续立异，虎牙自研引擎Tiger已经深度撑持一部虎牙曲播的特效礼品消费和互动弄法营业，也是对曲播「元宇宙」的一种测验考试。将来，我们考虑从两个方面去拓展自研引擎Tiger的营业影响力，一方面，面向更多企业用户，供给Tiger引擎贸易合做计划，将成熟的自研衬着引擎才能以低成本的体例推广进来，提拔行业内音视频互动弄法的缔造效率和积极性。

另一方面，面向行业市场，开放TigerLua插件TigerScriptingTools和特效编纂器MagicEditor的下载体例下载和相关文档介绍，供给成熟的特效资本造做流程，便利每个用户和开发者设想并世无双的特效衬着效果和互动弄法少钱。

“路漫漫其修远兮”，间隔实现实正的「元宇宙」还十分遥远，但颠末测验考试，我们愈加相信曲播能够成为当下人们摸索「元宇宙」的有效体例之一。相信跟着摸索的深切，也将鞭策虚拟化沉浸式媒体设备和实时音视频手艺的良性开展，为曲播的将来带来全新的体验。

来源：LiveVideoStack链接：https://www.livevideostack.cn/news/huya-live-cloud-disco-with-10000-people-on-the-same-screen/