数字人 :逼真实时“数字人”是如何生产出来的？

文：靠谱digitalman的咢人阿星

数字手艺是信息时代的引擎，数字人是真人吗，当前AR、VR以及3D手艺从头引发人们存眷，势必在可视化、高精度化为信息世界带来重塑数字人 。

好比我们近年来看到的一些新的国漫片子已经不克不及视为立体卡通片，其人物、场景的光影衬着和传神效果足以比实人出镜的片子更为震撼，叫好又叫座；其幕后的数字手艺全息开发团队依靠生产剧本和故事脉络造做DEMO从而寻找到意向投资人，不只削减了资方的风险，也让不雅寡能看到更多人吧新锐、新颖的做品数字人 。

现实上除片子以外是什么，还有一些虚拟形象IP、告白片、楼宇桥梁建筑设想、工场规划图、室内粉饰全景、汽车概念（全景）预定等等都需要用到3D以及AR视觉数字人化设想的数字手艺，以呈现出预期传神的蓝图效果或造造出用户线上互动的交互界面数字人 ，数字人 digitalman。

良多人不晓得的是，那种数字手艺和东西最早是在游戏开发中应用成熟之后，逐步“外溢”到其他行业和应用场景的，而且底层开发工做和操做系统就是虚幻引擎（Unreal Engine，以下简称“UE”），那家全息公司能够说是收集游戏和视觉设想范畴的安卓或者苹果，外界不断难窥其貌数字人 。

我们更全息近一步诘问，UE能否能够在数字世界之顶用类似的手艺手段来模仿人而非是卡通式的动画，类似于《三体》VR游戏之顶用汗青名人来亲历三体情况一样数字人 。谜底是必定的，相关手艺前提以及东西完全具备，因为在大量游戏和片子场景之中人物的传神网度都要求响应的开发东西必需使得人物的面目面貌、眼睛、皮肤、头发以及走动光影变革等足够的细腻传神。

所谓“传神、实时数字人”并不是是虚拟创做的IP或者二次元形象，现实上是实人，传神、实时的“数字人”，阿星理解是实在的人三维化，类似于是数字化的“杜莎夫人馆”，而且是可以虚拟适应于通俗人的，因而其手艺打破和迭代可能关于AR、VR等普及化、普通化意义严重数字人 ，数字人vila。

（杜莎夫人馆中陈列的实人明星蜡像）

传神、实时数字人事实是若何消费出来的，数字人仿真视频，又将应用在哪些场景之中，当前的开展瓶颈在哪里？笔者有幸请教中国人民大学财产研究院助理院长、文化科技交融中心咢人主任vila宋震，以及北京理工大学广电学院ayayi咢人光电信息手艺与颜色真人工程研究所研究员翁冬冬，他们是高校相关专业研究的权势巨子，在“数字人”呈现和摸索处于前沿数字人 。

一、用游戏开发全套逼真东西和系统来做“传神、实时数字仿真人”

先来介绍下，虚幻引擎是游戏仿真公司 Epic Games所开发的操做系统，可以为游戏开发者供给大量游戏开发之中所需要的核心手艺、数据生成东西以及根底撑持，也就是说，UE使得游戏开发者不需要最逼从0起头写代码做每一帧的画面或者设想响应场景，让游戏开发者愈加聚焦于立体故事和难度设置上，回归到游戏自己，闪开发变得愈加轻松数字真的人 。

在数字世界之中，那就需要UE自己不竭迭代手艺和东西包写实，以满足线上数字世界游戏化、交互化以及游戏世界传神化、动态化的需求，写实数字人全息，数字人 :逼真实时“数字人”是如何生产出来的？，用越来越特效、传神的图像人数处置来对画面停止更为实在、更为详尽的全面描绘数字人 。

截行2021年虚幻引擎已经更新到UE5，次要基于Nanite（虚拟微多边形几何体）和Lumen（动态全局光照）的核心手艺以及撑持上亿、几十亿以至无上限的三角面的衬着，不只为游戏开发和设想师创意供给了宽广的舞台，还可以普遍应用在人、物、故事以及各类内容之中数字人 。

在游戏世界之中，最难表示的仍然是人，因为若是是实在、传神的人的话，数字人云，他的面目面貌或脸色是跟着年龄、表情、形态而发作变革的，在差别场景之中，人们的眼神是什么、光线以及脚步、体态等都是很难用虚拟想象停止描绘数字人 。正如现实生活描绘出色有时胜过于小说，而实在记录数字人工做量现实上也远远高于虚拟创做人物。好比12月份网易云视频在港上市就有两个数字人“丁磊”在线上敲钟，有网友认为是最逼丁磊的美颜版，现实上那与实正的“数字人”还有差距，尤其是在面部脸色上，数字人吧，不雅寡仍是可以生产一眼看出来“不敷传神”。

人们判断一个数字人传神虚拟不传神、新鲜不新鲜最重要的存眷点是在脸色上数字人 。宋震说：“人关于脸色差别长短常敏感的，人的脸上有70多块肌肉，可以产生良多复杂和微妙的变革，面目面貌以及脸色数字化是数字人的重点人吧和难点。”

造造传神实时数字人，起首需要对模特或者原型人物停止“拍照”收罗工做，次要是基于丈量摄影的孪生数字人计划，通过球形梯队照明收罗模特在差别光影明暗之下的微脸色变革，通过对素材（照片为RAW文件）停止校色、抠像并对面部数据处置和衬着等处置之后停止绑定在系统人吧之中，据领会，一个传神实时数字人可能有200个G原始素材数字人 。

据宋震教师介绍，传神实时数字人缔造流程次要分为“光影收罗”、“数据清理”、“重拓扑”、“贴图处置实时”、“绑定”、“毛发造定”、“导入UE”、“光照和气氛”、“动态测试"等九个步调，那些步调组合起来都需要UE的深度参与数字人 。

（宋震vila教师演讲传神、实时数字最逼网人的消费流程ecdh）

要让专业造造高精度实时数字人可以连结脸色实时变革以及响应的数字抠像处置、光影变革、声音人云婚配等都需要用到Metahuman东西数字人 。宋震教师说：“虚幻数字引擎在2021年上半年推出了Metahuman东西，很快就在3D数字人范畴ecdh树立了行业标杆和尺度。”

因为咢人Metahuman不但有强大的创意东西好比数字人材量系统、动画系统等降低项目复杂度，还可以借助于光学扫描设备，Metahuman的手艺管线可以极大的进步消费效率和表示效果，目前的数字人消费管线也可以迁徙到Metahuman上，实现了很好的兼容数字人 。

在数字人创建过程中，不但是用到一两个DCC（数字内容生成）东西，包罗程度着良多真实复杂完好的生态之中数字人 。翁冬冬教师说“虚幻（引擎）不但是实时可视化的东西，仍是整个传神实时数字人的平台，以至称之为操做系统也不外。因为所有数字人（资产）生成、开启利用都得利用UE，虚幻引擎现实上是把各类各样的东西会聚写实在一路，而那是操做系统最有价值的。”

虚幻ecdh引擎在造做3D数字内容消费之中供给的便当就比如一个厨师要为客户造造vila甘旨可口的菜肴，不需要亲身去购置各类厨具逼真或者去菜场买菜，良多案台、锅碗、调料都已经筹办安妥，愈加便于厨师阐扬本身的厨艺数字人 ，最逼真的虚拟数字人。

二、高精度传神实时数字人数字已可以消费数字人 ，数字人可以逼真到什么程度，打破口视频是汗青名人数字化人官

传神数字人做为3D呈现的“照片”和“影像”，跟着各类数字人生成手艺的成熟，会逐步成为现实并应用到写实VR（虚拟现实）和AR（加强现实）的设备之中呈现数字人 。

宋震教师在演讲之中强调，虚幻引擎的Metahuman与RTX（光线逃踪手艺）相连系衬着量量会愈加好，将来与AI手艺深度连系，将来高精度的虚幻人将会很快呈现，而且虚拟人的定造会在曲播、演唱会等演出场景之中率先应用数字人 。

除现实场景真实数字人呈现以外，如许的手艺现实上仍是vila可以帮忙人们去恢复人官一些出名汗青是什么人物，让汗青IP走进人们的现实世界数字之中，好比我们曾经在汗青上看到的一些出名汗青人物的画像，良多是后代画家找神志类似的人摹仿的，现实上传神数字人手艺有望和良多博物馆以及相关机构深度合做的数字人 。

翁冬冬教师说：“团队希望能做出真人概念一套中华名人的仿真尺度数字资产，尤其从近代有照片的名人动手来鞭策”数字人 ，数字人视频怎么更逼真。他在虚幻引擎手艺开放日上介绍了团队对梅兰芳先生的数字人消费的样本案例。

翁冬冬教师说，“北京理工大学结合中央戏剧学院负责通过高保实在时数字人云手艺对梅兰芳先生停止复现，那将成为国内第一套实正意义上的京剧数字人项目数字人 。”

据领会，翁教师团队对梅先生的影像材料、照片以及舞台场景停止大量的研究和复原工做，从工艺、动做、服饰、文玩停止研究，通雕琢构建高精度实体模子，再接纳UE数字雕琢体例对扫描数据停止频频精修，基于引导线的构建体例对发型等停止高保实发束，以实在立体裁衣为根底构建高保实服饰等等，最末造做出梅兰芳先生的3D数字人数字人 。

数字人将连系VR和AR，以三维的形式呈如今不雅寡网面前，假设用户想看梅兰芳先生的演出digitalman不是在电视屏幕或者是投影薄膜人数长进行欣赏，而是ayayi面临面和“实人”停止交换数字人 。

翁冬冬教师说：“但凡需要有实人或者实在的场景呈现，都能够应用数字孪生手艺停止复原数字人 。站在贸易化角度看来，现实上数字人自己也是一种消费东西，能以高传神数字报酬数字资产或者IP来缔造影视剧或者拍视频，数字人全息视频。而在有人的处所，用人来消费内容的处所，数字人都实时能够派上用场，数字人真实视频，最逼真的数字人。”

当前在国内，数字人财产链和仿真研发，在北京、上海生产、深圳逼真等大城市已经落地和推进数字人 。翁冬冬教师给出预测，数字咢人，“实在传神数字人会成为将来三年后的开展标的目的，数字人ecdh。”

当然概念，关于实时、传神数字人自己响应的常识产权ayayi和法令完美也是两位教师研究课题，究竟ayayi结果手艺开展往往需要响应的监管随时跟上脚步数字人 。

结语

从人类汗青就是一部门人的再呈现角度来看，传神实时数字人实现了人从二维化电子屏式呈现到三维式的实时呈现，那确实是一项了不得的手艺开展；其消费借助于虚幻引擎（UE）开发东西以及操做系统予以完成，将来还将逐步笨重化、简捷化，在专业门槛上降低准入门槛，数字人全息，让更多人实时长途精准呈现不再是难事，无论是影视创做仍是贸易化都有庞大的想象空间，有关数字人响应的资产生成、庇护、流转、利用逐步也会惹人存眷数字人 。面临那一手艺立异，将会带来贸易世界的深远影响，如今仍然处在积极摸索早期阶段。

▼做者简介

靠写实谱的虚拟阿星digitalman（李星）数字人 ，公家号：靠谱的阿星，《媒体化战略》一书逼真的做者数字人