指南AI
指南AI

数字人 :打造梅兰芳先生的孪生数字人有多难

幕言助手 2024-05-06 14:52:26 幕言直播助手 786 ℃ 阿比整蛊源头|厂商微信:gogoh6
正文

某公司推出数字人美妆博主,一条短视频收成百万粉丝;新华社推出数字记者,“TA”也是全球首个数字航天员,吸引浩瀚视线……现在虚拟数字人概念炽热,但要打造实正高传神、超写实的数字人,还有大量手艺问题要处理数字人 。

近日,“数字梅兰芳”巨匠复现项目启动仪式在北京梅兰芳大剧院举行数字人 。由北京理工大学参与研造的全国首个高精度京剧数字人“梅兰芳孪生数字人”在仪式现场表态。

该项目以京剧巨匠梅兰芳先生26岁时的容貌为原型,对其停止复现数字人 。项目由中央戏剧学院、北京理工大学配合倡议,腾讯公司供给手艺撑持,遭到“北京高校卓越青年科学家”方案帮助,并得到了多家单元和梅兰芳先生家人及门生的鼎力撑持。

北京理工大学光电学院研究员翁冬冬告诉科技日报记者,将来他们将不竭停止模子实时化晋级,并在多个场景应用落地,力争打造国内第一套实正意义上的可实时交互的“京剧数字人”数字人 。

扫描数字人 ,合成,构建

做数字人脸色有讲究

虚拟数字人是存在于数字世界的“人”,操纵信息手艺与人工智能手艺,将人全身及肢体动做全方位地停止数字化、可视化复造,最末将现实生活中的人切确地在数字世界中模仿构建出来数字人 。

做虚拟数字人,自己就是啃一块硬骨头数字人 。因为人天然就对人的面部出格敏感,虚拟数字人做得稍有不到位,就会让人觉得奇异。

所以虚拟数字人的一大考验,就是脸色数字人 。

研究课题组找到和年轻时梅兰芳先生长相类似的演员,让他模拟梅先生的脸色神志,然后操纵光场收罗手艺,收罗实在演员毫米级精度的三维数据,并以计算光学为根底构建物理属性皮肤纹理,从而实现对实在演员的高复原度重建数字人 。

“其实一小我的脸色神志是很难复现的数字人 。我们要扫描演员肌肉的走向、脸部的皱褶等。”翁冬冬说。他们需要将演员做出的脸色,编码成几百个根底脸色元素。好比完全闭上左眼、左眼半睁开、完全闭上右眼、嘴角向上微微扬起……但人在做脸色时,脸上良多部位是联动的。所以,先要将已扫描出的脸色拆分红单个的脸色元素,再按照现实需要,从头将那些元素组合起来,构成新的脸色。

获取了那些脸色之后,课题组还需要将演员脸上的脸色,迁徙到数字人梅兰芳先生的脸上数字人 。“京剧数字人,对眼神和脸色的要求十分高。”翁冬冬说。

因为已经无法收罗到梅兰芳先生的实人三维数据源,在搜集了大量梅先生的照片做为数字资产构建的参照后,研究团队邀请中央美术学院的师生以汗青照片为根据完成了梅兰芳先生的实体肖像数字人 。在手艺团队与雕塑团队的频频磨合后,完成了以三维数字化为目的的实人雕像数字人造做。

接下来,他们还需要完美数字人的声音才能,完美数字人的实时语音交互才能,让数字人实正“活起来”数字人 。

消逝的布料数字人 ,失传的手艺

数字化也是一种抢救性庇护

难题,不只在于手艺数字人 。

那一次,他们那帮手艺身世的科研人员,实在感触感染到了科技和传统艺术的碰碰数字人 。“学京剧的人,对传统是很敬畏的,也是相当讲究的。”翁冬冬说。

梅兰芳先生服拆的数字化,就颇费一番周折数字人 。

“如今的布料,和民国期间的布料是纷歧样的数字人 。”翁冬冬说,为了做出接近的衣服量感,项目标另一合做方、中央戏剧学院传统戏剧数字化高精尖中心主任宋震团队,通过各类关系找到了民间保藏的民国留存布样,以其为根底停止传神服饰材量模仿。

梅先生戏服上用到的线,叫金线,是用棉绳绕着金箔做出来的数字人 。团队被告知,那线如今没法做,因为工艺没有了,手艺失传了,并且昔时的棉和如今的棉,底子就纷歧样。

有此问题的还有头冠数字人 。团队找到专门做盔头的教师傅,来复现京剧《穆桂英出征》中的头冠。但教师傅说,造做那工具,没有图纸,手艺都是口口相传的,靠的是自行融会。

那种“只可领悟不成言传”,也给数字化扫描带来了难度数字人 。

在困难中,翁冬冬也更深入体味到那一项目标意义——它其实也是在数字化保留那些正在消逝的工具数字人 。

“做梅兰芳先生的孪生数字人,不只是一个手艺实现的过程,也是一个科技和传统文化交融的过程数字人 。”翁冬冬说,切身理论,才会碰着夸夸其谈时未曾想过的问题。交融没那么简单,确实需要两边的磨合、互相倾听和耐心沟通。

目前,最为人熟知的数字人,当属虚拟偶像数字人 。一些次要接纳AI换脸手艺的数字人,也活泼在市场上。翁冬冬说,从久远来看,三维化的数字人数字资产价值会更高。出格是元宇宙,天然就需要以三维为根底,所以数字人是构成元宇宙的重要根底元素。

“将来数字人能够成为人机交互的界面,成为人工智能的一个入口数字人 。究竟结果人仍是更容易承受和‘人’沟通交互。”翁冬冬说,但要让高传神的数字人一颦一笑一举一动都不出戏,还有很长的路要走,“仍是要沉着对待数字人的炽热。”

本报记者 张盖伦

来源: 科技日报

本文TAG:

指南AI

幕言互游在线咨询

上班时间:9:00-22:00
周六、周日:14:00-22:00
wechat
打开微信扫一扫,加我好友!

无限流量卡免费领取

点击预约
免费领取 先到先得