还有两天,北京2022年冬残奥会就要开幕了,中国残疾人结合会与科大讯飞配合推出的AI虚拟主播“小晴”已经上岗多日虚拟主播 。
科普冬残奥会项目、介绍冬残奥会场馆、冬残奥会火炬……自2月21日冬残奥会中国体育代表团成立起,“小晴”就起头为各人播报冬残奥会新闻虚拟主播 。
近日,天目新闻记者采访了科大讯飞消费者BG有声平台总司理郜静文,为各人揭秘“小晴”的降生过程虚拟主播 。
“小晴”的形象从何而来虚拟主播 ?
虚拟主播的打造有常见的两种体例,一种是以实人主播为原型,别的一种是通过“实人捏脸”虚拟主播 。
郜静文介绍道,“小晴是以我们公司一位同事为原型停止定造的,我们对她收罗两小时摆布的视频数据,就能够训练生成2D实人虚拟主播形象,再通过机器深度进修后,输出虚拟主播的AI模子,输入文本就能够实现音视频内容的快速消费了虚拟主播 。”
“实人捏脸”则是通过将人脸编纂算法与多模态语音驱动算法深度连系,构成集人脸交融、视频序列生成、口唇驱动、语音合成、天然语言理解等AI核心手艺于一体的整体计划,定造自在度更高虚拟主播 。
“小晴”若何启齿说话虚拟主播 ?
“起首我们会对实人停止必然量的音视频数据的收罗,再操纵语音合成手艺,为“小晴”那个主播形象定造一个专属的个性化语音库虚拟主播 。我们还会通过AI主动预测主播的脸色、实时处置唇形,无论是声音仍是脸部形象,都十分天然。”郜静文说。
“小晴”在冬残奥会新闻播报中有哪些过“人”之处虚拟主播 ?
在新闻播报的过程中,“小晴”处置新闻速度更快、效率更高,还能够敏捷切换多种语言虚拟主播 。
“基于我们的AI虚拟主播系统,只需要输入文本,就能够实现声+画同步的虚拟主播新闻视频的输出,而且撑持中、英、日、法等多国语言的新闻视频输出,实现全球无障碍沟通,那也大大提拔了新闻消费效率和用户笼盖广度,能够让全球用户无障碍收看北京2022年冬残奥会的新闻虚拟主播 。”郜静文告诉记者。