“我们首先需要通过照片采集梅先生的三维数据,然后邀请中央美术学院教授张伟以照片为依据,制作1︰1无表情头部雕塑;再用高精度激光扫描仪扫描雕塑,由此获得梅兰芳基本面部结构,生成三维数字模型。”翁冬冬说。
这样的数字模型还没有表情,自然也无法模拟京剧大师在舞台上的眼波流转。正如东晋著名画家顾恺之所说,“传神写照,正在阿堵中”,眼睛的重要性不言而喻。梅兰芳在日本演出期间,东京《朝日新闻》评价“他的眼睛价值千金,他的媚态都是从这里产生的”,这让团队遇到了空前的困难。
“艺术家眼神的文化表达是复现的重点,我们想了很多办法,最终采用Vicon光学运动捕捉系统对梅派表演艺术家表演时的面部表情、动作等数据进行采集,然后以梅派传承人作为‘中之人’(指操纵虚拟主播进行直播的人)驱动人物模型表情、身形体态的数字化重建。”实验室中央搭建起庞大的球形设备,安装着36台相机和162组可控LED灯组成,通过毫米级的精度捕捉,将梅派传承人的一颦一笑记录下来。
“‘梅兰芳孪生数字人’是多种技术综合运用的成果,其中就包括人工智能技术。”宋震举了一个例子,《穆桂英挂帅》是梅兰芳60多岁时演出的戏,如何让26岁的数字“梅先生”进行表演呢?为了让“梅兰芳孪生数字人”表演更多剧目,团队通过人工智能技术对梅兰芳二三十岁的唱腔数据进行分析处理,再把相关数据的基本特征与梅派传人的声音进行整合,还原梅兰芳不同时期的语音和润腔,为日后的交互表演奠定了声音基础。
目前,团队先后攻克了高逼真表情光场采集系统、皮肤纹理写实渲染等关键技术,完成了人物皮肤、表情、动作、便装服饰、戏服盔头等高精度数字资产的生产,在传统戏曲数字化方面探索了新路径。
激发传统文化无限可能
2022年,数字人大量涌现,“数字人”一词也成为“汉语盘点2022”年度十大新词语。
以“敦煌飞天”为蓝本打造的虚拟数字人“天妤”、中国文物交流中心的“文夭夭”、新华网的“筱竹”、浙江卫视的“谷小雨”、敦煌研究院的“伽瑶”、国家博物馆的“艾雯雯”、中华书局的“苏东坡数字人”等,或在文博场所化身为导游,或担纲文化短剧主角,或成为对外传播中国文化的使者,令人耳目一新的角色形象将传统文化故事讲得活色生香。
“所谓数字人,实际上是现实生活中人类身份在数字世界中的‘替身’‘化身’或‘分身’,它们是现实人类在赛博空间的‘真身代理人’或‘数码代具’,现实人的精神、思维、意识、心理、信仰、道德和记忆等‘类本质’要素,整体地迁移到了这种‘数字替身’上,使其在网络空间的‘仿真环境’中通过在场状态获得再现与重塑。”贵州民族大学传媒学院副教授鲍远福说。在他看来,现实人类的精神气质与文化特征是数字人的灵魂。“从技术角度说,数字人是集计算机图形学、计算机视觉、智能语音、自然语言处理等技术于一体的计算机应用,但光有技术支撑还不够,必须用文化打底。”翁冬冬说。