您现在的位置:   首页 >> 新闻中心 >> 互联网+

一文读懂虚拟人:她会梦见电子羊吗?

发布人:yunke.ai 发布时间:2021-07-09 15 次浏览

编辑导语:数字化时代,你是否会有科幻作品中的虚拟人的想象,作者从八个方面分析了虚拟人的发展和未来的趋势,我们一起来看下吧。

创造栩栩如生、真情实感的数字化人类,既是《银翼杀手》等科幻作品的想象,也是数字内容创作的不懈追求。近年,“造人”紧随“造车”成为业界高度关注的话题,不仅有虚拟偶像、MMD(MikuMikuDance,虚拟角色跳舞)等文化现象大流行,更在AI加持下为数字人类初步赋予自主智能。

在可见的未来里,我们是否能轻松拥有自己在赛博空间中的“复制体”——虚拟人呢?

《银翼杀手2049》中的虚拟人

一、虚拟人与数字人、虚拟偶像

虚拟人与数字人两个概念多数时候可以通用,相比之下,虚拟人更侧重其在外观、智能等方面与人的相似性,在难辨真假的同时可以进行交互。

笼统地说,通过3D图像软件或其它模拟仿真工具制作,以数据形式存在的人与类人角色,都可以算作数字人(digital humans),游戏和影视中也可叫做数字角色(digitalcharacter)。

虚拟偶像,则是从应用场景出发的一种称谓,无论2D、3D或怎样的表现形式,只要以满足用户对成长、美好的向往为出发点进行公开活动,都可划分到偶像范畴。虚拟人可以被打造为虚拟偶像,同样也可以成为虚拟演员、虚拟作家等等。

按照美术风格,可以大体划分为高保真风格、写实风格与卡通渲染。其中写实-卡通是一种谱系而非存在泾渭分明的界线,而卡通风格也可进一步细分,比如美式卡通、韩系风格、二次元风格等。

除风格及场景外,虚拟角色还可以按照制作主体、方式、驱动方式进行分类。

  • 艺术家从创意想象出发,经过2D原画-3D建模-绑定-动画等流程制作出的,属于PGC类型;

  • 一般用户基于平台工具,将自己的照片、视频上传后自动化生成,或组合已有的面部特征、修改参数进行“捏人”的,属于UGC类型。

让角色动起来的方式也很多样。

  • 可以手动调整动画的关键帧,再平滑模拟出过渡帧,实现角色动画;

  • 或像MMD那样,导入预先制作好的动画方案,让角色模型舞动起来;

  • 还可以通过面部、身体动作捕捉,将真实运动映射到虚拟角色的身体,部分虚拟主播、虚拟偶像就采用这种方案。

二、学界:发展数十年的前沿交叉领域

早在20世纪70年代,对虚拟人的研究就已经在学术界起步。虚拟人(virtual human或computersynthesized characters)指人在计算机生成空间(虚拟环境)中的几何特性与行为特性的表示。

人是一个复杂体,不同的学科领域,对抽象和模拟人类的侧重点也不同。

  • 比如体育、军事等,关注虚拟人运动和行为的模拟仿真;

  • 医疗领域着重对数字化的人体结构进行重建和分析;

  • 图形学、影视的课题则是如何让虚拟人的外形达到真实人类的高度还原。

因此,虚拟人已逐步发展为涉及计算机图形学、运动学和动力学、多功能感知、人工智能和虚拟现实等多个学科的前沿交叉领域。

随着人工智能研究深入,如何让虚拟人具有一定程度的自主感知能力、逻辑推理、语言甚至情感,成为了学界和产业界共同关心的前沿阵地。

医学意义的虚拟人,显然不是我们要讨论的……

三、业界:高保真、智能化、工具化是焦点

泛互联网产业中所谈及的虚拟人技术与案例,大体有风格化-高保真、离线渲染-实时驱动两种发展维度

风格化以打造时尚、美丽、萌系等有视觉吸引力的形象为要点,高保真则一般拥有现实中的原型;

离线渲染方式呈现的是预制作的图片、视频,而实时驱动则能够跟随真人的动作、语音文字等信息进行现场“表演”。

英雄联盟中的卡通风格角色Seraphine,以推特账号分享自己的“照片”

本文集中关注的方向是高保真、可实时驱动的虚拟人,有以下三个重要的技术方向:高保真、智能化、工具化。我们距离超级数字场景中千人千面的数字化存在,又有力地前进了一步。

  • 在视觉表现层面,做出从外形、表情到动作都1:1还原真实人的高保真虚拟人(Digital Doubles),如数字奥巴马;

  • 运用人工智能,使虚拟人初具智能和情感表达,如微软小冰;

  • 开发更轻量、便捷的工具,让艺术家和普通用户都能快速生产高品质美术资产,或自己的数字孪生体,如Epic的 metahuman creator。

为什么要首先瞄准这些方向?

首先,做1:1还原的虚拟人存在很多技术难点,值得挑战。

人类视觉对同类的形象、特别是对面部高度敏感,在似像非像的阶段,很容易跌入“恐怖谷”。所谓画鬼容易画人难。

因此,制作风格化的虚拟角色成为另一种选择,卡通形象做出夸张化的动作表情并不会吓到观众,还为艺术创作留下很大空间。影视等非实时渲染领域,也探索出数字化复制、合成真实人类外形的技术,正向实时渲染的游戏、远程会议等领域进行迁移。

即使突破了静态下拟真的瓶颈,如何让虚拟人自然地动起来,更是一大难题。

人类能从对方的表情、肢体中读取丰富的非语言信息,反过来说,虚拟人表情和动作中些微的不自然都能被察觉到。简单一个皱眉,牵动骨骼肌肉皮肤一系列变化。如果用手工的方式调整,工作量极其巨大。

AI在此有不可替代的价值——通过合理架构,利用人类动作和表情数据集,AI 能以人类为蓝本来学习,甚至学到被人类忽略的微妙细节,比如辨别目标是否在说谎。

未来在类似头号玩家的数字场景中,每个用户都需要自己的虚拟形象,开放世界中大量的非用户角色(NPC)也需要做到千人千面。

影视级制作的流程和效率显然不适用。因此,需要为艺术家、一般创作者和普通人,提供符合各自能力和需求的制作工具与素材。

要做到这些方向,需要基础学科的支撑,需要一系列精密硬件、技术、算法和软件的相互配合,更需要跨界的力量。

四、从很像到很真:影视级照片建模技术

制作实时渲染、高保真、可交互的数字人类,需要影视、游戏两个领域技术的取长补短。影视很真实但不实时,游戏正好相反。

影视领域的成熟技术light stage光场摄影,率先解决了“真实度”这一难题。

通过传统流程制作出的游戏角色,仍与真人在细节上有一定差距。

角色制作遵循一条由虚向实的路径,一般流程为2D原画设计-3D建模-贴图-骨骼绑定-动画制作。因显卡运算能力和引擎渲染能力不断攀升,写实风格的角色效果正不断向影视级靠近:角色可使用的面数不断增加,材质提升,细节完善,这从《古墓丽影》系列主角劳拉的形象变化可见一斑。

历代劳拉,越发真实

影视领域则选择由实向虚,高保真数字模型制作与后期处理能力结合,诞生出让人瞠目结舌的特效成果。

电影《本杰明巴顿奇事》讲述了主角返老还童的一生,将布拉·德皮特的面部模型与不同体型的演员合成,演绎角色从老年至婴儿的形象变化。

这也是在电影中实现的第一个照片级真实数字主角(the first photoreal digital main character in a film——Paul Debevec)。

皮特本人与使用面部合成技术后的形象

关键技术支撑,来自南加州大学教授Paul Debevec自2000年启动的light stage光场摄影项目研究。

这属于 photogrammetry 范畴,使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效,现场有多台摄像机,用不同角度的影像重建出可360°旋转的场景。

light stage正是通过构造相机阵列,以多角度、高精度照片,既还原拍摄人物的三维结构,也获取面部的反射信息,从而能在不同环境光下重构人脸模型光效。

light stage在不断迭代中解决了技术和工程难点,包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。

light stage5,《本杰明巴顿奇事》《蜘蛛侠3》《阿凡达》等均使用过

以下是Paul Debevec团队在SIGGRAPH 2008发布的Digital Emily,你能分辨出哪一个是真人,哪一个是虚拟人吗?

左边是虚拟人

来自影视的照相建模、高精度3D扫描、面部和动作捕捉相关技术,已经应用到游戏的实时渲染领域,为表现力带来飞跃。如何进一步满足虚拟人实时交互的需求呢,比如,让演员的表情与虚拟人达成“神同步”?多个技术团队展开了探索。

五、从形似到有神:AI助力多样化人物驱动

为了让虚拟人和我们自然地交流互动,腾讯NExT Studios与AI Lab在虚拟人Siren(演员实时表情动作驱动)-Siren AI(语音文字驱动)-Matt AI(更真实情感表达)项目历程中,逐步探索“秀外慧中”的全方位能力。

2017年启动的虚拟人 Siren项目,目标正是Crossingthe boundary

  • 跨越影视和实时渲染边界,制作可实时交互的数字人物;

  • 在高保真角色基础上,进一步增加高精度的实时动作捕捉与渲染。

2018 年 5 月, Siren 惊艳亮相,激起了人们对虚拟人技术的无限畅想。

Siren的特性是实时表情动作驱动,涉及多方向的技术突破,在多国企业协同合作下完成

  • 美国的Epic发起和协调项目,以Unreal引擎整合模型、贴图、动作等数据资源;

  • 塞尔维亚的3Lateral制作高精度人物模型,同时建立绑定,为演员和虚拟人的同步搭建转换桥梁;

  • 英国的Cubic Motion,负责实时的表情捕捉;

  • NExT作为项目所有者,提供基于Unreal引擎的高质量的人物渲染,也积极参与研发的全过程。

Siren 亮相2018年 GDC,演员是姜冰洁小姐姐

技术的进步为Siren赋予了逼真的3D形象,我们能否进而为她赋予精致的“灵魂”呢?

2018 年下半年的 Siren AI 项目,旨在让虚拟人不止步于“提线木偶”,将智能音箱、语音助手与人自主交互的能力赋予Siren,让她独立做到能听、会说。

这涉及多个AI研究和工程领域,包括语音识别(ASR)、自然语言处理(NLP),语音合成(TTS),语音驱动面部动画(ADFA)。难点集中在最后一步,核心是利用AI训练出语音/文字和面部模型肌肉控制间的对应关系,然后进入渲染引擎、驱动虚拟人。

原理展示

2019年,NExT自主制作了男性虚拟人Matt,自主完成一整套高保真虚拟人的研发流程,并结合腾讯AI Lab能力,探索语音自驱动且能表达情绪的虚拟人技术,将语音、情感、生动的面部表情紧密关联起来。相关研究在 2019 年的 SIGGRAPH 顶级会议上展示。

为此,团队建立了一套精确的面部动捕流程,以不同情感下的动作捕捉,来训练语音驱动模型,最终构造了一个长约20个小时、13339条语句的,包含语音、面部运动和身体运动的多模态训练数据集。

在Siren AI 基础上,增加情感维度数据,让Matt拥有微笑、蹙眉等微表情,多了更自然的“人情味”。

Matt的官方靓照

六、从PGC到UGC:工具化支持高效创作

从0开始制作虚拟人,需要较长周期,耗费较高成本。例如Siren项目从启动采集到能够自然地活动,就用了接近半年时间。

在积累了一定数量人脸数据和素材的基础上,更高效的工具应运而生,既满足游戏制作流程中艺术家创造多样化角色的需求,也让普通人能够便捷生成属于自己的虚拟形象。

较为有代表性的是腾讯NExT Studios的xFaceBuilder?与Epic的Metahuman Creator。

xFaceBuilder?是一套面向专业开发者的全流程管线,能够敏捷生产适用多种终端设备的数字人脸。

平台基于自建的高保真人脸库xFaceDepot,提供影视级人脸建模、绑定、动画生产管线。

针对手机、PC、主机等不同的平台和美术需求,提供了灵活的配置方式,已支持腾讯游戏的多款研发中游戏内容。

平台还结合AI Lab技术,支持单张/多张照片AI捏脸。绑定好的模型可通过三种方式动起来:大型项目、复杂动作使用Dynamixyz光学动捕。

如果需求不复杂,甚至可以直接打开最新款iPhone后置摄像头,基于Apple ARKit的轻量级面部动捕,以及更轻量级的语音驱动面部动画生成。

NExT Studios和新华社联合打造的数字记者小诤

近期,AI Lab的相关研究又取得了进一步的进展:仅需一段手机自拍视频,就能在 30 秒内合成一个高拟真度的 3D 虚拟人。

视频输入到 AI 模型后,只需 30 秒处理时间就能生成一个高拟真度的虚拟人,不仅脸型和五官形状非常贴合,而且具有毛孔、唇纹、毛发级别的细节。再借助虚幻 4 引擎等基于物理的渲染引擎(PBR),可以得到真实感很强的虚拟人。

相关研究发表在了计算机图形学顶级期刊ACM Transactions on Graphics。

自拍快速生成虚拟人的流程及效果

2021年初Epic公布的Metahuman Creator工具,让零基础用户也能“捏人成功”。产品基于预先制作的高品质人脸素材库,允许用户以自动混合、手动调节的方式快速生成虚拟人。

Siren项目后,Epic收购了3Lateral公司,得到多年积累的大量真人扫描高精度数字资产。

主要特性首先是高效的模版混合技术,可以融合多张基础脸后快速得到一个全新面孔,且栩栩如生,拥有细腻的微表情动画;二是云端渲染,使用者无须拥有高端显卡,本地操作通过网络传输到云端,渲染后传回视频流,使制作过程做到轻量、优质、便捷。

但这种方式也有局限性,利用已有人脸数据意味着无法随心所欲地创造角色。因此,工具定位在零基础操作、高品质、快生产,小团队可以直接生成自己的作品主角,大幅提升美术效果、节约创作成本;大公司则可以批量制作3A级游戏中的NPC。

Metahuman Creator制作界面

七、虚拟人可以做什么?

虚拟主播的风靡,证明风格化的虚拟角色在商业层面充满可能性。那高保真风格的虚拟人又适用于怎样的场景呢?

真实系虚拟偶像尽管当下二次元风格的虚拟主播更为主流,但真实系偶像的潜力同样不可小觑。当虚拟人的制作精度、动作自然度跨越恐怖谷,自然也有望跨入优质偶像的行列,并有更广的应用场景。

韩国艺术家金贤日(Hyeong-il Kim)创立的SUA项目正是以打造真实人类形象的虚拟偶像为目标。SUA由CG技术制作,在Unity引擎中实时渲染。虽然外形精度不及扫描真人模型后制作的效果,但也足够拟真。

如果使用最新款支持面部捕捉的iPhone,小姐姐会模仿你做出扭头、撅嘴、转动眼睛的动作,十分流畅。SUA拥有自己的Twitter,不定期更新自己的日常活动。金贤日正在“培养”SUA的各种才艺技能,让她“出道”后可以应对各种各样的场景任务,如模特、演员、歌手等。虚拟人SUA用iPhone 12 mini实时跟踪的效果

在数字影片中担任演员使用游戏引擎制作写实风格的影像短片已并非难事,但“虚拟演员”,也就是高质量的人形美术资产,在数量和质量上都不易达到影视制作的需求。在虚拟人制作逐步成熟

本页面均来此互联网页面如有触犯其他或者第三方利益请联系站长删除 137865155@qq.com