实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

 2022-05-14 15:34  69人阅读   双一流大学网

《黑客帝国 : 觉醒》演示中的灵魂发问:当我们打造出的世界和我们自己的世界同等真实时,那现实到底意味着什么?

还记得去年 12 月,美国电子游戏与软件开发公司 Epic 发布的基于自家虚幻 5 打造的《黑客帝国 : 觉醒》的演示吗?Demo 中所展示的主演人物的毛孔毛发级高真实感建模,着实让人惊叹 Epic 的强大技术能力。

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

据悉,以上演示 Demo 中的人物形象是由 Epic 名下的 MetaHuman Creator 创建生成,该应用可以让用户自由编辑调整目标数字形象的各种面部特征和皮肤细节,甚至于精确编辑调整发型、眼型、妆容等各个局部语义属性,且调整结果具有超逼真的显示渲染效果。

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

可以说,MetaHumane Creator 在高保真数字人创建与渲染效果方面确立了一个新的标杆。

不过略有瑕疵的是,尽管 MetaHuman 构建的虚拟数字人呈现了超逼真的成像渲染效果,但当我们刻意去观察其合成结果时,却总能发现结果有不够真实的地方。如下图所示。

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

上述所谈到的不真实感可能是由 MetaHuman 的渲染假设导致的。具体来说,随着图形相关研究技术的发展,该领域其实是在不断修正三维模型的光照渲染模型的,在该过程中也是提出多种三维光照类型,如朗伯光照模型,Phong 光照模型以及 BRDF 光照模型等。然而,由于真实世界的复杂性,这些假设的渲染模型仍是不可避免的会与真实物理世界的渲染存在差异,从而导致相关渲染结果不够真实。

近期,一种新的渲染模型,即最近广为关注的神经辐射场体渲染模型 ( Neural Radiance Field,缩写 NeRF ) ,有打破上述各种假设枷锁的趋势,以下为一些 NeRF 相关工作的渲染效果。可以发现 NeRF 具有照片级的渲染精度,渲染结果亦具有 GAN 等二维生成模型所不具备的多视角一致性,更是能对玻璃、火焰、液体等进行统一表示。

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

NeRF 通过神经渲染与神经隐式表示来自适应地学习适合目标渲染对象的渲染方式,这使得 NeRF 相关的渲染假设少于上述传统的渲染方法,从而使得 NeRF 的渲染逻辑与真实世界的渲染更加贴合。

高保真人头参数化模型 HeadNeRF,可创建与编辑高保真数字人

基于上述观察,来自中科大张举勇教授课题组提出了 HeadNeRF,一种基于 NeRF 的高效全息人脸头部参数化模型,该工作发表于 CVPR 2022,相关代码已开源。

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

论文地址:https://arxiv.org/pdf/2112.05637.pdf

项目主页 : https://crishy1995.github.io/HeadNeRF-Project/

代码链接 : https://github.com/CrisHY1995/headnerf

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

HeadNeRF

效果上,HeadNeRF 可以实时地渲染高清图像级别的人脸头部,且支持直接编辑调整渲染结果的多种语义属性,如身份、表情以及颜色外观等。得益于 NeRF 结构的引入,HeadNeRF 也支持直接编辑调整渲染对象的渲染视角,同时不同视角的渲染结果具有优秀的渲染一致性。相关编辑效果如下所示:

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

HeadNeRF: 高帧率版

实时渲染、可直接编辑,中科大提出高保真人头参数化模型 HeadNeRF

HeadNeRF: 高质量版

方法介绍

HeadNeRF 的 Motivation 在于,NeRF 本身可看作一种三维表示,尽管 NeRF 没有显式地重建目标场景的几何信息,但其本身通过预测场景的辐射场其实隐式地编码了目标场景的几何结构。进而使得,针对渲染任务,NeRF 一定程度上可以等价甚至优于传统的纹理材质网格。且由于 NeRF 是完全基于神经网络的,因此 NeRF 的渲染过程是天然可微的,而其他传统的几何表示,如三维网格,点云,体素等则往往需要各种近似策略来缓解相关表示的渲染不可微问题,与之对应的参数化表示工作往往则需要收集并处理大量的三维扫描数据。相对的,HeadNeRF 的构建过程只需要二维人脸图片。

HeadNeRF 的表示可概述如下 :

上一篇:中央民族大学举办第五届研究生教学大赛

下一篇:南开大学3名男教师被举报 1人被解聘

相关文章: