《黑客帝国 : 觉醒》演示中的灵魂发问:当我们打造出的世界和我们自己的世界同等真实时,那现实到底意味着什么?
还记得去年 12 月,美国电子游戏与软件开发公司 Epic 发布的基于自家虚幻 5 打造的《黑客帝国 : 觉醒》的演示吗?Demo 中所展示的主演人物的毛孔毛发级高真实感建模,着实让人惊叹 Epic 的强大技术能力。
可以说,MetaHumane Creator 在高保真数字人创建与渲染效果方面确立了一个新的标杆。
不过略有瑕疵的是,尽管 MetaHuman 构建的虚拟数字人呈现了超逼真的成像渲染效果,但当我们刻意去观察其合成结果时,却总能发现结果有不够真实的地方。如下图所示。
近期,一种新的渲染模型,即最近广为关注的神经辐射场体渲染模型 ( Neural Radiance Field,缩写 NeRF ) ,有打破上述各种假设枷锁的趋势,以下为一些 NeRF 相关工作的渲染效果。可以发现 NeRF 具有照片级的渲染精度,渲染结果亦具有 GAN 等二维生成模型所不具备的多视角一致性,更是能对玻璃、火焰、液体等进行统一表示。
高保真人头参数化模型 HeadNeRF,可创建与编辑高保真数字人
基于上述观察,来自中科大张举勇教授课题组提出了 HeadNeRF,一种基于 NeRF 的高效全息人脸头部参数化模型,该工作发表于 CVPR 2022,相关代码已开源。
项目主页 : https://crishy1995.github.io/HeadNeRF-Project/
代码链接 : https://github.com/CrisHY1995/headnerf
效果上,HeadNeRF 可以实时地渲染高清图像级别的人脸头部,且支持直接编辑调整渲染结果的多种语义属性,如身份、表情以及颜色外观等。得益于 NeRF 结构的引入,HeadNeRF 也支持直接编辑调整渲染对象的渲染视角,同时不同视角的渲染结果具有优秀的渲染一致性。相关编辑效果如下所示:
方法介绍
HeadNeRF 的 Motivation 在于,NeRF 本身可看作一种三维表示,尽管 NeRF 没有显式地重建目标场景的几何信息,但其本身通过预测场景的辐射场其实隐式地编码了目标场景的几何结构。进而使得,针对渲染任务,NeRF 一定程度上可以等价甚至优于传统的纹理材质网格。且由于 NeRF 是完全基于神经网络的,因此 NeRF 的渲染过程是天然可微的,而其他传统的几何表示,如三维网格,点云,体素等则往往需要各种近似策略来缓解相关表示的渲染不可微问题,与之对应的参数化表示工作往往则需要收集并处理大量的三维扫描数据。相对的,HeadNeRF 的构建过程只需要二维人脸图片。
HeadNeRF 的表示可概述如下 :
相关文章: