使用NeRF根据眼睛反射渲染三维图像

视力取决于通过角膜、瞳孔和晶状体等透明组织进入眼睛的光线。当光线到达视网膜时，感光器产生信号并通过视神经将信号传输到大脑，从而形成图像。进入眼睛的一些光被覆盖在角膜上的高反射性液体薄膜反射回现实世界。

马里兰大学的研究人员能够捕获这种反射光并提取周围环境的三维模型。在预印本服务器arXiv上一篇题为“通过你的眼睛看世界”的论文中，该团队描述了用于捕获眼睛反射并使用经过专门训练的AI视觉渲染算法NeRF将其转换为连贯3D渲染的方法。

神经辐射场(NeRF)是一种AI神经网络，可以基于多个2D图像生成复杂3D场景的新颖连续视图。通常，NeRF可以通过不同角度的几十张静态图像生成具有足够深度和细节的3D表示，几乎与可以在物体或空间中移动的视频没有区别。

在马里兰州团队目前的努力中，他们从固定位置的高分辨率相机拍摄的多张图像开始，聚焦于朝相机看的运动中的个人，其框架类似于护照或驾驶执照照片。放大被成像人眼睛中的反射，可以看到视野的镜像，并且可以识别该区域中的物体。

图像中包含各种眼睛伪影、虹膜纹理的复杂性以及每幅图像中捕获的可识别但分辨率较低的反射。为了从图像中删除虹膜，通过训练2D纹理图来执行纹理分解，该纹理图可以学习虹膜纹理并将其删除。

利用所有成年人大致相同的角膜几何形状，进行计算以准确跟踪他们的眼睛正在看的地方。这还允许确定相机的角度，在弯曲的几何形状上绘制图像的坐标，并为NeRFAI设置观察方向，以便稍后用于重建3D渲染。尽管角膜位置和几何估计存在细微的误差，但该方法在场景重建中是有效的。

放置在人两侧(框架外)的区域灯用于照亮他们面前的感兴趣的物体。在拍摄多张图像时，被拍摄者被要求在相机的视野内移动。

在人眼测试该方法时，可以看到图像的分辨率非常适中，但是是深度映射的3D渲染。

在数字图像之前使用假眼的更理想的综合测试中，通过提高3D映射的分辨率获得了更明显的图像。

第三项测试应用该方法从MileyCyrus和LadyGaga的音乐视频中捕获眼睛反射图像，试图重建他们在拍摄视频时所观察到的内容。

麦莉·赛勒斯(MileyCyrus)的眼睛图像似乎是一个LED网格灯，这很合适，因为她在视频中流着泪，凝视明亮的光线可能有助于达到预期的效果。在LadyGaga的眼中，有一个可以解释为三脚架上的相机的东西，但图像不清楚。

在测试的两个音乐视频场景中，摇滚明星主题可能是工作室中唯一光线充足的东西，因为灯光、摄像机和动作都是关于他们的。在更平常的情况下，比如Zoom通话或一系列自拍帖子，照明可能更有利于收集周围环境的信息。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！