开源平台让从图像创建3D场景变得更容易

就在几年前，伯克利大学的工程师向我们展示了如何使用一种称为神经辐射场(NeuralRadianceFields,NeRF)的技术轻松将图像转换为3D可导航场景。现在，伯克利研究人员的另一个团队创建了一个开发框架，以帮助加快NeRF项目并使其他人更容易使用这项技术。

在电气工程和计算机科学助理教授AngjooKanazawa的领导下，研究人员开发了Nerfstudio，这是一个Python框架，为实现基于NeRF的方法提供即插即用组件，使协作和将NeRF纳入项目变得更加容易。Kanazawa和她的团队将在SIGGRAPH2023上展示他们关于Nerfstudio的论文，并将其作为计算机图形和交互技术特别兴趣小组会议论文集的一部分发表。

“NeRF的进步促进了其在计算机视觉、机器人、视觉效果和游戏等应用中的日益普及和使用。但对开发的支持一直滞后，”Kanazawa说。“Nerfstudio框架旨在简化定制NeRF方法的开发、现实世界数据的处理以及与重建的交互。”

这个新框架已经在帮助众多在工作中使用交互式计算机图形的工程师，特别是那些寻求在现实世界环境中创建3D重建的工程师。这包括使用NeRF进行操纵、运动规划、模拟和绘图的机器人专家，以及使用交互式图形讲述故事的游戏工作室和新闻媒体。

“研究人员和行业团体现在都在使用Nerfstudio，因为它提供了一个开源框架以及最新的NeRF研究。它使人们可以更轻松地开始使用NeRF，而无需从头开始。”论文的主要作者和博士学位。金泽实验室的学生。“因此，即使你正在进行前沿研究，只要将此作为基线或起点，就可以大大加快速度。”

图片来源：加州大学伯克利分校

自NeRF推出以来，世界各地的研究人员一直致力于改进核心技术，从加速实时图像渲染和训练到开发新的编辑功能。他们还一直在尝试让Ne​​RF在新的情况下发挥作用，例如当照片之间的光线变化或物体在场景中移动时。但这项工作通常由研究小组使用专有存储库来完成，因此很难与更大的NeRF社区分享这些贡献。

Nerfstudio通过提供“整合这些研究创新”的模块化框架来应对这些挑战。此外，它还通过开源许可公开相关代码和数据，促进“社区驱动的开发”。

“我们着手创建一个平台，人们可以在其中创建其他人可以使用的新模块和技术，”坦西克说。“最终，Nerfstudio的目标是成为一个开源社区项目，研究人员将有兴趣与之合作并帮助进一步推动。”

目前，20名伯克利工程师正在积极为Nerfstudio做出贡献并帮助维护它。自2022年10月推出以来，已有多达100名校外人员为核心代码做出了贡献。

Nerfstudio还使用户能够轻松地在他们收集的真实世界数据上运行NeRF，这对开发人员来说是一个常见的挑战。同时，它使没有NeRF专业知识的用户(例如特效工作室和社交媒体用户)更容易使用这项技术。

“一切都公开了，这有点令人兴奋，”坦西克说。“它结合了你所拥有的尖端研究，包括想要推动它前进的研究人员和只想使用这项技术的人们。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！