Differentiable Signed Distance Function Rendering
Translate
摘要
基于物理模型的可微分渲染用来解决多图像的三维场景完整恢复的逆向问题,最近显露成为一种有吸引力的新技术. 形状参数的逆向求解问题很有趣但也存在严峻的挑战:形状与可见性交织在一起,除非采用高代价的措施,其不连续性在计算导数时会引入严重的偏差.如三角网格等表示的模型，由于网格参数的连续优化不能引入拓扑变化，因此会遇到额外的困难.
解决这些问题的常用方案三使用距离符号函数(SDF)表示形状,并在优化过程中逐渐调整其零水平集.早期的可微分渲染SDF函数没有完全考虑可见性梯度,需要使用掩码或轮廓监督或者离散为三角网格.
本文我们将展示，如何扩展常用的球体追踪算法,使其额外输出一个重新参数化的模型从而提供计算精确形状参数导数的方法.在更高层次上,这类似于可微分网格渲染技术，尽管我们证明对于SDF表示的模型较于之前的工作可以特别高效的参数化.我们的实验证明并合成了对象的三维重建,仅使用每个像素的RGB损失，而不使用复杂的正则化和先验知识
1 绪论
基于物理可微分渲染(PBDR)的方法由于能够解决以前难以解决的逆向问题，包括真实材料外观、阴影和互反射，因此备受关注. 他们区分了基于物理渲染的算法,如路径追踪，并使用生成的梯度最小化高维域上的非线性目标函数.
这些方法的核心挑战是在模型轮廓处出现的不连续性,如果不考虑该问题,当使用PBDR方法优化场景几何体时,这些凸变会严重偏移导数,从而中断从图像进行三维重建等任务的应用.
尽管渲染本质上是可微的,但在方程到算法的转换中很难保留此属性.例如,将自动微分(AD)直接应用到渲染算法通常不会产生可用的梯度.三角网格顶点和影响隐式函数的曲面零集的变量,这些参数需要进行特殊处理.
除了数学上的梯度评估之外,第二个重要关注点就是场景下的3D表达形式.有许多表达可以选择但并非所有选项都同样适用于优化.三角网格已被证明在正向渲染中非常适用,但是逆向问题需要从更广泛的可能性去考虑,包括基于点云,隐式函数,体素面的表达形式. 符号距离函数(SDF)是另一种可能性;对他们的重新兴趣引发出特殊SDF重建技术,我们将在第二章回顾. 符号距离函数是测量到其所定义的零水平集曲面的有符号的距离. 使用SDF作为几何表示的一个关键优势是它们能够在优化过程中轻松表示拓扑变化.
虽然有大量的工作使用SDF进行逆渲染,但现有的技术无法直接区分SDF的主、次(阴影)或高阶效果(全局互反射)的渲染.我们通常期望逆问题的研究变得更有价值,因为模型评估和微分耦合步骤越来越能代表物理现实,这是非常有用的. 最新的研究能够适用于不连续图像的SDF函数重新参数化. 虽然最初是为三角网格开发的,但是这些方法独立于几何表示,因此也适用于SDF. 它们暴露出偏差与计算的折衷,并且为了实现高质量梯度需要追踪昂贵的附加射线.
我们提出了一种特殊的重参数化技术,用于SDF的可微分优化以解决这些缺点.我们的方法在常用的SDF渲染球体追踪技术上进行了增强,在穿越空间时收集少量的附加信息.我们使用此信息廉价的实例化重新参数化,以解决渲染器执行的不连续积分的问题,从而可以通过标准的AD技术处理剩余的计算. 与之前的工作相比,我们的方法的一个重要区别是,我们的参数化不需要追踪辅助光线来对周围环境进行采样以搜索遮挡边界,因为在SDF表示的有符号距离值中自然可以获得等效信息.然而在这过程中必须考虑各种微妙细节,我们展示了如何仔细推导梯度和雅克比行列式,从而得到一种有效且稳健的方法,该方法比以前的工作更快、更准确.
最后我们演示了运用我们的方法对基于梯度优化的复杂对象重建SDF,避免了特殊轮廓和复杂先验.图一展示了一个优化结果.本文中,我们不追求从真实世界数据进行最先进的重建;我们的重点主要是对可持续发展框架的有效导数评估.总之,我们的贡献如下:
1)我们提出了一种球体跟踪的改进技术,它动态构造重新参数化,从而年实现精确可微的SDF渲染.
[Read More]