基于动态三维模型的图像处理方法和装置

本发明图像处理，尤其涉及一种基于动态三维模型的图像处理方法和装置。

背景技术：

1、动态三维重建技术是应用于vr/ar设备的一个有用课题，广泛应用于模型设计和艺术创作。为了提高模型动态效果的质量，减少嵌入式设备的存储空间，提高重建效果，已有技术一般通过不同三维动态解耦方法，如维度解耦、空间区域解耦等实现。

2、与此同时，受益于神经辐射场的隐式3d表示(nerf)，新视角合成模型在静态三维重建方面取得了重大进展，能够生成精度更高效果更好的三维模型。在已有技术中，tineuvox利用空间特征重建三维隐式场，加上形变场的方法，能够快速的重建出质量较差的三维动态模型；hexplane、k-plane和tensor4d利用维度解耦的方法，将维度解耦为6个平面，减少了空间占用的参数量；nerf-player利用空间解耦的方法，将空间解耦为静态部分、空部分和动态部分，提高了最终渲染的质量。

3、但是，已有技术中，渲染质量和占用空间存在此消彼长的关系，当占用空间更少的时候，渲染质量就会有所下降；而当渲染质量更高，就需要更多的空间来保存模型。

4、鉴于此，亟需提供一种基于动态三维模型的图像处理方法和装置，以解决模型占用空间和渲染质量无法兼顾的问题。

技术实现思路

1、本发明提供一种基于动态三维模型的图像处理方法和装置，用以解决模型占用空间和渲染质量无法兼顾的问题，从而使得图像处理模型所占空间较小的同时，具有较好的渲染质量。

2、本发明提供一种基于动态三维模型的图像处理方法，所述方法包括：

3、获取待处理图片，并对所述待处理图片进行光线采样，得到采样点的三维坐标；

4、将所述采样点的三维坐标输入预先训练的三维动态模型中，以得到所述三维动态模型输出的合成后的动态三维目标图像；

5、其中，所述三维动态模型包括用于限制学习区域的三维空区域掩码?？?、用于计算每个像素点形变量的三维形变场?？?、用于确定三维目标特征的三维特征场?？?、利用插值解码器获取局部空间的特征插值解码器?？?、用于基于所述三维目标特征重建出三维空间密度和三维空间点颜色的三维辐射场?？橐约坝糜谏赏暾亩勘晖枷竦娜寤帜？?。

6、在一些实施例中，所述三维空区域掩码?？榈难盗饭贪ǎ?/p>

7、获取所述采样点的三维坐标；

8、在目标时长中，将出现过目标对象的位置标注为真，未出现过目标对象的位置标注为假；

9、在训练过程中，利用三维空间的三线性插值，计算目标区域标注为真的权重；

10、在所述权重大于预设阈值的情况下，计算该区域的采样点的颜色，并通过反向传播，更新参数；

11、在所述权重小于所述预设阈值的情况下，则不对该区域的采样点的颜色进行计算。在一些实施例中，所述三维形变场?？榧扑忝扛鱿袼氐阈伪淞康墓贪ǎ?/p>

12、初始化随机时间戳特征向量集合；

13、利用时间位置插值与频率编码器方法相结合，得到每个像素点相较于时间为0的帧的形变场。

14、在一些实施例中，所述三维形变场?？榘ㄆ卟闳硬?；

15、利用所述三维形变场?？榧扑忝扛鱿袼氐阈伪淞康墓?，具体包括：

16、输入需要合成新视角的时间t，并根据t从时间戳特征中进行插值获取时间特征向量ft；输入需要查询的采样点的三维坐标x，根据频率编码器获取全频特征向量fx；

17、利用所述三维形变场?？榈牡谝蝗硬愣运鍪奔涮卣飨蛄縡t和全频特征向量fx合并进行特征提取，得到第二层中间特征p2；

18、利用所述三维形变场?？榈牡诙硬愣运龅诙阒屑涮卣鱬2进行特征提取，得到第三层中间特征p3；

19、利用所述三维形变场?？榈牡谌硬愣运龅谌阒屑涮卣鱬3进行特征提取，得到第四层中间特征p4；

20、利用所述三维形变场?？榈牡谒娜硬愣运龅谒牟阒屑涮卣鱬4进行特征提取，得到第五层中间特征p5；

21、利用所述三维形变场?？榈牡谖迦硬愣运龅谖宀阒屑涮卣鱬5进行特征提取，得到第六层中间特征p6；

22、利用所述三维形变场?？榈牡诹硬愣运龅诹阒屑涮卣鱬6进行特征提取，得到第七层中间特征p7；

23、对所述第七层中间特征p7通过tanh进行范围映射到三维形变δx。

24、在一些实施例中，利用三维特征场?？槿范ㄈ勘晏卣鞯墓?，具体包括：

25、利用采样点的三维坐标x通过频率编码器，得到编码后的全频特征向量fxr；

26、将编码后的全频特征向量fxr与预先构建的特征向量集中的每一个向量，通过投影矩阵映射到多个特征空间，以分别得到每个特征空间的基s；

27、计算编码后的全频特征向量fxr与每个特征空间的基的内积，并通过softmax作为权重，与对应的特征向量进行加权，得到三维目标特征fs。

28、在一些实施例中，利用三维辐射场?？?、基于所述三维目标特征重建出三维空间密度和三维空间点颜色的过程，具体包括：

29、提取所述三维目标特征fs的插值过程信息，得到插值解码fst；

30、基于插值解码fst对三维空间密度进行特征提取，得到空间密度σ；并基于插值解码fst和视角信息v得到颜色信息c；

31、最后根据预测的空间密度σ和颜色信息c，通过体积分得到目标像素的颜色。

32、本发明还提供一种基于动态三维模型的图像处理装置，所述装置包括：

33、图像获取单元，所述图像获取单元用于获取待处理图片，并对所述待处理图片进行光线采样，得到采样点的三维坐标；

34、形变场单元，所述形变场单元用于接收所述采样点的三维坐标，并计算每个像素点形变量；

35、辐射场单元，所述辐射场单元包括用于确定三维目标特征的三维特征场?？?、利用插值解码器获取局部空间的特征插值解码器?？?、用于基于所述三维目标特征重建出三维空间密度和三维空间点颜色的三维辐射场?？?；

36、渲染单元，所述渲染单元包括用于生成完整的动态三维目标图像的三维体积分?？?。

37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于动态三维模型的图像处理方法。

38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于动态三维模型的图像处理方法。

39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于动态三维模型的图像处理方法。

40、本发明提供的基于动态三维模型的图像处理方法和装置，通过获取待处理图片，并对所述待处理图片进行光线采样，得到采样点的三维坐标；将所述采样点的三维坐标输入预先训练的三维动态模型中，以得到所述三维动态模型输出的合成后的动态三维目标图像。在图像处理过程中，该方法和装置对光线进行采样，将采样点的三维坐标作为神经网络的输入；利用全局空区域掩码对训练过程进行加速，重点优化三维空间中存在目标物体的部分；初始化随机时间戳特征向量集合，利用时间位置插值与频率编码器方法相结合，得到每个点相较于时间为0的帧的形变??；初始化随机三维特征空间集合；利用坐标向量与特征空间向量求内积决定向量相似度，作为权重求解空间特征；进一步利用插值解码器获取局部空间特征；利用局部空间特征和视角信息，得到三维空间点的空间密度和空间颜色；利用空间密度和空间颜色，使用体素渲染的策略，完成新视角、新时间戳下的目标像素的颜色合成。

41、该方法和装置具有极小空间参数量占用的优点，并且能在保证速度的前提下，达到目前最好的渲染效果；并且，利用时间空间解耦的策略，减少了参数量的同时，提高了网络的学习能力，达到了非常好的渲染效果。从而解决了模型占用空间和渲染质量无法兼顾的问题，从而使得图像处理模型所占空间较小的同时，具有较好的渲染质量。