本发明公开了一种基于张量高斯混合表示的多视图合成方法、电子设备、介质,包括:初始化三维高斯体集合;设置全局外观字典,从局部张量网格中提取每一三维高斯体对应的特征向量;将每一特征向量以及目标图片对应的相机位姿分别输入至第一、第二多层感知机,得到每一三维高斯体对应的不透明度和颜色;对每一已知不透明度和颜色的三维高斯体添加掩码;对添加掩码后的三维高斯体集合进行光栅化,得到合成的多视图;完成1次迭代;基于目标图片与合成的多视图计算均方差损失,反向传播优化,优化三维高斯体的尺度、方向、位置,优化局部张量网格,第一、第二多层感知机,全局外观字典的参数,重复进行迭代,直至合成的多视图与目标图片一致。
📄 202411163706X
📂 G06T15_20
👤 浙江工业大学
📅 2024-08-23
本发明提供一种三维重建方法、装置、系统以及存储介质,属于图像处理领域,方法包括:导入原始视频,对原始视频进行分割得到图像序列;对图像序列进行分析得到模型视图透视矩阵以及掩码图像;构建原始矩阵组,通过原始矩阵组构建初始重建模型;通过初始重建模型对模型视图透视矩阵以及掩码图像进行渲染处理得到渲染图像。本发明可以仅仅通过2D图像信息监督模型,生成的3D模型具有可观的点面结构与点面数量,在游戏、虚拟现实产业以及数字化文物领域有着重要意义,减少了人工建模带来的人力、财力以及时间成本。
📄 2023110849042
📂 G06T15_20
👤 华东交通大学
📅 2023-08-28