从基础的2D图像几何到先进的3D视觉技术,循序渐进地学习3D视觉核心知识。
了解针孔相机模型和透视投影原理,是理解3D场景如何映射到2D图像的基础。
P = K [R|t] X
基本矩阵F描述了两个视图之间的几何关系,表达了同名点之间的约束条件。
对于图像点对p和p',有p'^T F p = 0
本质矩阵E考虑了相机内参,直接描述了两个视图之间的相对姿态关系(旋转和平移)。
E = t×R,其中t是平移向量,R是旋转矩阵
学习如何从本质矩阵恢复相机的位置和朝向,是3D重建和SLAM中的关键步骤。
从本质矩阵分解得到旋转矩阵R和平移向量t,确定相机在3D空间中的位置和朝向
准备用于3DGS训练的图像数据集,并通过SfM技术生成初始点云和相机参数。
从SfM生成的稀疏点云初始化3D高斯分布,为每个点分配位置、协方差和颜色参数。
通过密集渲染和梯度下降优化高斯参数,提高重建质量和渲染效果。
使用优化后的3D高斯分布进行实时渲染,生成高质量的3D场景视图。