三维视觉

从基础的2D图像几何到先进的3D视觉技术,循序渐进地学习3D视觉核心知识。

相机成像模型

了解针孔相机模型和透视投影原理,是理解3D场景如何映射到2D图像的基础。

核心公式:

P = K [R|t] X

了解更多

基本矩阵

基本矩阵F描述了两个视图之间的几何关系,表达了同名点之间的约束条件。

核心约束:

对于图像点对p和p',有p'^T F p = 0

了解更多

本质矩阵

本质矩阵E考虑了相机内参,直接描述了两个视图之间的相对姿态关系(旋转和平移)。

核心关系:

E = t×R,其中t是平移向量,R是旋转矩阵

了解更多

相机位姿估计

学习如何从本质矩阵恢复相机的位置和朝向,是3D重建和SLAM中的关键步骤。

核心任务:

从本质矩阵分解得到旋转矩阵R和平移向量t,确定相机在3D空间中的位置和朝向

了解更多

3DGS数据准备

准备用于3DGS训练的图像数据集,并通过SfM技术生成初始点云和相机参数。

关键任务:

  1. 1. 多视角图像采集
  2. 2. SfM重建获取初始点云
  3. 3. 相机参数初始化
了解更多

3DGS初始化

从SfM生成的稀疏点云初始化3D高斯分布,为每个点分配位置、协方差和颜色参数。

核心操作:

  1. 1. 点云转换为高斯分布
  2. 2. 初始化协方差矩阵
  3. 3. 设置初始颜色和透明度
了解更多

3DGS优化

通过密集渲染和梯度下降优化高斯参数,提高重建质量和渲染效果。

优化目标:

  1. 1. 位置参数优化
  2. 2. 协方差矩阵优化
  3. 3. 颜色和透明度优化
了解更多

3DGS渲染

使用优化后的3D高斯分布进行实时渲染,生成高质量的3D场景视图。

渲染特点:

  1. 1. 实时高斯Splatting
  2. 2. Alpha混合与深度排序
  3. 3. 多平台高效渲染
了解更多