计算机视觉和摄影测量中四个核心的坐标系:世界坐标系、相机坐标系、图像坐标系和像素坐标系。理解它们之间的关系对于理解3D世界如何映射到2D图像至关重要。

1. 视觉四个坐标系的定义

(1)世界坐标系(World Coordinate System,WCS)

这是一个全局的、固定的三维直角坐标系。它用来描述场景中所有物体(包括相机本身)的位置和方向。原点可以任意选择,通常选在场景中的一个方便的点(如地面上的一个角点或者一个标志物)。坐标轴通常定义为Xw, Yw, Zw,坐标轴方向也是任意的,但通常会选择一个符合直觉的方向(如Zw向上)。单位通常是米 (m) 或其他物理长度单位。

世界坐标系的作用是提供一个统一的参考框架来描述整个三维场景。所有其他坐标系的位置和姿态最终都是相对于这个坐标系定义的。

注意:世界坐标系是客观的,独立于相机。

(2)相机坐标系(Camera Coordinate System,CCS)

这是一个固定在相机上的三维直角坐标系,以相机光心为坐标原点,坐标轴定义如下:

Zc轴 (光轴): 指向相机的拍摄方向(正前方)。这是最重要的轴。

Xc轴: 通常与成像平面的水平方向平行,指向右侧。

Yc轴: 根据右手定则确定 (Yc=Zc×Xc),通常指向下方(与成像平面的垂直方向平行)。

单位与WCS相同(如米)。

相机坐标系的作用是描述从相机视角看到的场景点的位置。一个点 P 在相机坐标系中的坐标 (Xc, Yc, Zc) 表示该点相对于相机光心的位置,其中Zc是该点到相机光心沿光轴方向的距离(深度)。

(3)图像坐标系(Image Coordinate System,ICS)

这是一个建立在相机成像平面上的二维坐标系。这个平面位于光心后方距离焦距f 处(根据针孔相机模型)。原点为光轴 Zc与成像平面的交点,称为主点(Principal Point)。

注意:这个原点通常在图像中心附近,但可能因镜头畸变或制造误差而略有偏移。

坐标轴定义如下:

x轴:通常与相机坐标系的 Xc轴平行(向右)。

y轴:通常与相机坐标系的 Yc轴平行(向下)。

单位是物理长度单位(通常为毫米mm)。

(4)像素坐标系(Pixel Coordinate System,PCS)

这是最终的数字图像所使用的二维坐标系。数字图像由离散的像素组成。原点通常位于图像的左上角,这是数字图像存储和处理的惯例(例如在OpenCV, PIL等库中)。

坐标轴定义如下:

u轴:水平方向,向右为正(与图像坐标系的 x 轴方向一致)。

v轴:垂直方向,向下为正(与图像坐标系的 y 轴方向一致)。

单位是像素(pixel)。

像素坐标系的作用是指定图像中具体像素的位置(第几行,第几列)。

2. 坐标系转换

(1)从世界坐标系到相机坐标系

由于相机在运动,所以点P的相机坐标Pc应该是它的世界坐标Pw根据相机的当前位姿,变换到相机坐标系下的结果。相机的位姿由它的旋转矩阵R和平移向量t来描述。那么有刚体变换公式为

齐次坐标形式为

(2)从相机坐标系到图像坐标系

从相机坐标系到图像坐标系就是直接运用针孔相机模型。

齐次坐标形式为

(3)从图像坐标系到像素坐标系

像素坐标系与成像平面之间,相差了一个缩放和一个原点的平移。

用数学式表达如下

齐次坐标形式为

dx,dy:表示图像单个像素的宽和高,单位为mm/pixel;

(cx,cy):表示图像中心点的像素坐标,即主光轴与sensor平面的交点。

(4)从相机坐标系到像素坐标系

上式中,其中,fx、fy的单位为像素。

我们把中间的量组成的矩阵称为相机的内参数矩阵K。

通常认为,相机的内参在出厂之后是固定的,不会在使用过程中发生变化。有的相机生产厂商会告诉你相机的内参;而有时需要你自己确定相机的内参,也就是标定。

(5)从世界坐标系到像素坐标系

其中,我们把旋转矩阵R和平移向量t组成的矩阵称为相机的外参数矩阵M。

注意:外参矩阵M 是一个4×4 矩阵,而不是 2×2。它由旋转矩阵 R 和平移向量 t 组成,用于将世界坐标系中的点(齐次坐标形式)转换到相机坐标系。

R:一个 3×3 的旋转矩阵(描述相机的方向)。

t:一个 3×1 的平移向量(描述相机的位置)。

03T:一个 1×3 的行向量,所有元素为 0(即 [0,0,0])。

1:一个标量值,确保齐次坐标的兼容性。

相比于不变的内参,外参会随着相机运动发生改变。内参K与外参M的乘积,是一个3×4的矩阵,称为投影矩阵,该矩阵可体现任意空间点的图像的像素坐标与世界坐标之间的关系。

通过从世界坐标系到像素坐标系的公式可知,若已知投影矩阵和空间点世界坐标,则可求得空间点的像素坐标,因此,在线性模型中,一个物点在成像平面上对应唯一的像点。但反过来,若已知像素坐标和投影矩阵,代入以上公式,只能得到关于空间点世界坐标的两个线性方程,这两个线性方程表示的是像点和光心的连线,即连线上所有点都对应着该像点,由此可知,在线性模型中,一个像点对应的物点并不具有唯一性,因此,只通过一幅图像对图像场景进行三维重建是不现实的。

总之,理解这四个坐标系及其转换关系是计算机视觉、机器人学、增强现实等领域的基础。它解释了3D世界如何通过相机镜头投影成2D图像,并揭示了如何通过相机标定(确定内参K和外参M)以及多视图几何等技术,从2D图像中推断3D信息(如深度、物体位姿)。

转自:小小光08

注:文章版权归原作者所有,本文内容、图片、视频来自网络,仅供交流学习之用,如涉及版权等问题,请您告知,我们将及时处理。