在计算机视觉和立体视觉系统中，极线校正（Epipolar Geometry）是一种重要的前置步骤，用于校正两个视角的图像，使得相对应的特征点在各自图像中的极线上对齐。这个过程能够简化后续的匹配算法，提高立体匹配的准确性。本文将介绍如何使用OpenCV和Python进行极线校正，并提供一个详细的代码示例。
在立体视觉中，两个摄像机拍摄同一个场景产生的图像之间存在几何约束，这些约束可以用极线和极点来描述。通过计算这些摄像机的本质矩阵或基础矩阵，我们能够利用这些几何关系来进行图像校正，这样在一个图像中找到的特征点，其对应点将会在另一图像的对应极线上。
安装OpenCV库（如果你还没有安装）：
pip install opencv-python• 1.
示例代码：
import cv2 import numpy as np # 读取立体图像对 img_left = cv2.imread('left.jpg', 0) # 0表示读取灰度图 img_right = cv2.imread('right.jpg', 0) # 初始化ORB检测器 orb = cv2.ORB_create() # 检测关键点和描述符 kp1, des1 = orb.detectAndCompute(img_left, None) kp2, des2 = orb.detectAndCompute(img_right, None) # 使用BF匹配器进行匹配 bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True) matches = bf.match(des1, des2) # 根据匹配结果提取匹配点对 points_left = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2) points_right = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2) # 计算基础矩阵 F, mask = cv2.findFundamentalMat(points_left, points_right, cv2.FM_LMEDS) # 从mask中选择内点对 points_left = points_left[mask.ravel() == 1] points_right = points_right[mask.ravel() == 1] # 计算校正变换 H1, H2 = cv2.stereoRectifyUncalibrated(points_left, points_right, F, img_left.shape[::-1]) # 应用校正变换 img_left_rectified = cv2.warpPerspective(img_left, H1, (img_left.shape[1], img_left.shape[0])) img_right_rectified = cv2.warpPerspective(img_right, H2, (img_right.shape[1], img_right.shape[0])) # 显示校正结果 cv2.imshow('Left Rectified', img_left_rectified) cv2.imshow('Right Rectified', img_right_rectified) cv2.waitKey(0) cv2.destroyAllWindows()
解释：
- 我们首先使用OpenCV的ORB特征检测器来检测两个图像中的关键点，并计算它们的描述符。
- 接着使用汉明距离以及暴力匹配方法来找到两幅图之间的匹配点。
- 使用
findFundamentalMat函数计算基础矩阵，并通过RANSAC算法筛选出内点对。 stereoRectifyUncalibrated函数根据所找到的对应点对和基础矩阵计算极线校正的变换矩阵H1和H2。- 使用变换矩阵对原始图像进行极线校正，得到校正后的图像。
- 显示校正后的图像。
结论： 极线校正是立体视觉处理中的关键步骤，它能够确保两摄像头拍摄的图像在进行特征匹配时更加准确。通过使用OpenCV提供的函数，我们可以有效地实施这一校正过程，从而为后续的3D重建等任务打下良好的基础。上述代码提供了一个极线校正的基本实现，适用于那些希望探索立体视觉基础的开发者和研究者。
