与不同相机（不同视场，不同视角）拍摄的图像相匹配的立体声不匹配

Question

我试图深入了解场景中的某些对象，并且我不想使用除相机之外的任何其他传感器（我可以使用两个摄像头）。

所以，我认为它应该是'立体声匹配'的问题，我打算从立体图像中提取视差图以获取深度信息。

但问题是，我有限制，如：

1. 两个摄像头不对齐。 （x，y，z）所有位置都不相同。
2. 两台摄像机的FOV（视野）不同。一个比另一个宽。
3. 两台相机的视点不同。
4. 两台摄像机有不同的分辨率。

在这种情况下，是否可以正确进行立体匹配？ 如果是这样，怎么可能？

我知道，对于立体匹配，极线几何和基础矩阵非常重要。 但据我所知，基本矩阵总是属于一个相机。 两台相机的两个基本矩阵之间的关系是否可以解决这个问题？

谢谢。

---------------------------------编辑------------ -------------------------

Stereo image under different camera, resolution, viewpoint, FOV

Rectified image

通过MATLAB的立体相机校准，我stereoParams和我使用它进行了整改。

但矫正的图像太扭曲得不到视差图。

我不知道我是否正确或不正确。

有什么建议吗？谢谢。

Answer 1

是的，这是可能的。由于您的立体声设置，您的相机和视野不同，我认为您首先需要进行相机校准，校准后您对图像进行如下修正。 Epipolar

在这之后，您将定期进行立体声设置，并使用已知的相机几何体。然后你可以提取差异。 有一个很好的教程在这里：ROS Steroe Calibration