OpenCV Center同形异形

Question

我想创建一个拼接算法。我已经成功地通过一些必要的调整来创建它。下面的照片是我的拼接程序的例子。我可以向它提供的图像（的无序列表，只要图像是在飞行路径或并排而不管它们的取向也将努力彼此。

的问题是，如果图像假设找到关键点，匹配和单应性都是正确的。

通过改变这段代码有没有办法将第一张图像居中放置到目标空白图像上，然后仍然缝到它上面，并且我在堆栈溢出（Opencv Image Stitching or Panorama）上得到了这个代码，我不完全确定它是如何工作的，并且如果有人可以解释它。

感谢您提前提供任何帮助！

Mat stitchMatches(Mat image1,Mat image2, Mat homography){ 
    Mat result; 
    vector<Point2f> fourPoint; 
    //-Get the four corners of the first image (master) 
    fourPoint.push_back(Point2f (0,0)); 
    fourPoint.push_back(Point2f (image1.size().width,0)); 
    fourPoint.push_back(Point2f (0, image1.size().height)); 
    fourPoint.push_back(Point2f (image1.size().width, image1.size().height)); 
    Mat destination; 
    perspectiveTransform(Mat(fourPoint), destination, homography); 

    double min_x, min_y, tam_x, tam_y; 
    float min_x1, min_x2, min_y1, min_y2, max_x1, max_x2, max_y1, max_y2; 
    min_x1 = min(fourPoint.at(0).x, fourPoint.at(1).x); 
    min_x2 = min(fourPoint.at(2).x, fourPoint.at(3).x); 
    min_y1 = min(fourPoint.at(0).y, fourPoint.at(1).y); 
    min_y2 = min(fourPoint.at(2).y, fourPoint.at(3).y); 
    max_x1 = max(fourPoint.at(0).x, fourPoint.at(1).x); 
    max_x2 = max(fourPoint.at(2).x, fourPoint.at(3).x); 
    max_y1 = max(fourPoint.at(0).y, fourPoint.at(1).y); 
    max_y2 = max(fourPoint.at(2).y, fourPoint.at(3).y); 
    min_x = min(min_x1, min_x2); 
    min_y = min(min_y1, min_y2); 
    tam_x = max(max_x1, max_x2); 
    tam_y = max(max_y1, max_y2); 

    Mat Htr = Mat::eye(3,3,CV_64F); 
    if (min_x < 0){ 
     tam_x = image2.size().width - min_x; 
     Htr.at<double>(0,2)= -min_x; 
    } 
    if (min_y < 0){ 
     tam_y = image2.size().height - min_y; 
     Htr.at<double>(1,2)= -min_y; 
    } 


    result = Mat(Size(tam_x*2,tam_y*2), CV_32F); 
    warpPerspective(image2, result,  Htr, result.size(), INTER_LINEAR, BORDER_CONSTANT, 0); 
    warpPerspective(image1, result, (Htr*homography), result.size(), INTER_LINEAR, BORDER_TRANSPARENT,0); 
    return result;` 

Answer 1

通常很容易居中图像;您只需创建一个填充了零（或任何想要的颜色）的较大矩阵，然后在中心定义一个具有相同图像大小的ROI，然后将其放置在那里。但是，一般情况下，您无法在两张图片上进行此操作。问题是，如果图像被移动或旋转，以致其部分位于目标图像边界之外，那么从warpPerspective返回的扭曲图像在这些边界处被切断。你需要做的是创建填充图像，插入没有被翘曲的图像，只要你喜欢，并修改转换（在这种情况下单应性），通过在翻译中添加这些像素。

例如，如果您的居中图像的填充图像中的左上角点为(400,500)，则需要将(400, 500)的翻译添加到您的单应性中，以便将像素映射到正确的空间，并且只要你填充的图像足够大，它们都不会被切断。

您需要创建一个平移单应矩阵，并将其与您的原始单应矩阵进行组合以添加翻译。例如，假设您填充图像中未扭曲图像的锚点位于(x,y)。单元翻译由最后两列给出;如果你的单应性是3x3矩阵H然后（使用正常的数学索引）H(1,3)是你的翻译x和H(2,3)是在你的单应式给出的y的翻译。因此，我们需要创建一个新的身份单应H_t和添加这些翻译：H_n = H_t * H：

 1 0 x 
H_t = 0 1 y 
     0 0 1 

然后你就可以用你原来的单应H（使用矩阵乘法）撰写此。使用新的单应性H_n，我们可以像往常一样使用warpPerspective将图像变形到该填充空间中，并将其添加到正确的点上。

您也可以自动执行此操作，以便根据需要精确地填充图像，以便不会出现多余的填充并且填充只会根据需要拉伸。请参阅我的回答here，详细了解如何计算并将图像变形为填充空间。