修补深度图，仍是黑色图像边框

Question

我试图使用here描述的方法修复深度图的缺失深度值。总结方法：

1. DOWNSIZE深度图以20中的原始大小
2. 补绘的小型化的图像中的全黑（未知的）像素
3. 升迁到原来的大小
4. 在替换所有的黑色像素％具有相应值的原始图像

超级简单，一切正常。显示结果的视频可以在here找到。

但是，我想知道为什么左边和上边的图像边框仍然是黑色，尽管它们应该被修补（可以在视频中看到）。我的第一个想法是，这可能需要做一些边界插值（图像边界外的黑色像素），但是我希望这也会发生在其他图像边界上。我的第二个想法是，这是使用的修复方法（Alexandru Telea方法）特有的，但将其改为基于Navier-Stokes的方法并未改变结果。

有人可以向我解释为什么会发生这种情况，如果可能的话如何告诉OpenCV也修复这些区域？

在此先感谢。

Answer 1

在@theodore询问http://answers.opencv.org/question/86569/inpainting-depth-map-still-black-image-borders/?comment=86587#comment-86587后，我用示例图像测试了inpaint的行为。它看起来不能正确处理边框，因此可以使用创建边框cv::copyMakeBorder。

这里的扩展版本，以某种单元测试：

int main(int argc, char* argv[]) 
{ 
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png"); 
    cv::Mat img; 
    cv::cvtColor(input, img, CV_BGR2GRAY); 

    cv::Mat inpainted; 
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image 
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 


    double inpaintRadius = 5; 
    int makeBorder = 1; 
    cv::Mat borderimg; 
    cv::copyMakeBorder(img, borderimg, makeBorder, makeBorder, makeBorder, makeBorder, cv::BORDER_REPLICATE); 
    cv::imshow("border", borderimg); 
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 

    cv::Mat originalEmbedded = borderimg(cv::Rect(makeBorder, makeBorder, img.cols, img.rows)); 
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorder, makeBorder, img.cols, img.rows)); 


    cv::Mat diffImage; 
    cv::absdiff(img, originalEmbedded, diffImage); 
    cv::imshow("embedding correct?", diffImage > 0); 

    cv::Mat mask = img == noDepth; 
    cv::imshow("mask", mask); 


    cv::imshow("input", input); 
    cv::imshow("inpainted", inpainted); 
    cv::imshow("inpainted from border", inpaintedEmbedded); 
    cv::waitKey(0); 
    return 0; 
} 

这里的简化版本，如果你认为它是正确的：

int main(int argc, char* argv[]) 
{ 
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png"); 
    cv::Mat img; 
    cv::cvtColor(input, img, CV_BGR2GRAY); 

    cv::Mat inpainted; 
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image 
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 

    double inpaintRadius = 5; 
    int makeBorderSize = 1; 
    cv::Mat borderimg; 
    //cv::copyMakeBorder(img, borderimg, borderSize, borderSize, borderSize, borderSize, cv::BORDER_REPLICATE); 
    cv::copyMakeBorder(img, borderimg, makeBorderSize, makeBorderSize, makeBorderSize, makeBorderSize, cv::BORDER_REPLICATE); 
    //cv::imshow("border", borderimg); 
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 

    // extract the original area without border: 
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorderSize, makeBorderSize, img.cols, img.rows)); 



    cv::imshow("input", input); 
    cv::imshow("inpainted from border", inpaintedEmbedded); 
    cv::waitKey(0); 
    return 0; 
} 

这里的输入：

这是带边框的输入（bordersiz E（5）可视化效果越好）：

下面是输出：