是否有可能在背景的大部分是大屏幕（播放视频）的视频中提取前景？

Question

我正在研究使用一系列kinect相机的多视图远程呈现项目。
为了改善我们想要提取前景的视觉质量，例如，站在中间的人使用彩色图像，彩色图像而不是深度图像，因为我们想要使用更可靠的彩色图像来修复深度图像中的一些人为因素。

现在的问题是前景物体（通常是1-2人）站在一个巨大的屏幕前方，显示远程呈现系统的另一方（它也一直在移动），并且该屏幕对于某些人来说是可见的的动物。是否仍然有可能为这些运动物提取前景，如果是这样，你能指出我正确的方向吗？

对于现有系统的一些详细信息：
我们已经拥有了系统运行的合并所有kinects的深度图，但只得到我们好远。 kinect深度传感器存在很多问题，例如干扰和传感器距离。 同样的颜色和深度传感器有轻微的偏移，所以当你映射上的网格的颜色（如质地）使用深度数据你有时地图上的人在地板重建。

所有这些问题降低了深度数据的总体质量，而不是颜色数据，因此人们可以观看彩色图像轮廓的“真正的”一个和深度一个为“破”之一。但是网格是使用深度数据构建的。所以改善深度数据等同于提高系统的质量。
现在，如果您有剪影，您可以尝试删除/修改轮廓之外的不正确的深度值和/或在

之间添加缺少的深度值

感谢您提供的每一个提示。

Answer 1

在我遇到这样的问题时，你提出的策略是而不是最好的选择。

当你有一个非固定的背景，你要解决的问题实际上是二维分割。这是一个难题，人们通常使用深度来使分割更容易，而不是相反。我会尝试从Kinects，以提高你的深度图像，也许在Kinect fusion种方式，或使用经典sensor fusion技术结合/合并多个深度贴图。

如果您完全确定遵循您的策略，您可以尝试使用不完美的深度图组合Kinects的RGB照相机图像，以便重建背景的完整视图（无需前方人员遮挡）。但是，由于屏幕上的背景图像不断变化，这将需要您的Kinects的RGB摄像机同步，我认为这是不可能的。

编辑的意见/更新

我想利用你的屏幕上的图像的知识是你唯一做背景减法的轮廓增强的机会的光。如果我理解正确，我会发现这是一个棘手的问题，因为场景是立体显示器。

你可以试着计算描述你的Kinect的RGB摄像头看到的模型（假设立体显示及其位置，传感器等类型），当您在屏幕上显示特定图像，基本上是一个功能告诉你：Kinect的当我在我的显示器上以(x',y')像素显示(r',g',b')时，K看到(r, g, b)，像素为(x, y)。要做到这一点，您必须创建一系列校准图像，然后在显示屏上显示，无需站在前方，然后使用Kinect进行拍摄。这将允许您预测Kinect相机中的屏幕外观，从而计算背景扣除。这是一项相当具有挑战性的任务（但它会给出一个好的研究论文，如果它工作的话）。

附注：您可以轻松计算Kinect深度相机与其彩色相机的几何关系，以避免在地图上绘制人物。一些Kinect API允许您检索深度相机的原始图像。如果您覆盖红外投影仪，则可以使用深度和RGB相机拍摄校准图案，并计算外部校准。