如何处理遮挡和碎片化

Question

我正在尝试为uni项目实现一个使用计算机视觉的人员计数系统。目前，我的方法是：

1. 使用MOG2
2. 形态学滤波器去除噪声
3. 轨道团块
4. 计数斑点传递一个指定的区域（线）

问题背景减除如果人们以团体的身份出现，我的方法只能算一个人。从我的阅读中，我相信这就是所谓的遮挡。另一个问题是，当人们看起来与背景相似时（使用深色的衣服并穿过黑色的柱子/墙壁），这个blob是分开的，而它实际上是一个人。从我所读到的，我应该实现探测器+跟踪器（例如使用HOG检测人类）。但是我的检测结果很差（例如50％的误报率和50％的命中率;使用OpenCV人体检测器和我自己训练的检测器），所以我不相信将检测器用作跟踪的基础。感谢您的答案和阅读本文的时间！

Answer 1

没有单一的“好”的答案，这是处理遮挡（和背景减法）仍然是开放的问题！有几个指标可以帮助你和你的项目一起工作。

你想检测一个“blob”是一个人还是一群人。有几件事你可以做，以解决这个问题。

• 使用多台摄像机（这是不可能的一群人被检测为单个斑点，从各个角度）
• 尝试探测到人体的各个部分。如果您在一个blob上检测到两个头部，则会有多个人。对于3条腿，5条肩膀等也是如此。

关于跟踪“失去”的人（一个人走在另一个物体后面）的领域是推断它的位置。你知道一个人只能在两帧之间移动。考虑到这一点，您知道在图像中间检测到用户是不可能的，然后突然消失。在几帧看不到那个人之后，你可以放弃观察，因为这个人可能有足够的时间离开。

Answer 2

在视频监控序列中跟踪人员在研究界仍然是一个悬而未决的问题。然而particule filters (PF)（又名顺序蒙特卡罗）给遮挡和复杂场景提供了很好的结果。您应该阅读this。在biblio之后还有额外的例子源代码链接。

使用PF的一个优势是在计算时间方面通过检测（仅）检测的增益。

如果你走这条路，随意询问有关PF背后的数学更好的理解。