基于模型的增量式异常值检测

Question

我正在处理流式数据（使用Java和Apache Flink），我想执行异常值检测。我有一个网络，每个传感器接收流。 然后，他们将其流的采样版本发送到组合所有样本并生成全局模型的“领导者”节点。

之后，它将全局模型发送给每个孩子。孩子们将使用这个模型来检测异常值。 这必须以连续的方式发生（即每次领导者接收x个样本时，其更新模型并广播它）。

我发现的论文/方法遇到的问题是，为了构建模型，我需要拥有所有数据，这是不可能的。领导者也不可能存储它收到的所有样本。

我写了一个小例子：

传感器A接收到一些数据并将其发送到领导

传感器B接收的一些数据并将其发送到领导

领域的领导者使用收到值来构建广播的模型。

两个传感器接收其他数据，对于每个值，他们使用接收到的模型执行异常值检测。 然后他们将新数据发送给领导。

领导者更新模型并将新的更新模型发送给子女。

我可以使用哪种方法来获得这样的行为？

Answer 1

解决这个问题的方法是让领导将模型更新写入Kafka主题，并让A和B读取来自Kafka的模型更新（除传感器流之外）。

更新：

一个相当简单的算法，用于检测孤立点/异常那是非常适合于流是叔消化（是的，它的工作原理增量）。 This page from mapr会带你到更多的信息。