在Apache flink的节点之间共享数据集的最佳方式是什么？

Question

我使用Apache Flink处理数据流，并且需要在处理输入数据的所有节点之间共享索引。索引经常被节点更新。

我想知道，从效率的角度来看，通过广播变量共享数据集是否是一种很好的做法？

广播变量是否会在每次更新后在所有节点中更新？

Apache Flink是否智能地更新广播变量以适应最近的更改？

Answer 1

我认为解决方案在于使用基于Flink的受管状态描述符的有状态函数。如果状态不可分区，请为您的操作员设置并行度。