我正在设计一个分布式系统,其中包含一定数据流。我想保证在任何给定时间至少有N个节点具有近乎当前的数据。 我不需要完整的一致性,只有最终的一致性(在任何时刻t.i.,数据的当前快照最终应该出现在至少N个节点上,这里很难定义术语“当前”,但仍然)。节点可能会失败并随时恢复,并且没有单个“中央”节点。 O溢出!将我指向一些描述复制方案的优秀论文。到目前为止,我发现了一个:Consistency Mana
我希望我的Azure角色为reprocess data in case of sudden failures。我考虑以下选项。 对于要处理的每个数据块,我都有一个数据库表行,并且可以添加一个表示“处理节点上一次ping的时间”的列。因此,当一个节点抓取一个数据块进行处理时,它将“处理”状态和该时间设置为“当前时间”,然后节点负责每隔一分钟更新一次该时间。然后周期性地,一些节点会要求“所有的处理状态