fault-tolerance

    4热度

    2回答

    我们正在尝试使用Clojure编写的ETL作业的lambda。 我们的体系结构是调度器将触发父lambda,然后父lambda触发100儿童lambda和计数器lambda。孩子完成工作后,会将数据写入s3。计数器lambda将检查S3中的文件数量,如果它是100,那么它将组合所有文件并将其保存到S3,否则它将跨越新的计数器lambda并死亡。 所有积极的方案工作正常,但如果任何孩子失败,那么计数

    0热度

    1回答

    我们正在运行TWSzOS作为MDM的End-2-End配置。 MDM &所有当前的FTA都是8.5.1,我试图升级所有内容,但是我目前有一个安装新FTA的请求,我不想安装另一个支持8.5.1代理。我遇到的问题是我无法弄清楚我需要哪个安装包。我只能达到9.2,因为这与我们的服务提供商现在一样高。我是否需要IBM Tivoli Workload Scheduler for z/OS Agent或IBM

    1热度

    1回答

    我正在考虑在我们的解决方案中使用Apache camel来实现EIP模式。我们的要求是建立一个可以从故障中恢复的容错系统。 我了解Apache Camel(死信通道)提供的本地错误处理功能,它们满足我的要求。 但是,我不清楚如何配置我们的解决方案,以便我们可以从致命错误(例如JVM崩溃)中恢复。 在JVM崩溃后,让Camel应用程序从最后一个已知状态重新启动的最佳方式是什么?考虑我没有使用持久队列

    0热度

    1回答

    有人可以举例说明如何以编程方式获取Windows上当前运行的C++程序的调用堆栈吗? 来自某些主题(例如print call stack in C or C++)我有一个建议使用DbgHelp。然而,这个库看起来相当庞大,并且打算用于更多的功能而不仅仅是调用堆栈,因此在没有示例的情况下学习库可能需要很长时间。 此外,该库似乎已过时,因为它的最后一个版本6.12的日期为2010年2月1日(截至目前为

    0热度

    5回答

    我正在做一个简单的程序,创建一个购物清单。现在,我无法将空白输入添加到我的列表中:当我用空格键或空格键输入时,它会将空白输入添加为项目。有没有简单的方法来防止这种情况? 例如像这样的容错性: #Enter your item or command: #Shopping items cannot be blank. #Enter your item or command: #Shopping

    4热度

    1回答

    很多人说: Spark不会复制hdfs中的数据。 Spark将操作放置在DAG图中.Spark构建RDD谱系。如果一个RDD丢失了,他们可以在血统图的帮助下重建。 所以不需要数据复制,因为RDDS可以从血统图重新计算。 我的问题是: 如果一个节点出现故障,火花只会重新计算RDD分区失去了这个节点上,但哪里的recompution过程所需的数据源从何而来?当节点失效时,你的意思是它的父RDD还在吗?

    1热度

    2回答

    我想模拟容错行为。我写了“硬”功能,不时失败。例如: def myMap(v: String) = { // print task info and return "Ok" or throw exception val context = TaskContext.get() val r = scala.util.Random val raise = r.ne

    2热度

    1回答

    我很想了解Spark如何实现容错。在他们的paper中,他们描述了他们如何为像地图这样相当简单的“狭义依赖性”做到这一点。但是,如果一个节点在像排序操作这样的广泛依赖之后崩溃,他们不会说明他们做了什么。我能找到的唯一的事情是这样的: 相比之下,具有广泛的依赖关系的谱系图,一个失败的节点可能会导致某些分区的损失从RDD的所有祖先,需要一个完整的重执行。 这对于理解发生的事情并不足够。 排序后,没有办

    4热度

    1回答

    Julia如何公开容错 - 当节点故障时(有意或无意)以及节点之间的通信故障时。 我看到有这样一个功能的few mentions,但无法确切知道如何完成。

    1热度

    1回答

    我一直在考虑如何测试我的容错机器。 但我似乎无法进行适当的测试。 我该如何计算VMware从主虚拟机切换到次虚拟机的时间?