cluster-computing

0热度

1回答

我正在Bluehive中运行代码。代码有一些参数N.如果N很小，那么代码运行得很好。但是，对于稍微大的N（例如N = 10）的码被运行数个小时，并在结束时我收到以下错误消息： slurmstepd: error: Exceeded step memory limit at some point. 其中我提交批处理文件有以下代码： #!/bin/bash #SBATCH -o log.%a.t

2热度

2回答

可以通过互联网使用卡夫卡吗？

卡夫卡适合网络使用吗？更确切地说，我想要的是将kafka主题公开为“公共接口”，然后外部消费者（或生产者）可以连接到它。可能吗？如果我想在内部和外部网络中使用集群，我听说有问题，因为很难配置advertised.host.name。真的吗？我还必须公开zookeepr吗？我认为新的消费者/制片人api不再需要这一点。

0热度

1回答

卡桑德拉多相DC：需要写在本地和从任何DC

我的项目需要阅读是这样的。我们使用多数据中心（DC）cassandra集群。在写入集群期间，我只希望LOCAL DC在其节点上执行写操作，因为我们已经根据写入启动的源，将写请求路由到所需的DC。所以，我只需要LOCAL DC来处理写操作，而不需要其他DC来在其节点上执行写操作。但后来凭借跨DC的节点之间的复制，我希望跨数据中心复制写入的数据。当我首先限制写入只有一个DC时，是否可以跨DC进行这种复

1热度

1回答

为什么集群模式比Spark中的客户端模式慢得多？

我有使用GraphFrame创建的15k图形对象。这些图很小（10-100个节点，每个图10-100个边）。我只需要在每个图上应用最短路径和某些其他算法。我目前的实现是使用for循环遍历所有15k图形。令人惊讶的是，集群模式比客户端模式慢得多。我处理了10张图。以下是客户端模式和集群模式的性能指标。我试图找出为什么集群模式比客户端模式慢。我无法理解指标。配置为群集（火花独立）配置为客户端模式

1热度

1回答

如何为每个任务设置1 gpu的slurm/salloc，但让工作使用多个gpus？

我们正在寻找与slurm salloc GPU分配一些意见。目前，给定： % salloc -n 4 -c 2 -gres=gpu:1 % srun env | grep CUDA CUDA_VISIBLE_DEVICES=0 CUDA_VISIBLE_DEVICES=0 CUDA_VISIBLE_DEVICES=0 CUDA_VISIBLE_DEVICES=0 但是，我们希望不仅仅

0热度

1回答

纱线簇上的spark scala csv export

我有一个5个节点的簇，部署了YARN。 2个Namenodes和3个Datanodes。虽然我的代码是在spark中提交的。我试图将数据导出到csv，但是当我这样做时，数据会被导出到2个datanodes，并且两个导出文件夹中都会有不同的内容。一个会有_SUCCESS文件，另一个会有导出的csv（part- *）。我的应用程序结束了一个空白路径，因为有时具有_SUCCESS文件的节点和运行应用程序

0热度

1回答

Web服务器使用tomee多个ejb服务器呼叫

我正在使用TomEE服务器，我想将我的ejb应用程序部署到多个实例并希望使用Web应用程序访问它。我想在Web应用程序和ejb应用程序之间添加负载平衡器。我怎样才能做到这一点。我已经有一个使用mod_jk的web应用程序多个实例的负载平衡器，但我需要在INITIALCONTEXT属性文件中的某处配置此配置。附上我想要构建我的应用程序体系结构的照片。 architecture pic 我在这

0热度

1回答

DRBD - 裂脑问题

使用带有起搏器的2节点DRBD（v9.0）集群。 STONITH已禁用。我已经重新启动了我的节点2（它充当主节点）。然后重新启动后，我无法登录，并显示发生了裂脑。我该如何避免这种情况？如果我启用了STONITH，它会被修复吗？如果两个节点都写入了一些数据会发生什么？

0热度

1回答

如何将janusgraph与现有的hadoop集群进行整合

我是大数据新手，目前正努力将janusgraph整合到现有的hadoop集群。你能告诉我怎么做，或者请提供一个资源链接。

2热度

1回答

在MapReduce中使用更多Reducer的优缺点是什么？

MapReduce编程全部是关于并行处理的，那么为什么我们在很多情况下从单个reducer开始。在MapReduce中增加更多减速器有哪些优缺点？