distributed-computing

0热度

2回答

我已经尝试了IceStorm Clock演示应用程序的方法，但一旦它进入运行（），它只是呆在那里

1热度

1回答

我是Condor的新手，想要在Condor上运行我的Python程序，但是很难做到这一点。我找到的所有教程都假设一个单独的Python程序，但是我的Python程序由多个包和文件组成，还使用其他库如numpy和scipy。在那种情况下，我如何让Condor运行我的程序？我应该将程序转换成某种可执行文件吗？或者，是否有任何将Python源代码转换到Condor机器并使Condor上的Python运行

1热度

1回答

使用Apache Kafka作为关键/值存储的副作用是什么？

我知道卡夫卡不是K/V店，但忍受着我。假设它大致使用下面的k/v API实现。每个键是一个主题，并且键的当前“值”被写入到该主题的最后一条消息： put(key, value) --> publish(topic=key, message=value) get(key) --> consume(topic=key, offset = last_offset - 1) 此外，假设状态不同卡夫卡

0热度

1回答

在Hadoop服务器上分配R处理

我目前有一个本地运行的R代码。它包含一个使用％dopar％函数成功并行化的foreach部分。我希望将此循环从单个CPU上的并行转换转换为Hadoop服务器上的分发。有人可以告诉我一个合适的方法，我应该使用哪些软件包？附加信息：我的Hadoop设置是一个Hortonworks HDP，我的foreach循环是尴尬的并行。我希望能够从本地并行化到集群分发以提高速度。只有计算/处理需要在群集上完成

1热度

1回答

如何在Play Framework for Java中的分布式集群中实现安全的节点间通信？

我的应用程序基于Java的Play Framework。我只是通过将相同的应用程序部署到多个服务器上并在它们之间分配Web请求来进行分发。每个节点将连接到同一个数据库。 Play Framework已经使用Netty，所以我可以选择使用HTTP请求进行节点之间的通信，但我不确定如何保护这些请求中的一部分，以便其中一些可以从浏览器中调用，即我正在使用该框架的网站仍然可以调用某些路由/ API端点，而

4热度

1回答

Redis的set命令是一个原子操作吗？

我试图使用Redis的set命令来实现一个最简单的分布式锁定组件，但我无法通过官方文档找到关于原子性的确切依据，Redis的'SET key value [EX seconds] [PX milliseconds] [NX|XX]命令是一个原子操作吗？

0热度

1回答

如何使用Java自定义比较订购火花RDD

我有一个实现这样一个比较类： public class MyObject<T> { public static class MyObjectComp<T> implements Comparator<MyObject<T>> { private LinkedHashSet<Integer> attrList; public MyObjectCo

1热度

1回答

Hazelcast - 将锁键与地图值关联以进行锁定监视的策略/算法？

我有一个要求，我找不到使用榛树IMap和ILock结构的解决方案。我需要跟踪通过分布式映射获取的所有锁定（在成功完成IMap.tryLock（K键）调用后获取的锁定）。每个成功获取的锁都必须与地图中的自定义对象关联/配对以进行跟踪。（这些自定义对象包含用于监视目的的特定于应用程序的更衣室信息。）我想要的是，当成功获取锁定时，与锁有关的相关自定义对象必须以自动方式自动放置到地图。并且当锁被

1热度

2回答

禁用Apache Flink日志记录

我使用的是运行时版本2.11和Flink Core 1.1.2的旧版本Apache Flink。由于与其他库的兼容性问题，我无法将其升级到较新的Apache Flink。我试图禁用运行时的节点日志记录，以尽量减少执行时间。我试着用下面的代码，但消息显示nethertheless： Log4jLoggerAdapter logger = (Log4jLoggerAdapter)LoggerFacto

1热度

1回答

Graph Engine如何“扇出搜索”工作？

我正在查看Graph Engine（不要与MSFT AD Graph混淆），但我对分布式“fanout search”有疑问。从我可以告诉对象保存在跨N台服务器分布式的方式。 N台服务器的这种分配不能在运行时改变基于某些配置设置，也可以是“只读” 没有“认证”的节点之间，就命令这是完全信任有效。我感到困惑以什么方式是数据分片/跨节点划分？在写入过程中可能成为瓶颈的“全局锁”有多大侵入性