distributed

9热度

1回答

如何计算大型（> 10TB）数据集（可能采用分布式方式）的皮尔森互相关矩阵？任何有效的分布式算法建议将被赞赏。更新：我看了阿帕奇火花MLIB相关 Pearson Computaation: /home/d066537/codespark/spark/mllib/src/main/scala/org/apache/spark/mllib/stat/correlation/Correlation

-2热度

1回答

不支持XA协议的第三方系统

如何实现涉及不支持XA协议的第三方系统/ API的分布式事务？

0热度

1回答

运行分布式tensorflow例如用错误

我有三个节点运行一个分布式tensorflow，这是两个工人（一个具有GPU，一个不）和一个PS（无GPU）。该代码如下： from __future__ import print_function import tensorflow as tf import sys import time # cluster specification parameter_servers = ["

0热度

1回答

Distcc .distcc/zeroconf/hosts不包含主机

我从distcc中收到错误。我正在使用软件仓库中的软件包。下面是我的配置 $ cat /etc/default/distcc | grep -v \# STARTDISTCC="true" ALLOWEDNETS="127.0.0.0/16 10.0.0.0/8" LISTENER="0.0.0.0" NICE="10" JOBS="3" ZEROCONF="true" $ cat

-1热度

1回答

PHP Memcached不断写入死亡的服务器

我有这个烦人的问题，我似乎无法包裹我的头。问题在于我的PHP Memcached客户端不断尝试写入已死的服务器。当我检查服务器的统计数据，以$ memcached-> getStats（），它看起来是这样的： { "server1:11211": { "pid" : 15, "uptime" : 600 ... }, "server

3热度

1回答

如何连接分布式Go应用程序？

我有两个去应用程序运行在不同的机器上。我希望他们以本地快速方式相互沟通。我该如何做得更好？我与Erlang一起工作，发现它在那里实现的方式非常方便。 Go应用程序之间进行通信的首选方式是什么？

2热度

1回答

为什么提议者发送的接受请求具有与接受者相同的值？

在paxos算法的第二阶段，如果接受者之前已经选择了一个值，则提议者发出一个接受请求，其号码为n，值为v，它来自接受者。我的问题是提案人为什么这样做？因为一旦选择了一个值，它就是永久的并且不能改变，所以在这种情况下，提议者只是学习了在准备请求的响应中发送的选择值。为什么它会要求接受已经接受的价值？

0热度

1回答

分布式Tensorflow：类型错误：__init __（）得到了关键字参数“D型”

当运行的分布式tensorflow继inception distributed training tutorial，我遇到了以下错误多个值： Traceback (most recent call last): File "/home/AIJ/tf_models/models/inception/bazel-bin/inception/imagenet_distributed_train

2热度

1回答

以分布方式在Spark中读取CSV文件

我正在开发一个Spark处理框架，它读取大型CSV文件，将它们加载到RDD中，执行一些转换并在最后保存一些统计信息。有问题的CSV文件平均大约为50GB。我正在使用Spark 2.0。我的问题是：当我使用sparkContext.textFile（）函数加载文件，是否需要将文件保存在驱动程序的内存第一，然后将其分配给工人（因此在驱动程序上需要相当大的内存）？或者文件被每个工作人员“并行”读取

0热度

2回答

PTB rnn模型的图间复制版本比单个gpu版本慢（即使在tf 1.0.0中）

我将PTB模型（您可以在tensorflow/models/tutorials/rnn/ptb中找到它）更改为图形间版本，但是这个分布式版本（1 ps服务器，2个工作者）即使ps和worker在单机中也没有加速效果。时间轴分析显示了GPU作业和分布式版本的CPU作业之间的显着延迟。下面是代码和时间线图： from __future__ import absolute_import from __