distributed

0热度

3回答

看起来像没有在此属性中设置框的IP地址，弹性搜索是不可发现的：network.host。它为什么不能绑定到盒子的IP地址（就像它发生在像其他应用程序一样的应用程序服务器中）。为什么甚至有提供绑定到特定的IP地址？

5热度

2回答

简短版本：我们不能将变量存储在其中一个工作者中而不使用参数服务器吗？长版本：我想在张量流中实现神经网络的同步分布式学习。我希望每位工作人员在培训期间都有完整的模型副本。我读过distributed tensorflow tutorial和code of distributed training imagenet并没有得到为什么我们需要参数服务器。我看到它们用于存储变量的值，而replica

2热度

1回答

parfeval慢于PARFOR

我发出parfeval和获取输出使用parfor其他做同样的事情比较两个块之间的执行时间，一： parfor k = 1:N a = rand(5000); b = inv(a); end 与 for k = 1:N a = rand(5000); F(k) = parfeval(p,'inv',1,a); end for k = 1:N

0热度

1回答

张多流分布式训练混合多GPU方法

在玩了一段时间的当前分布式训练实现后，我认为它将每个GPU视为一个单独的工作者。但是，现在在一个盒子中有2〜4个GPU 。采用单盒多GPU方法先计算单个盒子中的平均梯度，然后跨多个节点同步，是不是更好？这样就可以缓解I/O流量，这总是数据并行性的瓶颈。由于SyncReplicasOptimizer直接将优化器作为输入，所以我被告知使用当前实现将单个盒子中的所有GPU作为工作人员，但我无法弄清楚如何

2热度

1回答

如何找到为什么一个任务失败dask分布？

我正在开发使用dask.distributed的分布式计算系统。我通过Executor.map函数向其提交的任务有时会失败，而其他看似相同的任务会成功运行。框架是否提供了诊断问题的方法？更新通过失败我的意思是增加计数器提供的Bokeh web UI中失败任务的计数器。完成任务的计数器也增加。由该Executor.map回报None运行功能。它与数据库通信，从表中检索一些行，执行计算和更新值

1热度

1回答

是否有可能知道在Akka的“集群中的分布式发布订阅”中接收到哪个主题的消息？

我有一个Akka系统，其中Actors代表传感器。每次传感器进行观察时，其相应的Actor都会在内部pub/sub主题上发布此观察结果。这可以很容易地扩展观察的用途（由一名演员保存在数据库中，由另一名演员保存到MQTT中间人等）一种可能的解决方案，使接收机知道接收到该消息的哪个主题，是将该主题包含在消息中。但是，这对我来说似乎是一个糟糕的设计。是否有可能在Akka的演员中看到当前消息收到的主题？

2热度

1回答

如果我们划分一个C + A分布式系统会怎样？

我读过this,this和this但仍不能理解CAP定理的C + A范畴。我的意思是这些系统没有设计来支持可能发生的分区。最终他们可以处理一些孤立节点的损失，如果有复制品。对，但我可以看到其中的一些确实存在。那么，在现实世界中，如果我们划分节点，它们的行为如何？两个分区中的活节点必须在A和C之间选择，否则它们都会丢失？

1热度

1回答

在Gerrit中，我能不能通过回购审核/批准所有提交？

我在一个分布式团队中工作，因为应该审查的团队成员位于海外，因此无法快速审核和批准每个提交。我的团队工作的团队将代码推送到Gerrit进行审查。假设user1推送了5次提交，user2推送了10次提交。我的问题是我是user3，我可以得到所有这15个提交，而无需单独提交使用提交ID每个提交？

1热度

1回答

使用迟发型发送邮件每天在分布式环境中

我是新与迟发型，我想知道这是否可以与工具实现的：我发送每日的基础上，以电子邮件我在SQL DB中拥有的人员列表。事情是我的，我的网络应用程序（尽管它只使用一个数据库），通过亚马逊部署负载均衡器，可能会添加服务器（如果需要）。我想让hangfire任务每天只执行一次。我的第一个想法是使用Hangfire在我的Application_Start方法上注册经常性任务，但这不起作用，对吧？我如何以

0热度

1回答

响应IPython笔记本运行dask进度条/分布式

我正在运行与dask.distributed群集。目前我使用Jupyter笔记本将任务提交到群集，我使用它作为GUI。相应的笔记本单元包含以下代码。 %pylab inline %load_ext autoreload %autoreload 2 from distributed import progress sys.path.append('/path/to/my/python/m