parallel-processing

2热度

3回答

0热度

1回答

如何加快这个c＃HttpWebRequest？

我在调用API进行地理编码的SSIS作业中有一个c＃脚本任务。这个API是专有的，像这样工作，接收请求，获取地址字符串，然后尝试将字符串匹配到一个巨大的地址列表（数百万），如果它找不到它，然后出去到另一个服务，如谷歌和获取地理数据信息。正如你所想象的，这个字符串匹配每个请求占用大量时间。有时它每分钟的请求速度很慢，我有4M地址需要这样做。在API方面进行任何开发工作不是一种选择。为了让这里的过程

0热度

1回答

处理“打开文件过多”的最佳方法是什么？

我正在构建一个抓取器，它需要一个URL，从中提取链接，并将它们中的每一个访问到一定深度;在特定的网站上制作路径树。我实现并行这个爬虫的方式是，我尽快访问每个新发现的URL，因为它的发现是这样的： func main() { link := "https://example.com" wg := new(sync.WaitGroup) wg.Add(1)

-1热度

2回答

并行循环内的C＃数据库调用

我遇到了一个代码，我在Parallel Loop中看到了一些数据库调用。所以，我想到的问题是数据库调用是线程安全的，因为并行循环在多个线程中执行。这是给你审查小块代码： Parallel.ForEach(list, item => { //this function update the user status by connecting with database _IU

0热度

1回答

Sidekiq作业将不会在同一时间运行在不同的队列

我有2名Sidekiq工人：富： # frozen_string_literal: true class FooWorker include Sidekiq::Worker sidekiq_options queue: :foo def perform loop do File.open(File.join(Rails.root,

3热度

1回答

并行计算的障碍

我在阅读维基百科上发现的一个例子。我怀疑这是否正确。下面是从（https://en.wikipedia.org/wiki/Barrier_(computer_science)#Implementation） struct barrier_type { // how many processors have entered the barrier // initia

0热度

1回答

处理SSIS中的性能问题

我通过SSMS传输了数十亿条记录，并着眼于提高迁移速度。我正在尝试将结果集保存到表中。我考虑到我的前端会很慢，因为所有的数据都在一张表中。我基本上在寻找各种选择。所以我想有多个物理表。我只需要最近5年的数据。它会更快如果我执行不同年份过滤器的5个不同版本的相同存储过程并填充表格。我知道在SSIS中可以实现并行性。我唯一的担心是因为所有五个存储过程并行运行，它们会锁定表

0热度

1回答

TestNG和Selenium - 并行执行问题

我在使用TestNG + Selenium（Chrome WebDriver）并行执行测试时遇到了一些问题。基本上，我的测试实际上并不是真正的并行执行。试图实现：从Excel电子表格中读取数据。 TestSuite.java中的所有测试用例都应该在单独的WebDriver实例中针对每一行数据执行 - 并行运行。例如。在不同的浏览器窗口中同时测试5个独立的登录/密码组合简化图示： public

0热度

1回答

并行处理：类文件有错误的版本49.0，应该是48.0

我使用终端在超级计算机上运行我的代码。我有2个样的代码：1-顺序和并行（共享存储器）顺序一个它正常运行，但是当我运行SM当我输入第命令的javac我有这样的错误： mycode.java:7：不能访问edu.rit.pj.Comm 文件有错误的版本49.0，应该是48.0请删除或使其出现在类路径的正确子目录肯定。进口 edu.rit.pj.Comm; 并行库是：parallel java。

1热度

1回答

调试并行Python程序（mpi4py）

我有一个mpi4py程序挂起间歇。我如何追踪个别流程正在做什么？我可以在不同的终端使用pdb mpiexec -n 4 xterm -e "python -m pdb my_program.py" 运行程序，例如但这变得繁琐的问题是否只用了大量的过程（〜80在我的情况）表现。另外，通过pdb很容易发现异常，但我需要查看跟踪来确定发生挂起的位置。