python-multiprocessing

    2热度

    1回答

    我在multiprocessing.pool想我的手,它似乎做工精细,除了整个脚本一次又一次的循环..... 我的代码 - from multiprocessing import Pool print "at top!" arr = [30, 30, 30, 30] def fib(num): if num == 0 or num == 1: return 1 el

    1热度

    1回答

    我需要高速生存图形数据。我需要不断查询串行端口以在数据可用时检索数据。数据然后修改我正在绘制的实例变量。我在两个子图上绘制了4条不同的线,因此总共有8条线。我正在接收12个不同的变量,但只能绘制图形8.我需要这个过程在运行一次函数后不会消失,这样我可以继续接收新数据。我想绘制在另一个过程中完成,以防止读取串行端口。我已经找到了一些例子,并且在如何完成这项任务时得到了帮助,如果我拥有所有可用的数据,

    1热度

    1回答

    在下面的代码中,如何使Starter对象能够读取gen.vals? 这似乎是一个不同的对象被创建,其状态得到更新,但绝不Starter知道这事。此外,该解决方案将如何申请self.vals是一本字典,或任何其他类型的对象? import multiprocessing import time class Generator(multiprocessing.Process): def

    0热度

    1回答

    我需要向Facebook Graph API发送大约3000条API请求以收集洞察数据。 Facebook为其API调用设置了速率限制。我目前正在使用python的多处理模块,并将请求分组为50个请求池。 我在发送请求成功处理一些请求后发生连接错误。 requests.exceptions.ConnectionError:( '连接异常中止',ConnectionResetError(10054,

    0热度

    1回答

    我一直在阅读关于Python的“多处理”,特别是“Pool”的东西。我熟悉线程,但不熟悉这里使用的方法。如果我要将一个非常大的集合(比如说某种类型的字典)传递给进程池(“pool.map(myMethod,humungousDictionary)”)是由字典在内存中创建的副本,并传递给每个进程,或者那里只存在一个字典吗?我关心内存使用情况。先谢谢你。

    1热度

    1回答

    我在进程之间共享字典,每个进程在dict中插入一个条目,其中字典中的键值可以是列表或gdb.Value实例。 每个进程正在做这样的事情 mydict["key"] = [[2], gdb.Value(someaddress), 3, 4] 当上述行执行我得到下面的错误,看起来像它,因为我将gdb.Value,这个工作如果在一个对象()实例的情况下, Traceback (most recent

    0热度

    1回答

    我想在处理超过2GB的csv文件时使用多处理器。问题在于输入只是在一个进程中被消耗,而其他进程似乎是空闲的。 以下重新创建我遇到的问题。是否有可能使用迭代器使用多进程?将内存全部输入到内存中是不理想的。 import csv import multiprocessing import time def something(row): # print row[0] # p

    0热度

    1回答

    我想做字符串匹配,并在Python中使用模糊wuzzy带来匹配id。我的数据集非常庞大,数据集1 = 180万条记录,数据集2 = 160万条记录。 我试了一下,到目前为止, 首先我想在Python中使用record linkage包,遗憾的是它跑出来的内存时,它建立multi index,所以我搬到AWS具有良好的机动力,并成功构建了它,然而,当我试图对它进行比较时,它会一直运行,我同意它的比较

    1热度

    2回答

    使用python多进程和curses,似乎终止一个进程干扰curses显示。 例如,在下面的代码中,为什么终止进程会阻止curses显示文本? (按a后按b) 更确切地说,不仅显示字符串“hello”,而且显示整个curses窗口。 import curses from multiprocessing import Process from time import sleep def di

    0热度

    1回答

    我正在使用SQLAlchemy和multiprocessing。我也使用scoped_session sinse它避免共享相同的会话,但我发现一个错误和他们的解决方案,但我不明白为什么它会发生。 下面你可以看到我的代码: db.py engine = create_engine(connection_string) Session = sessionmaker(bind=engine) DB