multiprocessing

    0热度

    2回答

    我有一个readonly非常大的数据框,我想做一些计算,所以我做一个multiprocessing.map并将数据框设置为全局。但是,这是否意味着对于每个进程,程序都会单独复制数据帧(所以它会很快然后是共享的)?

    16热度

    3回答

    这里是我的素分解程序,我在pool.apply_async(findK, args=(N,begin,end))中加了一个回调函数,当分解结束时,消息提示出prime factorization is over,它工作正常。 import math import multiprocessing def findK(N,begin,end): for k in range(begin

    0热度

    2回答

    我在抓取一个网站,其中包含几十个基本网址,最终链接到我解析的数千个xml页面,并转化为Pandas数据框,最终保存到SQLite数据库。我多处理下载/解析阶段以节省时间,但脚本在一定数量的页面(不知道多少;介于100和200之间)后静静地挂起(停止收集页面或解析XML)。 使用相同的解析器,但一切顺序(没有多处理)没有给出任何问题,所以我怀疑我在做多处理错误。也许是创建了Parse_url类的过多

    1热度

    1回答

    我写过一个继承multiprocess.Process()的类。它在一个类属性中包含一个serial.Serial()对象。 self.loop()方法应该读取和写入串行端口。当调用self.loop()时,它应该作为一个单独的进程运行,这是要求我写这个的人的一个要求。但是,我的代码产生了一个奇怪的错误。 这是我的代码: from multiprocessing import Process

    1热度

    1回答

    我从multiprocessing.Process创建子类。 对象p.run()可以从long_runtime_proc更新instance.ret_value,但p.start()无法获取ret_value,尽管long_runtime_proc被调用并运行。 如何获得p.start()的ret_value? *class myProcess (multiprocessing.Process):

    0热度

    1回答

    我知道,创建列表,你可以缩短几行到类似的信息(在python): a = [k*2 for k in range(10)] 你能做到这一点,通过发送数据时管道。 (在这种情况下使用多处理模块)。例如: k = 'hello' [channel.send(k) for channel in channels] 代替: k = 'hello' for channel in channels

    0热度

    1回答

    我使用Python的多是这样的: pool = mp.Pool(processes=mp.cpu_count()) num_jobs = 5 print("Start Multiprocessing with: " + str(mp.cpu_count()) + " processes and " + str(num_jobs) + " jobs") for i in range(num

    14热度

    1回答

    问题描述 我将代码从this answer稍微调整了一下(见下文)。但是,在Linux上运行此脚本(命令行:python script_name.py)时,它将打印所有作业的jobs running: x,但之后似乎卡住了。但是,当我使用spawn方法(mp.set_start_method('spawn'))时,它运行良好,并立即开始打印counter变量的值(请参阅listener方法)。 问

    0热度

    1回答

    我有了解的一些问题我在下面的代码我写的其他一些剧本我写去认真处理多的简化回事过程: import multiprocessing import time from random import randint from os import getpid def f(i, process_id, parent_process_message_queue): print (i,

    0热度

    1回答

    有可能有几个子进程运行一些计算,然后将结果发送到主进程(例如,更新PyQt ui),但进程仍在运行他们发回数据并再次更新ui? 使用multiprocessing.queue时,似乎数据只能在进程终止后才发回。 所以我想知道这种情况是否可能。提前致谢!