pickle

0热度

1回答

在每个任务中，我有〜500张图像作为第一步卷积，看来ndimage.filters下的滤镜只使用1个核心。我已经尝试multiprocessing.pool和multiprocessing.process与multiprocessing.queue。两者都有效，但运行速度比使用单个进程慢得多。原因很可能是腌制和开销：如果我在每个工作人员中生成假数据而不是将实际数据传递给每个工作人员，多处理确实提高

1热度

1回答

重用scikit学习模型.pkl在AWS LAMBDA

我在AWS一个初学者，我在我的电脑上培养了RandomForestClassifier与scikit学习，我用JOBLIB让我在PKL格式模型。现在我想，再利用这个随机森林在AWS LAMBDA。因为它需要sklearn.externals再次装入我的模型，我已经包含与NumPy，SciPy的，sklearn，我的代码和我的PKL格式模型邮编目录。我把这个zip文件放在S3存储桶中以在Lam

1热度

1回答

我如何腌制一个对象层次结构，*每个对象通常是它自己的单个文件*，以便保存速度很快？

我想使用pickle，特别是cPickle将我的对象的数据序列化为表示模块，项目，模块对象，场景对象等文件的文件夹。有没有简单的方法来做到这一点？因此unpickling会有点棘手，因为每个父对象在运行时存储对子/同级对象的引用，但父级的pickle数据会将文件路径保存到该对象。我从一个PathUtil类开始，所有的类都继承，但一直在遇到问题。有没有人解决了类似的问题/功能的数据文件保存/恢复

1热度

1回答

如何存储和加载巨大的图像数据集？

我有一个大型图像数据集来存储。我有30万张图片。每个图像是28800个像素的矢量，这意味着我有(300000, 28800) 我存储，作为遵循 img_arr = np.stack(images, axis=0) np.savetxt('pixels_dataset_large.csv',img_arr,delimiter=",") 然而它需要较长时间来加载它和一些倍升得到存储器错误的矩阵

0热度

1回答

python中的pickle问题

我目前正在尝试制作一个库存系统，用户可以在其中认为合适的时候更新字典。我以为我会用腌菜，因为它似乎为我保存字典。现在唯一的问题是每次我引用列表，然后返回添加另一个项目到列表中，它仍然会删除那里的内容。 import pickle #creates a dictonary Inventory = {} product_add = "" Key = "Key \n+ changes stock

0热度

1回答

如何在物理文件夹中保存python中的pickle文件

我是在python中使用pickle的新手。这是我处于困境文件转储数据 result = "123" pickle.dump(result, open("result.p","wb")) 我能够读取使用 pickle.load(open("result.p", "rb")) 现在是什么我不能够看到这个文件是物理咸菜文件结果在我将数据转储到它后。我的问题是：这个pickle文件在序列化

0热度

1回答

朴素贝叶斯模型（.pkl）花费太多时间来预测

我使用朴素贝叶斯算法预测句子的情绪。我正在创建一个未来使用的模型。我正在使用cpickle来保存模型。但是，当我加载和预测句子时，花费太多时间。它花费太多时间来加载.pkl文件大约是100MB。有3种型号。我在python中使用Flask微服务。因此，对于每个请求每个模型（.pkl）是负载，并给输出。每个请求大约需要30-45秒。 def predict(sentence): test

1热度

1回答

味酸：同时使用__getstate__和__getnewargs__

我用咸菜的Python 2.7版。我正在尝试调用我忽略的方法__getstate__和__getnewargs__。我不能咸菜属性c，因为它是CLASSE D的实例。 nn = C(7, 2) nn.d = 1 pickle.dump(nn, open('c_save.p', 'wb')) nn2 = pickle.load(open('c_save.p', 'rb')) print nn

0热度

1回答

从S3中加载sklearn模型而不提供认证

如果sklearn模型被腌制并公开上传到S3，是否有方法从那里加载它。假设我有一个名为model的bucket和一个名为truncated_svd.pkl的bucket中的pickle文件。有没有一种方法可以使用pickle从S3加载我的truncated_svd.pkl文件，而不必提供身份验证。我不想验证这一点的唯一原因是因为此代码需要公开可用。

0热度

2回答

受过训练的机器学习模型太大

我们已经为某些回归任务培养了额外的树模型。我们的模型由3棵额外的树组成，每棵树有200棵深度为30的树。在3棵额外的树上，我们使用岭回归。我们训练我们的模型几个小时，并腌制训练好的模型（整个类对象），供以后使用。但是，保存的训练模型的大小太大，大约为140 GB！有没有办法减小保存模型的大小？咸菜中是否有任何可能有用的配置，或咸菜的任何替代品？