lmdb

    1热度

    2回答

    我正在使用caffe作为回归问题,我想知道如何使用lmdb格式作为单浮标签。 眼下,CAFFE仅支持lmdb数据int32型标签(在Datum的label类型是int32)。 为了改变这种默认行为,我改变了caffe中的一些文件,如下所示,但问题一直存在,转换后我的标签都为零。 caffe.proto -> line36 : int32 to float convert_imageset.cpp

    0热度

    1回答

    我试图用Caffe来生成lmdbs来训练我的CNN。 我已经用作数据集斯坦福狗数据集。下载数据集后,我准备了训练数据集和测试数据集。我将配置保存到文件train.txt和val.txt中。 于是,我试图生成我的控制台上由这两个以下命令lmdb文件: GLOG_logtostderr=1 /home/bme/caffe/build/tools/convert_imageset \ --re

    0热度

    2回答

    我有一个很大的数据集,这使我的lmdb变得庞大。对于16.000个样本,我的数据库已经是20 GB。但总的来说,我有800.000图像,这将最终导致大量的数据。有没有办法压缩lmdb?还是使用HDF5文件更好?我想知道有没有人知道这个问题的最佳解决方案。

    3热度

    1回答

    创建lmdb环境时,我可以指定地图大小。有没有办法在任何时候确定地图大小用完了多少? 换句话说,我需要知道剩下多少空闲空间才能解决空间不足的问题。 我唯一能想到的就是浏览所有数据库,并使用mdb_env_stat来获取分支,页面和溢出页面的数量。总结所有dbs(时间页面大小)并与当前地图大小进行比较。这是计算使用空间的正确方法吗?

    0热度

    1回答

    我将一组图像和一组地面真值图像转换为LMDB数据库。目的是按像素进行预测。 大多数用于从RGB图像创建LMDB代码的已表示行转置在CxHxW顺序,如下所示: im = im.transpose((2,0,1)) # convert to CxHxW 我的图像数据(包括列车数据和对应的地面实况图像)是灰度图像(即,单一信道)。我的问题是,这条线的目的是什么,我应该为我的single channe

    1热度

    1回答

    将使用Akka + Akka集群分片的服务升级到新发布的Akka(2.5.0)后,我们开始遇到在Docker + Alpine Linux中启动系统时遇到的问题。根据我的推断,Akka Cluster分片配置为使用Akka分布式数据(从2.5.0开始不再是实验),它使用LMDB(它需要GCC + glibc,并且它在Alpine Linux中不可用)。 我的问题如下: 1)是否存在被阿卡,而不是L

    0热度

    1回答

    我想用很多命名(子)数据库将大量数据写入lmdb数据库。我碰到以下问题: 要写入一个命名的数据库,我需要为这个命名的数据库打开一个事务。 这意味着:要写入另一个指定的数据库,我需要打开另一个事务。 同一主数据库内的两个写事务不能同时存在。 这意味着:我需要提交并关闭事务,每次我想从写入切换到一个命名的数据库,以写入另一个命名的数据库。 创建和提交写入事务是一个非常缓慢的操作。 我宁愿为所有写入操作

    1热度

    1回答

    我有一个使用LMDB的应用程序。如果多个进程需要写入数据库,则一次只允许一个进程运行,其余的进程将被阻止。正因为如此,我想重写应用程序以使用客户机 - 服务器模型。 如果应用程序编写为使用客户端 - 服务器模型,则服务器可以管理写入,而其他进程不会阻止。但是,如果客户端遇到错误并且必须回滚事务,那么它如何回滚其数据而无需回滚其他客户端写入的内容? 我看过嵌套事务,但写入事务可能只有一个嵌套事务。因

    1热度

    1回答

    我试图在我的caffe数据上运行fcn。我能够通过convert_imageset内置函数caffe将我的图像集转换为lmdb。但是,一旦我想训练net,它给了我下面的错误: Check failed: error == cudaSuccess (2 vs. 0) out of memory *** Check failure stack trace: *** ..... Aborted (

    3热度

    1回答

    为图像创建数据库(LMDB/LEVELDB)在caffe中是微不足道的。但是我们如何创建这样的数据集来进行对象检测呢? 这个序列是否正确? 把所有图像的文件夹 在每个图像,创建一个文本文件与相应的图像*同名 把边界框在一个单独的坐标每个对象的图像中row 现在我该如何将这样的结构转换为lmdb? 我应该将所有txt文件转换为字节并将整个字节流保存为每个图像的一个标签吗? Caffe能否自动从这种转