large-data

    1热度

    1回答

    我想读取大量的图像进行深度学习，但当内存不足时该如何解决？

    在用python编写的深度学习程序中，我想要一次性在numpy数组中存储大量图像数据，并从该数组中随机提取批量数据，但图像数据太大，内存耗尽。 我们应该如何处理这种情况？每次检索批处理数据时，我别无选择，只能进行IO处理并从存储中读取图像数据？
    python numpy memory deep-learning large-data 2017-11-25

    -3热度

    1回答

    在R中增加RAM的使用

    我对一些项目使用R。在处理大量数据时，它使用我的笔记本电脑的8 GB RAM，这只占笔记本电脑总RAM的12.5％。我如何增加R的RAM使用量，使其至少可以使用50％？
    r ram large-data 2017-10-08

    0热度

    1回答

    php-查找重复和按数组属性排序

    我有一个大的产品关联数组。我想检查是否有重复产品，然后获得产品与低价格。 我可以使用array_unique和array_count_values找到重复的记录，但我不知道如何处理进行排序的部分。 阵列属性： PRODUCT_ID（唯一） 标题 价格 样本数据 Array ( [0] => Array ( [product_id] => 1111
    php sorting large-data array-unique 2017-10-18

    1热度

    2回答

    如何绘制大时间序列（数千次用药次数/剂量）？

    我正试图在医院里开出一种药物。在这个虚拟数据库中，我在2017/01/01之后遇到1000次患者。 绘图的目标是看到这种药物的管理模式：它是更频繁/高剂量接近入院时间，出院时间或患者住院期间。 #Get_random_dates that we will use multiple times gen_random_dates <- function(N, st, et) { st <- as.
    r time-series large-data medical 2017-10-21

    1热度

    1回答

    如何更有效地更新此表中的13亿行？

    我有一个PostgreSQL表sku_comparison看起来像这样1.3十亿行： id1 (INTEGER) | id2 (INTEGER) | (10 SMALLINT columns) | length1 (SMALLINT)... | ... length2 (SMALLINT) | length_difference (SMALLINT) 的id1和id2列在一个表中引用所谓s
    postgresql sql-update large-data 2017-09-02

    0热度

    1回答

    Redshift UNLOAD语句在19分钟后被取消

    我试图从EC2实例使用此实用程序（https://github.com/awslabs/amazon-redshift-utils/blob/master/src/UnloadCopyUtility/redshift-unload-copy.py）卸载到s3大型（6GB）数据集。 但是卸载的语句获取19分钟后，取消了60秒（我曾尝试已经2次） pg.OperationalError: ERROR:
    timeout amazon-redshift onunload large-data 2017-09-04

    2热度

    2回答

    在Fortran 90基于“查找”的逻辑索引

    我想使用几种不同的方法在数组（EP_G2）中基于.1和.999之间的值在逻辑索引中使用逻辑数组（B） ）其中循环2）任何。 program flux_3d implicit none INTEGER :: RMAX, YMAX, ZMAZ, timesteps DOUBLE PRECISION, PARAMETER :: pmin=0.1 DOUBLE PRECISION, PARAME
    indexing fortran intel-fortran large-data 2017-09-05

    0热度

    1回答

    R：xmlEventParse与大的，变节点的XML输入和转换到数据帧

    我有发布数据的〜100个XML文件中的每个> 10GB格式是这样的： <?xml version="1.0" encoding="UTF-8"?> <records xmlns="http://website”> <REC rid=“this is a test”> <UID>ABCD123</UID> <data_1> <fullrecord_metadata
    r xml xml-parsing large-data 2017-09-13

    14热度

    2回答

    计算一个bigmatrix的R中的零空间

    我无法找到任何功能或包在R.计算的bigmatrix（从library(bigmemory)）零空间或（QR分解）例如： library(bigmemory) a <- big.matrix(1000000, 1000, type='double', init=0) 我尝试了以下，但得到了显示的错误。我如何找到bigmemory对象的空位？ a.qr <- Matrix::qr(a) #
    r matrix r-bigmemory large-data 2017-09-16

    1热度

    1回答

    大型XML数据的逻辑应用程序和存储过程

    我试图通过Azure中的逻辑应用程序来解决较小的集成问题。 我有一个存储过程，从数据库中选择数据并输出XML作为结果。 事情是，Xml结果是大约50k行和相当大。 我做了一个本地网关连接，通过逻辑应用程序运行存储过程。但是当我得到结果时，它不仅分裂了大的xml，而且还在大约15k行之后削减了整个结果。 我知道我可以使用blob，这意味着我需要首先将sql-xml导出到文件，这也意味着我需要使用类似
    sql-server xml large-data large-files azure-logic-apps 2017-09-27
最新问题