2015-07-09 42 views
1

我正在处理一个大的二进制数据文件(大于10GB),使用readBin读取大约10分钟,但后来我试图将它强制转换为矩阵,大概是因为我的机器内存不足。当我使用python时,我会在这种情况下使用numpy.mmemap来保持我的内存占用量;有没有R的等价物?numpy.memmap(Python)在R中等价吗?

+0

也许** ** FF包?总是一个好主意,以[任务视图](http://cran.r-project.org/web/views/HighPerformanceComputing.html)为出发点。 – joran

+0

你能提供更多细节吗?你的数据看起来像什么?在任何情况下,你都可以阅读每一列,然后放在一起var = readBin(yourdata,character(),n = 3) – daniel

回答

1

也许这可以帮助你:

library(ff) 
library(biglm) 
data <- ffm("binarydata") 

您还可以选择仅显示部分,所以节省了你的记忆:

data <- ffm("binarydata", c("col1", "clo2", "col3"))