fread（）在6GB文件失败

Question

好吧，我一直在读fread（）[它返回一个类型size_t]，并看到有关大型文件和其他一些问题的一些问题 - 但我仍然有一些问题。这个函数传入一个文件指针和一个long long int。该lld是从我使用另一个函数获取实际文件大小为6448619520字节的主要位置。

char *getBuffer(FILE *fptr, long long size) { 
    char *bfr; 
    size_t result; 

    printf("size of file in allocate buffer: %lld\n", size); 
     //size here is 6448619520 


    bfr = (char*) malloc(sizeof(char) * size); 
    if (bfr == NULL) { 
     printf("Error, malloc failed..\n"); 
     exit(EXIT_FAILURE); 
    } 
     //positions fptr to offset location which is 0 here. 
    fseek(fptr, 0, SEEK_SET); 
     //read the entire input file into bfr 
    result = fread(bfr, sizeof(char), size, fptr); 
    printf("result = %lld\n", (long long) result); 


    if(result != size) 
    { 
     printf("File failed to read\n"); 
     exit(5); 
    } 
    return (bfr); 

} 

我已经测试过它的面积约为1-2GB的文件，它工作正常，但是，当我测试它6GB的文件中，没有到缓冲区中读取。忽略其他结果（注重结果的粗体），问题在于读取数据bfr。这里是我得到的一些结果。一个文件的

第一即735844352个字节（700 + MB）

根@红盒子：/数据/项目/ C /存根/＃./testrun -x 45004E00 -i /数据/ Helix2008R1 .ISO

图像文件是/data/Helix2008R1.iso
十六进制字符串= 45004E00
>文件的总大小：735844352
在GET缓冲文件尺寸：735844352
结果= 735844352
** 开始解析所述命令行十六进制值：45004E00
在十六进制字符串的总字节数：
十六进制字符串45004E00被发现在字节位置：4个

十六进制字符串搜索结果：37441
十六进制字符串45004E00被发现在字节位置：524768
....

试验＃2针对一个6GB的文件： 根@redbox：/数据/项目/ C /存根/＃./testrun -x BF1B0650 -i /data/images/sixgbimage.img

图片文件/data/images/sixgbimage.img
十六进制字符串= BF1B0650
文件的总大小：在文件6448619520
大小分配缓冲区：6448619520
结果= 0
文件无法读取

我仍然不知道为什么它是大文件，而不是失败小一些，这是一个> 4GB的问题。我使用以下内容：

/* Support Large File Use */ 
#define _LARGEFILE_SOURCE 1 
#define _LARGEFILE64_SOURCE 1 
#define _FILE_OFFSET_BITS 64 

顺便说一句，我使用的是Ubuntu 9.10盒（2.6.x内核）。 TIA。

Answer 1

在收到所有人的建议之后，我将6GB文件分解为4K块，分析了十六进制字节，并且能够获得什么字节位置，稍后我将从VMFS分区中取出MBR被dd镜像了。这里是一个阅读它每块的快速和肮脏的方式：

的#define DEFAULT_BLOCKSIZE 4096
...

while((bytes_read = fread(chunk, sizeof(unsigned char), sizeof(chunk), fptr)) > 0) { 
    chunkptr = chunk; 
    for(z = 0; z < bytes_read; z++) { 
     if (*chunkptr == pattern_buffer[current_search]) { 
      current_search++; 
      if (current_search > (counter - 1)) { 
       current_search = 0; 
       printf("Hex string %s was found at starting byte location: %lld\n", 
         hexstring, (long long int) (offsetctr-1)); 
       matches++; 
      } 
     } else { 
      current_search = 0; 
     } 
     chunkptr++; 
     //printf("[%lld]: %02X\n", offsetctr, chunk[z] & 0xff); 
     offsetctr++; 
    } 
    master_counter += bytes_read; 
} 

...

这里是我得到的结果。 ..

root@redbox:~/workspace/bytelocator/Debug# ./bytelocator -x BF1B0650 -i /data/images/sixgbimage.img 

Total size of /data/images/sixgbimage.img file: 6448619520 bytes 
Parsing the hex string now: BF1B0650 

Hex string BF1B0650 was found at starting byte location: 18 
Hex string BF1B0650 was found at starting byte location: 193885738 
Hex string BF1B0650 was found at starting byte location: 194514442 
Hex string BF1B0650 was found at starting byte location: 525033370 
Hex string BF1B0650 was found at starting byte location: 1696715251 
Hex string BF1B0650 was found at starting byte location: 1774337550 
Hex string BF1B0650 was found at starting byte location: 2758859834 
Hex string BF1B0650 was found at starting byte location: 3484416018 
Hex string BF1B0650 was found at starting byte location: 3909721614 
Hex string BF1B0650 was found at starting byte location: 3999533674 
Hex string BF1B0650 was found at starting byte location: 4018701866 
Hex string BF1B0650 was found at starting byte location: 4077977098 
Hex string BF1B0650 was found at starting byte location: 4098838010 


Quick stats: 
================ 
Number of bytes that have been read: 6448619520 
Number of signature matches found: 13 
Total number of bytes in hex string: 4 

Answer 2

当fread失败时，它会设置errno来指示失败的原因。拨打fread返回零后errno的值是多少？

更新： 您是否需要一举读取整个文件？如果您一次读入512MB文件，会发生什么情况？

根据以上评论，您正在使用32位操作系统。在这种情况下，您将无法一次处理6 GB（其中之一，size_t将无法​​保存大量的数字）。但是，您应该能够以较小的块读入和处理文件。

我会争辩说，即使在64位操作系统上，将6GB文件读入内存也可能不是解决问题的最佳解决方案。你试图完成什么，需要你缓冲一个6GB的文件？可能有更好的方法来解决这个问题。

Answer 3

如果你只是要通读文件，而不是修改它，我建议使用mmap(2)而不是fread(3)。这应该更有效率，虽然我还没有尝试过大文件。如果这是你想要的，你需要改变我非常简单的找到/未找到的报告偏移量，但我不确定你想要的指针。 :)

#define _GNU_SOURCE 
#include <string.h> 

#include <fcntl.h> 
#include <sys/mman.h> 
#include <stdio.h> 
#include <sys/types.h> 
#include <sys/stat.h> 
#include <unistd.h> 


int main(int argc, char* argv[]) { 
    char *base, *found; 
    off_t len; 
    struct stat sb; 
    int ret; 
    int fd; 
    unsigned int needle = 0x45004E00; 

    ret = stat(argv[1], &sb); 
    if (ret) { 
      perror("stat"); 
      return 1; 
    } 

    len = sb.st_size; 

    fd = open(argv[1], O_RDONLY); 
    if (fd < 0) { 
      perror("open"); 
      return 1; 
    } 

    base = mmap(NULL, len, PROT_READ, MAP_PRIVATE, fd, 0); 
    if (!base) { 
      perror("mmap"); 
      return 1; 
    } 

    found = memmem(base, len, &needle, sizeof(unsigned int)); 
    if (found) 
      printf("Found %X at %p\n", needle, found); 
    else 
      printf("Not found"); 
    return 0; 
} 

一些测试：

$ ./mmap ./mmap 
Found 45004E00 at 0x7f8c4c13a6c0 
$ ./mmap /etc/passwd 
Not found 

Answer 4

如果这是一个32位的过程，就像你说的，然后size_t是32位的，你根本可以在进程的地址大于4GB不储存更多空间（实际上，实际上，少于3GB）。在这条线的位置：

bfr = (char*) malloc(sizeof(char) * size); 

相乘的结果将模SIZE_MAX + 1，这意味着它只会尽量和周围2GB分配减少。类似的，同样的事情发生在size参数在这条线：

result = fread(bfr, sizeof(char), size, fptr); 

如果你想在32位进程具有较大的文件工作，你有只有其中的一部分在时间上工作（例如，读取前100 MB，读取下100 MB的过程，...）。您无法一次读取整个文件 - 您的流程没有足够的内存来执行此操作。

Answer 5

您是否已验证malloc和fread实际上是否采用了正确的参数类型？您可能需要使用-Wall选项进行编译，并检查您的64位值是否真的被截断。在这种情况下，malloc将不会报告错误，但最终的分配将远远小于您所要求的。