映射大文件并扫描数据

Question

尝试使用mmap在大文件中搜索模式。该文件是巨大的（比物理内存的方式更多）。我担心的是，如果我使用文件大小作为mmap（）的第二个参数，将不会有足够的物理内存来满足系统调用。所以我用了0x1000作为长度，希望操作系统在我的指针移动时自动映射文件的右侧部分。但是下面的代码片段给出了分段错误。

任何想法？

#include <stdio.h> 
#include <sys/types.h> 
#include <sys/stat.h> 
#include <fcntl.h> 
#include <unistd.h> 
#include <sys/mman.h> 

long fileSize(char *fname) { 
    struct stat stat_buf; 
    int rc = stat(fname, &stat_buf); 
    return rc == 0 ? stat_buf.st_size : -1; 
} 
int main(int argc, char *argv[]) { 
    long size = fileSize(argv[1]); 
    printf("size=%ld\n", size); 
    int fd = open(argv[1], O_RDONLY); 
    printf("fd=%d\n", fd); 
    char *p = mmap(0, 0x1000, PROT_READ, MAP_SHARED, fd, 0); 
    if (p == MAP_FAILED) { 
     perror ("mmap"); 
     return 1; 
    } 
    long i; 
    int pktLen; 
    int *pInt; 
    for (i=0; i < size; i+=4) { 
     pInt = (int*)(p+i); 
     if (pInt[i] == 0x12345678) { 
      printf("found it at %ld\n", i); break; 
     } 
    } 
    if (i == size) { 
     printf("didn't find it\n"); 
    } 
    close(fd); 
    return 0; 
} 

更新 原来我做了一个愚蠢的错误

线 if (pInt[i] == 0x12345678)应该已经if (pInt[0] == 0x12345678)

Answer 1

的SIGSEGV是因为你所访问超出0x1000字节（在for循环）。您必须对fd完整size字节的mmap()字节。

需求分页在虚拟内存子系统的概念帮助像您一样完全相同的场景 - 应用程序/比物理内存大小的应用程序的数据更大。在mmap()之后，当你访问（虚拟）地址时，如果没有物理页面映射到它（页面错误），内核将找出可以使用的物理页面（页面替换）。

fd = open(argv[1], O_RDONLY); 

ptr = mmap(NULL, file_size, PROT_READ, MAP_PRIVATE, fd, 0); 

/* Consume the entire file's data as needed */ 

munmap(ptr, file_size); 

或者你可以把mmap()/munmap()围绕循环扫描的文件中PAGE_SIZE或在PAGE_SIZE倍数。 mmap() - offset的最后一个参数将会派上用场。

从手册页：

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); 
int munmap(void *addr, size_t length); 

伪代码：

fd = open(argv[1], O_RDONLY); 

last_block_size = file_size % PAGE_SIZE; 
num_pages = file_size/PAGE_SIZE + (last_block_size ? 1 : 0) 

for (int i = 0; i < num_pages; i++) { 
    block_size = last_block_size && (i == num_pages - 1) ? last_block_size : PAGE_SIZE; 

    ptr = mmap(NULL, block_size, PROT_READ, MAP_PRIVATE, fd, i * PAGE_SIZE); 

    /* Consume the file's data range (ptr, ptr+block_size-1) as needed */ 

    munmap(ptr, block_size); 
} 

请使用MAP_PRIVATE作为映射可能只需要为你的过程中单独。它只是避免了内核对MAP_SHARED的额外步骤。编号：应该是MAP_PRIVATE代替MAP_ANON。改变。

Answer 2

使用

struct stat info; 
    long   page; 
    const char *map; 
    size_t  size, mapping; 
    int   fd, result; 

    page = sysconf(_SC_PAGESIZE); 
    if (page < 1L) { 
     fprintf(stderr, "Invalid page size.\n"); 
     exit(EXIT_FAILURE); 
    } 

    fd = open(filename, O_RDONLY); 
    if (fd == -1) { 
     fprintf(stderr, "%s: Cannot open file: %s.\n", filename, strerror(errno)); 
     exit(EXIT_FAILURE); 
    } 

    result = fstat(fd, &info); 
    if (result == -1) { 
     fprintf(stderr, "%s: Cannot get file information: %s.\n", filename, strerror(errno)); 
     close(fd); 
     exit(EXIT_FAILURE); 
    } 

    if (info.st_size <= 0) { 
     fprintf(stderr, "%s: No data.\n", filename); 
     close(fd); 
     exit(EXIT_FAILURE); 
    } 
    size = info.st_size; 
    if ((off_t)size != info.st_size) { 
     fprintf(stderr, "%s: File is too large to map.\n", filename); 
     close(fd); 
     exit(EXIT_FAILURE); 
    } 
    /* mapping is size rounded up to a multiple of page. */ 
    if (size % (size_t)page) 
     mapping = size + page - (size % (size_t)page); 
    else 
     mapping = size; 

    map = mmap(NULL, mapping, PROT_READ, MAP_SHARED | MAP_NORESERVE, fd, 0); 
    if (map == MAP_FAILED) { 
     fprintf(stderr, "%s: Cannot map file: %s.\n", filename, strerror(errno)); 
     close(fd); 
     exit(EXIT_FAILURE); 
    } 

    if (close(fd)) { 
     fprintf(stderr, "%s: Unexpected error closing file descriptor.\n", filename); 
     exit(EXIT_FAILURE); 
    } 

    /* 
    * Use map[0] to map[size-1], but remember that it is not a string, 
    * and that there is no trailing '\0' at map[size]. 
    * 
    * Accessing map[size] to map[mapping-1] is not allowed, and may 
    * generate a SIGBUS signal (and kill the process). 
    */ 

    /* The mapping is automatically torn down when the process exits, 
    * but you can also unmap it with */ 
    munmap(map, mapping); 

在上面的代码中的要点：

1. 你需要用例如启动代码

   #define _POSIX_C_SOURCE 200809L 
   #define _BSD_SOURCE 
   #include <stdlib.h> 
   #include <unistd.h> 
   #include <sys/types.h> 
   #include <sys/stat.h> 
   #include <sys/mman.h> 
   #include <fcntl.h> 
   #include <string.h> 
   #include <errno.h> 
   

   的_BSD_SOURCE需要被定义MAP_NORESERVE，即使它是一个GNU/Linux的特定的功能。
    

2. mapping（length在man 2 mmap）必须页大小（sysconf(_SC_PAGESIZE)）的倍数。
    

3. MAP_NORESERVE标志告诉内核映射仅由文件支持，因此允许大于可用RAM + SWAP。
    

4. 因为映射本身包含引用in-kernel，所以您可以（但不需要）关闭引用映射文件的文件描述符而不会出现问题。
    

年前，在不同的论坛，我发现a simple program to manipulate a terabyte of data（1的TiB = 1,099,511,627,776字节）使用这个非常的方法（虽然它采用的是稀疏备份文件，即大多隐含零，小于250 MB的实际数据写入备份文件 - 主要是为了减少所需的磁盘空间量）。当然，它需要一台运行Linux的64位机器，因为32位机器上的虚拟内存限制为2 = 4 GiB（Linux不支持分段内存模型）。

Linux内核在选择将哪些页面保存在RAM中以及要驱逐哪些页面方面效率惊人。当然，通过使用posix_madvise(address, length, advice)与advice为POSIX_MADV_DONTNEED或POSIX_MADV_WILLNEED，告诉内核哪些部分映射不可能访问（因此可能会被驱逐），您可以更有效地实现这一点。这有一个好处，就是不像取消映射“不需要”的部分，如果需要的话，您可以重新访问该映射的那部分。 （如果页面已经被清除，映射的访问只会被阻塞，直到页面被重新加载到内存中。换句话说，您可以使用posix_madvise()来“优化”驱逐逻辑，而不限制映射的哪一部分可以访问）。

在你的情况下，如果你使用例如线性或半线性搜索数据memmem()，您可以使用posix_madvise(map, mapping, POSIX_MADV_SEQUENTIAL)。

就我个人而言，我会先运行搜索，而不使用任何posix_madvise()调用，然后使用相同的数据集（当然还有几次运行）查看它是否具有足够显着的积极差异。 （您可以放心 - 不会有丢失任何数据的风险 - 如果您希望在定时运行之间排除大文件（大部分）已被缓存的影响，请在使用sudo sh -c 'sync ; echo 3 > /proc/sys/vm/drop_caches ; sync'的测试运行之间清除页面缓存。）