的strstr上巨大mmapped文件

Question

我打开巨大的（11GB）文件的mmap它memmory，并不能搜索的字符串的文件中

我的代码是

if ((fd = open("l", O_RDONLY)) < 0)  err_sys("Cant open file"); 
if (fstat(fd, &statbuf) < 0)    err_sys("Cant get file size"); 
printf("size is %ld\n", statbuf.st_size); 

if ((src = mmap(0, statbuf.st_size, PROT_READ, MAP_SHARED, fd, 0)) == MAP_FAILED) err_sys("Cant mmap"); 
printf("src pointer is at %ld\n", src); 

char * index = strstr(src, "bin/bash"); 
printf("needle is at %ld\n", index); 

它适用于小文件，但在巨大的来源返回0.我应该使用什么函数来搜索巨大的mmapped文件？

输出是：

size is 11111745740 
src pointer is at 140357526544384 
needle is at 0 

Answer 1

你不应该使用strstr()在内存映射文件搜索文本：

• 如果是二进制文件，它极有可能包含空字节即会过早停止搜索。这可能是你观察到的。
• 如果文件是纯文本但不包含匹配，strstr将继续扫描超出文件末尾，通过尝试读取未映射的内存来调用未定义的行为。

你也可以使用具有同等语义的功能，但应用到原始内存，而不是C字符串，memmem()，可在Linux和BSD系统：

void *memmem(const void *p1, size_t size1, const void *p2, size_t size2); 

请注意，还使用了错误printf格式：它应该是%p为src和index，你可能更愿意打印偏移为ptrdiff_t或unsigned long long：

if ((fd = open("l", O_RDONLY)) < 0) 
     err_sys("Cannot open file"); 
    if (fstat(fd, &statbuf) < 0) 
     err_sys("Cannot get file size"); 

    printf("size is %llu\n", (unsigned long long)statbuf.st_size); 

    if ((src = mmap(0, statbuf.st_size, PROT_READ, MAP_SHARED, fd, 0)) == MAP_FAILED) 
     err_sys("Cannot mmap"); 

    printf("src pointer is at %p\n", (void*)src); 

    char *index = memmem(src, statbuf.st_size, "bin/bash", strlen("bin/bash")); 
    printf("needle is at %p\n", (void*)index); 

    if (index != NULL) 
     printf("needle is at offset %llu\n", (unsigned long long)(index - src)); 

如果memmem不可用你的平台上，下面是一个简单的实现：

#include <string.h> 

void *memmem(const void *haystack, size_t n1, const void *needle, size_t n2) { 
    const unsigned char *p1 = haystack; 
    const unsigned char *p2 = needle; 

    if (n2 == 0) 
     return (void*)p1; 
    if (n2 > n1) 
     return NULL; 

    const unsigned char *p3 = p1 + n1 - n2 + 1; 
    for (const unsigned char *p = p1; (p = memchr(p, *p2, p3 - p)) != NULL; p++) { 
     if (!memcmp(p, p2, n2)) 
      return (void*)p; 
    } 

    return NULL; 
}