WinHTTP多个异步请求

Question

我需要从大约6000个网页中提取数据。在做了一些研究之后，我决定给WinHTTP一个镜头。我能够做到这一点，但是我在同步做事，所以需要一段时间才能完成。我现在试图异步使用WinHTTP，但我遇到了障碍。我搜索了很多教程和示例，但我只能找到MSDN文档，这对我所做的事情来说似乎过于复杂。如前所述，我无法找到很多资源，所以我继续给它一个镜头：

std::string theSource = ""; 
char * httpBuffer; 
DWORD dwSize = 1; 
DWORD dwRecv = 1; 

HINTERNET hOpen = 
      WinHttpOpen 
      (
       L"Example Agent", 
       WINHTTP_ACCESS_TYPE_NO_PROXY, 
       NULL, 
       NULL, 
       WINHTTP_FLAG_ASYNC 
      ); 

WINHTTP_STATUS_CALLBACK theCallback = 
      WinHttpSetStatusCallback 
      (
       hOpen, 
       (WINHTTP_STATUS_CALLBACK) HttpCallback, 
       WINHTTP_CALLBACK_FLAG_ALL_NOTIFICATIONS, 
       NULL 
      ); 

HINTERNET hConnect = 
      WinHttpConnect 
      (
       hOpen, 
       L"example.org", 
       INTERNET_DEFAULT_HTTPS_PORT, 
       0 
      ); 

HINTERNET hRequest = NULL; 

BOOL allComplete = false; 

int theRequest = 1; 


while (!allComplete) 
{ 
    if (theRequest == 1) 
    { 
     hRequest = WinHttpOpenRequest 
        (
         hConnect, 
         L"GET", 
         L"example.html", 
         0, 
         WINHTTP_NO_REFERER, 
         WINHTTP_DEFAULT_ACCEPT_TYPES, 
         WINHTTP_FLAG_SECURE 
        ); 


     WinHttpSendRequest 
     (
      hRequest, 
      WINHTTP_NO_ADDITIONAL_HEADERS, 
      0, 
      WINHTTP_NO_REQUEST_DATA, 
      0, 
      0, 
      0 
     ); 
    } 

    else if (theRequest == 2) 
    { 
     WinHttpReceiveResponse(hRequest, NULL); 
    } 

    else if (theRequest == 3) 
    { 
     WinHttpQueryHeaders 
     (
      hRequest, 
      WINHTTP_QUERY_RAW_HEADERS_CRLF, 
      WINHTTP_HEADER_NAME_BY_INDEX, 
      NULL, 
      &dwSize, 
      WINHTTP_NO_HEADER_INDEX 
     ); 

     WCHAR * headerBuffer = new WCHAR[dwSize/sizeof(WCHAR)]; 

     WinHttpQueryHeaders 
     (
      hRequest, 
      WINHTTP_QUERY_RAW_HEADERS_CRLF, 
      WINHTTP_HEADER_NAME_BY_INDEX, 
      headerBuffer, 
      &dwSize, 
      WINHTTP_NO_HEADER_INDEX 
     ); 

     delete [] headerBuffer; 

     dwSize = 1; 

     while (dwSize > 0) 
     { 
      if (!WinHttpQueryDataAvailable(hRequest, &dwSize)) 
      { 
       break; 
      } 

      httpBuffer = new char[dwSize + 1]; 

      ZeroMemory(httpBuffer, dwSize + 1); 

      if (!WinHttpReadData(hRequest, httpBuffer, dwSize, &dwRecv)) 
      { 
       std::cout << "WinHttpReadData() - Error Code: " << GetLastError() << "\n"; 
      } 

     else 
     { 
      theSource = theSource + httpBuffer; 
     } 

     delete [] httpBuffer; 

     // Parse the source for the data I'm looking for. 

     break; 

    } 
} 

下面是我的回调函数：

void CALLBACK HttpCallback(HINTERNET hInternet, DWORD * dwContext, DWORD dwInternetStatus, void * lpvStatusInfo, DWORD dwStatusInfoLength) 
{ 
    switch (dwInternetStatus) 
    { 
     default: 
      std::cout << dwInternetStatus << "\n"; 
      break; 

     case WINHTTP_CALLBACK_STATUS_HANDLE_CREATED: 
      std::cout << "Handle created.\n"; 
      theRequest = 1; 
      break; 

     case WINHTTP_CALLBACK_STATUS_REQUEST_SENT: 
      std::cout << "Request sent.\n"; 
      theRequest = 2; 
      break; 

     case WINHTTP_CALLBACK_STATUS_RESPONSE_RECEIVED: 
      std::cout << "Response received.\n"; 
      theRequest = 3; 
      break; 

    } 
} 

注：我只提供这部分我的代码，因为它是涉及我的问题/问题的部分。我很抱歉如果一个变量声明丢失。

上面的代码对我的作品和做实际上让我在寻找所需的信息，但只有一个页面。在完成这一步之后，我意识到当用这种方法发出多个请求时，我不知道该怎么做。同样，除了MSDN文章之外，搜索功能还没有出现，据我所知，这些文章不是一次就发出多个请求的示例。另外，我用来打开/发送/ etc的while循环。基于请求的价值的请求似乎是这样做的一个可怕的方式。我会很感激任何其他建议，以改善我的代码。

在一般情况下，这里是我的问题的总结：我需要使用异步的WinHTTP约6000 GET请求。我并不完全相信如何做到这一点，因为我是WinHTTP的新手，所以我正在寻找处理多个异步请求的最基本的（或可能有效的）方法。

Answer 1

你是重复你while (!allComplete) { ... }在做什么，拍更多的要求这样。您可以重新使用hConnect，但您需要为每个资源请求执行WinHttpOpenRequest。