通过http POST发送os.Stdin而不将文件加载到内存中

Question

我试图通过POST请求将文件发送到服务器。要做到这一点，我使用下面的代码：

func newfileUploadRequest(uri string) (*http.Request, error) { 

    body := new(bytes.Buffer) 
    writer := multipart.NewWriter(body) 
    part, err := writer.CreateFormFile("file", "file") 
    if err != nil { 
     return nil, err 
    } 
    io.Copy(part, os.Stdin) 

    err = writer.Close() 
    if err != nil { 
     return nil, err 
    } 

    request, err := http.NewRequest("POST", uri, body) 
    if err != nil { 
     return nil, err 
    } 
    request.Header.Set("Content-Type", writer.FormDataContentType()) 
    return request, nil 
} 


func main() { 
    r, err := newfileUploadRequest("http://localhost:8080/") 
    if err != nil { 
     panic(err) 
    } 

    client := &http.Client{} 
    resp, err := client.Do(r) 
    if err != nil { 
     panic(err) 
    } 
    body, err := ioutil.ReadAll(resp.Body) 
    if err != nil { 
     panic(err) 
    } 
    print(string(body)) 
} 

虽然这工作得很好，这是我的理解是io.Copy将整个文件复制到内存发送POST请求前。大文件（多GB）会产生问题。有没有办法来防止这种情况？我发现this，但这只是说使用io.Copy。

Answer 1

你能避免通过使用io.Pipe和够程复制内存中的数据复制是从文件到管道：

func newfileUploadRequest(uri string) (*http.Request, error) { 
    r, w := io.Pipe() 
    writer := multipart.NewWriter(w) 
    go func() { 
    part, err := writer.CreateFormFile("file", "file") 
    if err != nil { 
     w.CloseWithError(err) 
     return 
    } 
    _, err = io.Copy(part, os.Stdin) 
    if err != nil { 
     w.CloseWithError(err) 
     return 
    } 
    err = writer.Close() 
    if err != nil { 
     w.CloseWithError(err) 
     return 
    } 
    }() 

    request, err := http.NewRequest("POST", uri, r) 
    if err != nil { 
    return nil, err 
    } 
    request.Header.Set("Content-Type", writer.FormDataContentType()) 
    return request, nil 
} 

Answer 2

使用io.Pipe() - https://golang.org/pkg/io/#Pipe

您将需要使用的goroutine，但它不是太难的事。如果你需要一个特定的例子发表评论，我会为你找到一个。