NodeJS。处理 字符编码

Question

我在处理字符编码时遇到困难。我想凑以下网址：

http://www.google.com/movies?near=Montreal&date=0 

我的代码如下所示：

var http = require('http'); 
var url = require('url'); 
var Iconv = require('iconv').Iconv; 

var location = 'montreal'; 

var googleMovies = url.parse("http://www.google.com/movies?near=" + location); 

var req = http.request(googleMovies, function(response) { 
    var str = ''; 
    response.on('data', function(chunk) { 
     str += chunk; 
    }); 
    response.on('end', function() { 

     var iconv = new Iconv('latin1', 'UTF-8'); 
     str = iconv.convert(str).toString(); 

     console.log(str); 
    }); 
}); 
req.end() 

我第一次尝试没有：

var iconv = new Iconv('latin1', 'UTF-8'); 
    str = iconv.convert(str).toString(); 

但这是造成字符。

我测试过此页上面列出的来源：

http://nlp.fi.muni.cz/projects/chared/

，它似乎将其检测为latin1的，但事情可能是错误的。

Answer 1

字符来自级联：

response.on('data', function(chunk) { 
    str += chunk; 
}); 

此将每个chunk到String与default encoding of utf8。 Buffer中的任何无效的UTF-8序列都将丢失，并在此处由replaced代替。

你要离开chunk S作为Buffer s，至该convert()后。它们可以在Array中收集，并与Buffer.concat()合并。

var chunks = []; 

response.on('data', function (chunk) { 
    chunks.push(chunk); 
}); 

response.on('end', function() { 
    var iconv = new Iconv('latin1', 'UTF-8'); 
    var str = iconv.convert(Buffer.concat(chunks)).toString(); 
    console.log(str); 
}); 

Answer 2

如果您将User-Agent设置为桌面浏览器的HTML，则HTML中的元标记和响应标头中的Content-Type将将charset设置为UTF-8而不是latin1。例如：

var dest = url.parse('http://www.google.com/movies?near=montreal'); 
dest.headers = { 
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36', 
}; 

http.get(dest, function(response) { 
    var str = ''; 

    response.on('data', function(chunk) { 
    str += chunk; 
    }).on('end', function() { 
    console.log(str); 
    }).setEncoding('utf8'); 
}); 

Answer 3

A Buffer的默认编码是UTF-8，它是一种可变宽度编码系统。 ASCII范围后的字符使用多个字节进行编码。如果您接收到latin1特定的字符（codepoints> 127），它们将设置第一个位，UTF-8解码器会将其视为多字节字符，最终导致未映射的代码点（显示为 ） 。

iconv有一个流媒体解码器，您可以将您的响应流管道。

http.request(googleMovies, function (response) { 
    var iconv = new Iconv('latin1', 'UTF-8'); 
    response.pipe(iconv).pipe(process.stdout); 
    //or response.pipe(iconv).on('data', console.log); 
}).end();