如何在日语中将日文字符转换为unicode？

Question

你能指点我的工具将日文字符转换为unicode吗？

Answer 1

CPAN给我“Unicode::Japanese”。希望这有助于开始。你也可以看Character Encodings in Perl和perl文档的文章unicode了解更多信息。

Answer 2

请参阅http://p3rl.org/UNI。

use Encode qw(decode encode); 
my $bytes_in_sjis_encoding = "\x88\xea\x93\xf1\x8e\x4f"; 
my $unicode_string = decode('Shift_JIS', $bytes_in_sjis_encoding); # returns 一二三 
my $bytes_in_utf8_encoding = encode('UTF-8', $unicode_string); # returns "\xe4\xb8\x80\xe4\xba\x8c\xe4\xb8\x89" 

对于命令行批量转换，使用piconv：

piconv -f Shift_JIS -t UTF-8 <infile> outfile 

Answer 3

首先，你需要找出源文本的编码，如果你不知道它了。

日本最常见的编码是：

1. euc-jp：（常用于Unix系统和一些网页等比shift-jis更大Kanji报道）
2. shift-jis（微软还增加了一些扩展，按住Shift JIS被称为cp932，这是经常使用的非Unicode Windows程序）
3. iso-2022-jp是一个遥远的第三

许多语言的通用编码转换库是iconv（请参阅http://en.wikipedia.org/wiki/Iconv和http://search.cpan.org/~mpiotr/Text-Iconv-1.7/Iconv.pm），它支持many other encodings以及日语。

Answer 4

这个问题对我来说似乎有点含糊，我不确定你在问什么。通常你会用这样的东西：

open my $file, "<:encoding(cp-932)", "JapaneseFile.txt" 

打开日文字符的文件。然后Perl会自动将其转换为内部的Unicode格式。