计数Unicode字符串长度而不组合标记

Question

考虑以下Ruby代码分析一个三字节的UTF-8字符串：

#encoding: utf-8 
s = "\x65\xCC\x81" 
p [s.bytesize, s.length, s, s.encoding.name] 
#=> [3, 2, "é", "UTF-8"] 

如上所述on this page of mine上述真的是两个字符的字符串：拉丁小写e其次是Combining Acute Accent。然而，它看起来像一个字符，这在布置固定宽度显示器时很重要。

例如，看一下上this directory listing两个条目为“moiré.svg”并注意其中一人搅乱了列对齐。

如何计算Ruby中字符串的“等宽视觉长度”，该字符串不包含任何零宽度组合字符？ （一个有效的技术可能转化为Unicode字符串转换成其规范的表达方式，转向到上述"\xC3\xA9"这也像é但有1一个length。）

Answer 1

的unicode_utils宝石可以帮助：

http://unicode-utils.rubyforge.org/UnicodeUtils.html

有一个char_display_width方法：

require "unicode_utils/char_display_width" 
UnicodeUtils.char_display_width("別") # => 2 
UnicodeUtils.char_display_width(0x308) # => 0 
UnicodeUtils.char_display_width("a") # => 1 

有一个字符串display_width方法：

require "unicode_utils/display_width" 
UnicodeUtils.display_width("別れ") => 4 
UnicodeUtils.display_width("12") => 2 
UnicodeUtils.display_width("a\u{308}") => 1 

也期待在each_grapheme。

（感谢迈克尔·安德森指出的其他方法）

Answer 2

我远远不是Ruby的专家，但this给出了以下情况：

def length_utf8 
    count = 0 
    scan(/./mu) { count += 1 } 
    count 
end 

Answer 3

你可以使用正则表达式来获得在Unicode属性：

s = "\x65\xCC\x81" 
count = s.each_char.inject(0) do |c, char| 
    c += 1 unless char=~/\p{Mn}/ 
    c 
end 

puts count #=> 1 

这个工程在这种情况下，但你必须计算出在更强大的解决方案中排除哪些属性。

使用@joelparkerhenderson's answer中建议的unicode_utils gem可能是一个更好的选择，但我想我会包括这个完整性。