如何在使用unicode字符属性时模拟字边界？

Question

从我以前的问题Why under locale-pragma word characters do not match?和How to change nested quotes我了解到，在处理UTF-8数据时，您不能信任\w作为word-char，并且您必须使用Unicode字符属性\p{Word}。现在我处于一种情况，我发现零宽度的文字边界\b也不支持UTF-8（启用区域设置），但我在Unicode字符属性中找不到任何等效字符。我想我可以自己构建它，如：(?<=\P{Word})(\p{Word}+)(?=\P{Word})，它应该相当于\b(\w+)\b。

在下面的测试脚本中，我有两个数组来测试两个不同的正则表达式。当区域设置未启用时，基于\b的第一项工作正常。为了使它也适用于语言环境，我编写了另一个模拟边界(?=\P{Word})的版本，但它并不像我期望的那样工作（我也在脚本中显示了预期的结果）。

你看到什么是错误的，以及如何获得模拟正则表达式作为首先与ASCII（或没有区域设置）？

#!/usr/bin/perl 

use 5.010; 
use utf8::all; 
use locale; # et_EE.UTF-8 in my case 
$| = 1; 

my @test_boundary = ( # EXPECTED RESULT: 
    '"abc def"',   # '«abc def»' 
    '"abc "d e f" ghi"', # '«abc «d e f» ghi»' 
    '"abc "d e f""',  # '«abc «d e f»»' 
    '"abc "d e f"',  # '«abc "d e f»' 
    '"abc "d" "e" f"', # '«abc «d» «e» f»' 
    # below won't work with \b when locale enabled 
    '"100 Естонiï"',  # '«100 Естонiï»' 
    '"äöõ "ä õ ü" ï"', # '«äöõ «ä õ ü» ï»' 
    '"äöõ "ä õ ü""',  # '«äöõ «ä õ ü»»' 
    '"äöõ "ä õ ü"',  # '«äöõ «ä õ ü»' 
    '"äöõ "ä" "õ" ï"', # '«äöõ «ä» «õ» ï»' 
); 

my @test_emulate = ( # EXPECTED RESULT: 
    '"100 Естонiï"',  # '«100 Естонiï»' 
    '"äöõ "ä õ ü" ï"', # '«äöõ «ä õ ü» ï»' 
    '"äöõ "ä õ ü""',  # '«äöõ «ä õ ü»»' 
    '"äöõ "ä õ ü"',  # '«äöõ "ä õ ü»' 
    '"äöõ "ä" "õ" ï"', # '«äöõ «ä» «õ» ï»' 
); 

say "BOUNDARY"; 
for my $sentence (@test_boundary) { 
    my $quote_count = ($sentence =~ tr/"/"/); 

    for (my $i = 0 ; $i <= $quote_count ; $i += 2) { 
    $sentence =~ s/ 
     "(       # first qoute, start capture 
     [\p{Word}\.]+?   # suva word-char 
     .*?\b[\.,?!»]*?   # any char followed boundary + opt. punctuation 
    )"       # stop capture, ending quote 
     /«$1»/xg;     # change to fancy 
    } 
    say $sentence; 
} 

say "EMULATE"; 
for my $sentence (@test_emulate) { 
    my $quote_count = ($sentence =~ tr/"/"/); 

    for (my $i = 0 ; $i <= $quote_count ; $i += 2) { 
    $sentence =~ s/ 
     "(      # first qoute, start capture 
     [\p{Word}\.]+?    # at least one word-char or point 
     .*?(?=\P{Word})   # any char followed boundary 
     [\.,?!»]*?     # optional punctuation 
    )"       # stop capture, ending quote 
     /«$1»/gx;     # change to fancy 
    } 
    say $sentence; 
} 

Answer 1

由于后\b的位置或者是一些标点符号或"字符（为了安全起见，请仔细检查\p{Word}不符合任何人的），它落入的情况下\b\W。因此，我们可以效仿\b有：

(?<=\p{Word}) 

我不熟悉Perl，但是从what I tested here，似乎当编码设置为UTF-8 \w（和\b）也很好地工作。

$sentence =~ s/ 
    "(
    [\w\.]+? 
    .*?\b[\.,?!»]*? 
)" 
    /«$1»/xg; 

如果移动学习Perl 5.14及以上的，可以设置的字符集与u标志为Unicode。

---

你可以使用这个总体战略，构建对应于字符类的边界。 （如\b字边界定义基于\w的定义）。

让C成为角色等级。我们想定义一个基于字符类C.边界

下建设将效仿边界在面前的时候，你知道当前字符属于C字符类（相当于(\b\w)）：

(?<!C)C 

或后方（相当于\w\b）：

C(?!C) 

为什么负环视？因为积极的环视（与互补角色类别）也会断言前后必须有一个角色（在前/后至少1处声明宽度）。消极的环视将允许字符串的开始/结束，而不用写繁琐的正则表达式。

---

对于\B\w仿真：

(?<=C)C 

，同样\w\B：

C(?=C) 

\B是\b正好相反，因此，我们就可以翻转正/负环视模拟效果。这也是有道理的 - 只有当前后角色更多时才能形成非边界。

---

其他仿真（让c是补体字符类的C）：

• \b\W：(?<=C)c
• \W\b：c(?=C)
• \B\W：(?<!C)c
• \W\B：c(?!C)

---

对于独立边界的仿真（相当于\b）：

(?:(?<!C)(?=C)|(?<=C)(?!C)) 

和独立非边界（相当于\B）：

(?:(?<!C)(?!C)|(?<=C)(?=C)) 

Answer 2

您应该使用负lookarounds：

(?<!\p{Word})(\p{Word}+)(?!\p{Word}) 

正lookarounds在开始或结束的字符串失败，因为他们需要一个非单词字符存在。在这两种情况下，负面看法都起作用。