匹配Unicode属性的Python正则表达式

Question

Perl和其他一些当前正则表达式引擎在正则表达式中支持Unicode属性，例如类别。例如。在Perl中，您可以使用\p{Ll}来匹配任意小写字母，或p{Zs}以用于任何空格分隔符。我在Python的2.x和3.x行中都没有看到对此的支持（带有遗憾）。是否有人知道获得类似效果的好策略？欢迎使用本土解决方案。

Answer 1

您是否试过Ponyguruma，一个Python与Oniguruma正则表达式引擎绑定？在该引擎中，您可以简单地说\p{Armenian}以匹配亚美尼亚字符。 \p{Ll}或\p{Zs}也可以。

Answer 2

你说得对，Python属性类不被Python正则表达式解析器支持。

如果你想做一个很好的黑客，这通常是有用的，你可以创建一个预处理器，扫描一个字符串这样的类令牌（\p{M}或其他），并用相应的字符集替换它们，这样例如，\p{M}将变为[\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]，并且\P{M}将变为[^\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]。

人们会感谢你。 :)

Answer 3

请注意，虽然\p{Ll}在Python正则表达式中没有等效，但\p{Zs}应覆盖'(?u)\s'。 (?u)，正如文档所说：“使\ w，\ w，\ b，\ B，\ d，\ D，\ s和\ S依赖于Unicode字符属性数据库。”和\s表示任何间距字符。

Answer 4

可以精心上每个字符使用unicodedata：

import unicodedata 

def strip_accents(x): 
    return u''.join(c for c in unicodedata.normalize('NFD', x) if unicodedata.category(c) != 'Mn') 

Answer 5

的regex模块（到标准re模块的替代）支持带有\p{}语法的Unicode编码点的属性。

Answer 6

说到自制的解决方案的，前一段时间我写了一个小program能够做到这一点 - 转换写成\p{...}到值的范围为Unicode类别，该Unicode specification（v.5.0.0）提取。仅支持类别（例如：L，Zs），并且仅限于BMP。我在这里发布它，以防有人发现它有用（尽管Oniguruma真的看起来更好一些）。

用法示例：

>>> from unicode_hack import regex 
>>> pattern = regex(r'^\\p{Lu}(\\p{L}|\\p{N}|_)*') 
>>> print pattern.match(u'疂_1+2').group(0) 
疂_1 
>>> 

这里的source。还有一个JavaScript version，使用相同的数据。