的有效XML字符名单是众所周知的,由它的规范定义:Unicode正则表达式;无效的XML字符
#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
我的问题是,是否有可能作出这样的PCRE正则表达式(或其倒数)而无需使用Unicode常规类别实际对代码点进行硬编码。反例可能类似于[\ p {Cc} \ p {Cs} \ p {Cn}],但不正确地覆盖了换行符和制表符以及其他一些无效字符。
的有效XML字符名单是众所周知的,由它的规范定义:Unicode正则表达式;无效的XML字符
#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
我的问题是,是否有可能作出这样的PCRE正则表达式(或其倒数)而无需使用Unicode常规类别实际对代码点进行硬编码。反例可能类似于[\ p {Cc} \ p {Cs} \ p {Cn}],但不正确地覆盖了换行符和制表符以及其他一些无效字符。
对于内部存储的代码点UTF-16系统中,通常使用代理对(xD800-xDFFF)以上0xFFFF的,并在这些系统的代码点,您必须验证,如果你真的可以使用例如\ U12345或必须指定作为代理对。 (我刚刚发现,在C#中,您可以使用\u1234 (16 bit) and \U000(32-bit))
根据Microsoft“W3C建议不允许在元素或属性名称内使用替代字符。”在搜索W3s网站时,我发现可能感兴趣的C079和C078。
我知道这是不完全的回答你的问题,但它有助于在这里有它:
正则表达式匹配有效的XML字符:
[\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD]
所以要去除无效来自XML的字符,你会做类似
// filters control characters but allows only properly-formed surrogate sequences
private static Regex _invalidXMLChars = new Regex(
@"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]",
RegexOptions.Compiled);
/// <summary>
/// removes any unusual unicode characters that can't be encoded into XML
/// </summary>
public static string RemoveInvalidXMLChars(string text)
{
if (string.IsNullOrEmpty(text)) return "";
return _invalidXMLChars.Replace(text, "");
}
我有我们的常驻正则表达式/ XML天才,he of the 4,400+ upvoted post,检查这一点,然后他签署了它。
而不是text.IsNullOrEmpty()我认为你需要string.IsNullOrEmpty(文本) – 2013-05-06 05:12:28
你是杰夫阿特伍德,你真的不需要任何居民签署你的东西在这里。 – jbnunn 2013-07-16 16:33:22
我在Java中尝试这样做,它的工作原理:
private String filterContent(String content) {
return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", "");
}
谢谢杰夫。
如果十六进制代码存在于xml中,上述解决方案对我无效。例如
<element></element>
下面的代码将打破:
string xmlFormat = "<element>{0}</element>";
string invalid = " ";
string xml = string.Format(xmlFormat, invalid);
xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", "");
XDocument.Parse(xml);
它返回:
XmlException: '',十六进制值0x08时,是无效字符。 1号线,位置14。
以下是改进正则表达式和上面固定提到的问题:
& #x中([0-8BCEFbcef] | 1 [0-9A-发F]); | [\ x01- \ X08 \ X0B \ X0C \ x0E \ X0F \ u0000- \ u0008 \ u000B \ u000C \ u000E- \ u001F]
下面是第一300个Unicode字符单元测试并且仅验证无效字符被删除:
[Fact]
public void validate_that_RemoveInvalidData_only_remove_all_invalid_data()
{
string xmlFormat = "<element>{0}</element>";
string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray());
string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray());
string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray());
bool hasParserError = false;
IXmlSanitizer sanitizer = new XmlSanitizer();
foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase))
{
bool shouldBeRemoved = false;
string xml = string.Format(xmlFormat, test);
try
{
XDocument.Parse(xml);
shouldBeRemoved = false;
}
catch (Exception e)
{
if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these.
{
shouldBeRemoved = true;
}
}
int xmlCurrentLength = xml.Length;
int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length;
if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed
||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been
{
hasParserError = true;
Console.WriteLine(test + xml);
}
}
Assert.Equal(false, hasParserError);
}
另一种方法,以消除在C#中不正确的XML字符使用XmlConvert.IsXmlChar Method(可用自.NET框架4.0)
public static string RemoveInvalidXmlChars(string content)
{
return new string(content.Where(ch => System.Xml.XmlConvert.IsXmlChar(ch)).ToArray());
}
,或者您可以检查所有的字符是XML-有效。
public static bool CheckValidXmlChars(string content)
{
return content.All(ch => System.Xml.XmlConvert.IsXmlChar(ch));
}
净小提琴 - https://dotnetfiddle.net/v1TNus
例如,垂直制表符符号(\ V)不是有效的XML,它是有效的UTF-8,但不是有效的XML 1.0,甚至许多库(包括libxml2)会错过它并静默输出无效的XML。
虽然这是一个有用的实现技巧,但它并没有真正回答我的问题。让我们假设参数为实现对非BMP字符的一流支持,所以根本不需要代理字符。 – 2008-12-31 21:04:13