有没有简单的方法来解决Delphi utf8文件的缺陷？

Question

我发现（困难的方式），如果一个文件有一个有效的UTF-8 BOM但包含任何无效的UTF8编码，并且被任何Delphi（2009+）编码启用的方法（如LoadFromFile）读取，那么结果是一个完全空的文件，没有错误指示。在我的几个应用程序中，我宁愿仅仅丢失一些不好的编码，即使在这种情况下我也没有收到错误报告。

调试显示MultiByteToWideChar被调用两次，第一次获取输出缓冲区大小，然后进行转换。但是TEncoding.UTF8包含这些调用的私有值FMBToWCharFlags，并且这个值用MB_ERR_INVALID_CHARS的值初始化。所以获取charcount的调用返回0，并且加载的文件完全是空的。在没有标志的情况下调用这个API会'悄然丢弃非法代码点'。

我的问题是如何最好地编织通过在编码领域的类巢以解决这是一个私人价值（因为它是所有线程类var）的事实。我想我可以使用Marco Cantu的Delphi 2009书中的指导来添加自定义的UTF8编码。如果MultiByteToWideChar在没有该标志的情况下再次调用之后返回编码错误，它可以选择性地引发异常。但是这并不能解决如何使用自定义编码而不是Tencoding.UTF8的问题。

如果我可以在初始化时将它设置为应用程序的默认值，或许通过实际修改Tencoding.UFT8的类var，这可能就足够了。

当然，我需要一个解决方案，无需等待提交质量控制报告，询问更强大的设计，接受并更改设计。

任何想法都会非常受欢迎。有人可以证实，这仍然是XE4的问题，我还没有安装？

Answer 1

部分解决方法是强制UTF8编码全局禁止MB_ERR_INVALID_CHARS。对我而言，这避免了引发异常的需要，因为我发现它使得MultiByteToWideChar不太“沉默”：它实际上插入了$fffd字符（Unicode'替换字符'），然后我可以在重要的情况下找到它。下面的代码执行此操作：

unit fixutf8; 
interface 
uses System.Sysutils; 
type 
    TUTF8fixer = class helper for Tmbcsencoding 
    public 
    procedure setflag0; 
    end; 

implementation 
procedure TUTF8fixer.setflag0; 
{$if CompilerVersion = 31} 
asm 
    XOR ECX,ECX 
    MOV Self.FMBToWCharFlags,ECX 
end; 
{$else} 
begin 
    Self.FMBToWCharFlags := 0; 
end; 
{$endif} 

procedure initencoding; 
begin 
    (Tencoding.UTF8 as TmbcsEncoding).setflag0; 
end; 

initialization 
    initencoding; 
end. 

一个更有用的和有原则的解决将需要更改为MultiByteToWideChar调用不使用MB_ERR_INVALID_CHARS，并且使这个标志的初始呼叫，这样的异常可以在加载后提高是完整的，表明字符将被替换。

在这个问题上有相关的质量控制报告，包括76571,79042和111980.第一个已经“按设计”解决。

（编辑用Delphi柏林工作）

Answer 2

我跑进MB_ERR_INVALID_CHARS问题，当我第一次更新，印地支持TEncoding，并最终实现为UTF-8处理，以避免指定MB_ERR_INVALID_CHARS定制TEncoding派生类。我没想过要使用班级帮手。

但是，这个问题不仅限于UTF-8。任何TEncoding类的任何解码失败都会导致空白结果，而不是引发异常。为什么Embarcadero选择了这种路线，当大多数RTL/VCL使用异常时，这种情况超出了我的想象。没有提出错误例外导致Indy中相当多的问题必须解决。

Answer 3

这可以非常简单地完成，至少在Delphi XE5（还没有检查更早版本）。只需实例化自己的TUTF8Encoding：

procedure LoadInvalidUTF8File(const Filename: string); 
var 
    FEncoding: TUTF8Encoding; 
begin 
    FEncoding := TUTF8Encoding.Create(CP_UTF8, 0, 0); 
         // Instead of CP_UTF8, MB_ERR_INVALID_CHARS, 0 
    try 
    with TStringList.Create do 
    try 
     LoadFromFile(Filename, FEncoding); 
     // ... 
    finally 
     Free; 
    end; 
    finally 
    FEncoding.Free; 
    end; 
end; 

这里唯一的问题是，IsSingleByte属性为新实例化TUTF8Encoding然后被错误地设置为False，但在Delphi源此属性当前未使用的任何地方。

Answer 4

您的“全局”方法并非真正的全局方法 - 它依赖于所有代码只会使用同一个实例TUTF8Encoding的假设。您在黑客入侵标志字段的同一个实例。

但是，如果一个获得TUTF8Encoding对象（一个或多个）通过其他手段比TEncoding.GetUTF8，例如在XE2另一种方法它不会工作 - TEncoding.GetEncoding(CP_UTF8) - 将创建的TUTF8Encoding新实例而不是重新使用FUTF8共享的一个。或者某些功能可能直接运行TUTF8Encode.Create。

所以我建议另外两种方法。

修补类实现的方法，有点古怪。为了获得新的“修复”构造函数体，你需要引入你自己的类。

type TMyUTF8Encoding = class(TUTF8Encoding) 
    public constructor Create; override; 
end; 

此构造将是TUTF8Encoding.Create()实施山寨，除了你想要它设置标志（在XE2它是通过调用另一个做，继承Create(x,y,z)，这样你们就不会需要私有字段的访问）代替。

然后，您可以将股票补丁TUTF8Encoding VMT覆盖其虚拟构造函数到您的新构造函数。

您可以阅读有关“内部格式”等的Delphi文档以获取VMT布局。您还需要调用VirtualProtect（或其他特定于平台的功能），以便在修补之前从VMT内存区域移除保护，然后进行恢复。

例子来学习从

• How to change the implementation (detour) of an externally declared function
• https://stackoverflow.com/a/1482802/976391

或者你可以尝试使用德尔福弯路库，希望它可以修补虚拟构造函数。然后......为了这个单一的目标，使用那个相当复杂的库可能是一个矫枉过正的问题。

在你入侵TUTF8Encoding类之后，请调用TEncoding.FreeEncodings删除已经创建的共享实例（如果有的话）（如果有的话），从而触发你的修改重新创建UTF8实例。

---

然后，如果您编译程序作为single monolithic EXE，而不使用运行时BPL模块，你才可以在SysUtils.pas来源复制到您的应用程序文件夹，然后以包括本地复制到项目明确。

How to patch a method in Classes.pas

有你认为合适的来源，你会改变非常TUTF8Encoding执行和Delphi会使用它。

如果您的项目将被构建为重用rtlNNN.bpl运行时软件包而不是单片，那么这种大脑致命的简单化（因此 - 同样可靠）方法将不起作用。