最有效的分词算法？

Question

我一直在寻找一种高效的分词算法，但没有取得太大的成功。例如，给出单词hello，我希望获得该单词的所有可能分区：{h，e，l，l，o}，{h，e，l，lo}，{h，e，llo} ,. ..，{你好}。我发现的所有关于分词的讨论都不是我的意思。

预先感谢您！

Answer 1

您将展示一些示例，我们可以将注意力集中在逗号上。 要么有逗号，要么没有。

Word  Commas 
{h,e,l,l,o} 1111 
{h,e,l,l o} 1110 
{h,e,l l o} 1100 
... 
{h e l l o} 0000 

所以看起来很明显，在4个位置上，可能有逗号或不逗号，彼此独立。你需要4位编码的分区，这是2^4点的可能性，我想这是16

这样你就可以形成一个循环：

for (int i = 0; i < 15; ++i) 
    bitsplit ("hello", i); 

，并通过你的话重复而遍历位的二进制表示。例如对于11，您有位：8 + 2 + 1 = 1011设置。这意味着{h，el，l，o}。

Answer 2

问题是NP完整，需要通过回溯来解决。

这个想法是在每个级别，你决定这个角色是属于当前分区还是应该去一个新的。以递归方式进行此操作，并且每次达到该单词的结尾时，都有一个分区。

Answer 3

大多数喜欢你想构造一个后缀-tree。