加速使用MITIE和Rasa的模型训练

Question

我正在训练使用RASA中的MITIE后端来识别短，一到三个文本句子字符串的模型。该模型使用spaCy进行训练和工作，但并不像我想的那样精确。在spaCy上进行的培训不超过五分钟，但是对于MITIE的培训，我的计算机上连续运行了几天，使用16GB的RAM。因此，我开始在具有255GB RAM和32个线程的Amazon EC2 r4.8xlarge实例上进行培训，但似乎并未使用所有可用的资源。

在莎配置文件，我有num_threads: 32并设置max_training_processes: 1，我认为将有助于使用所有的内存和计算能力可用。但现在它已经运行了几个小时，CPU使用率保持在3％（100％的使用率，但只在一个线程上），内存使用率保持在25GB左右，只有它的十分之一。

你们有没有尝试加速MITIE培训的经验？我的模型有175个意图和总共6000个意图示例。有没有什么可以在Rasa配置文件中进行调整？

Answer 1

所以我会尝试从多个角度来解决这个问题。从莎NLU角度the docs specifically say首先明确：

培训MITIE可以与数据集很慢多了几个意向。

，并提供两种选择：

• 使用mite_sklearnpipeline这火车使用sklearn。
• 使用MITIE fork，其中来自Rasa的Tom B已修改代码以在大多数情况下运行得更快。

假设你只得到使用单核我怀疑这会产生影响，但它已被从莎建议由阿兰说NUM_THREADS应设置为2-3倍的核心数量。

如果你还没有评估这两种可能性，那么你可能应该。

---

不是MITIE的所有方面都是多线程的。见this issue别人的MITIE GitHub的页面上使用莎开在这里引述：

MITIE的某些部分没有螺纹。从任务到数据集到数据集，线程的受益程度不尽相同。有时只有100％的CPU利用率发生，这是正常的。

---

具体有关我建议你看一下最近引入莎回购的evaluate工具训练数据。它包含一个可能有助于识别故障区域的混淆矩阵。

这可能允许您切换到spaCy并将6000个示例的一部分用作评估集，并在示例中添加效果不佳的意图。

---

我对其中6000例是从哪里来的，如果他们是平衡的，每个意图如何不同的是，你有没有证实，从训练例子的话是你正在使用的语料库等更多的问题但我认为以上就足够了。

这将是毫不奇怪的莎团队MITIE正在采取永远去训练，这将是更多的是惊喜，你不能得到良好的精度了另一个管道的。

万不得已我会鼓励你拉沙NLU GitHub的页面上打开一个问题，并参与球队有进一步的支持。或加入Gitter对话。