木槌主题建模

我一直在使用木槌推断包含100,000行（大约34 MB木槌格式）的文本文件的主题。但是现在我需要在包含一百万行（大约180MB）的文件上运行它，并且得到一个java.lang.outofmemory异常。有没有办法将文件分割成更小的文件，并为所有文件中的数据组合起来构建模型？由于事先木槌主题建模

2011-03-02 fayaz

我不知道马利特的可扩展性，大数据，但项目http://dragon.ischool.drexel.edu/可以存储在磁盘备份持续它的数据，因此可以扩展到无限的语料规模（当然是低性能）

2011-03-02 19:48:16 yura

它看起来像龙Toolkit是死的，但。自2007年以来没有任何活动。此外，尚不清楚它使用的是什么许可证（商业发展是否允许？） – chaostheory 2011-05-18 14:00:38

即使从多个文件中读取模型，该模型仍然会非常庞大。你有没有尝试增加你的Java虚拟机的堆大小？

2011-03-02 20:17:47 Turnsole

鉴于当前PC的内存大小，应该很容易使用大到2GB的堆。在考虑使用群集之前，您应该尝试单机解决方案。

2011-03-06 14:48:00 Leo5188

java.lang.outofmemory异常发生的主要原因是堆空间不足。您可以使用-Xms和-Xmx来设置堆空间，以便它不会再次出现。

2012-01-09 12:07:10

在斌此行/ mallet.bat增加值：

set MALLET_MEMORY=1G

2012-11-04 21:36:38 metdos

回答