在AWS EMR中下载nltk会导致'[Errno 28]设备上没有剩余空间'

Question

我在Amazon AWS EMR群集中运行以下代码时出现'No Space'错误。

import nltk 
nltk.download('all') 

我检查在命令行的内存，下面是可用内存available memory in the cluster的屏幕截图。请迎接我。

Answer 1

NLTK下载器将数据下载到基于Unix/Linux操作系统的目录/usr/share/nltk_data/。

将此数据下载到具有足够磁盘空间和写入权限的其他位置。

python -m nltk.downloader -d /mnt/nltk_data all 

由于默认数据位置现在更改，相应地设置NLTK_DATA环境变量。

export NLTK_DATA=/mnt/nltk_data 

您的实例似乎已经用尽了根目录下的磁盘空间。 /目录填充到100％，在继续之前释放一些磁盘空间。