清洁火花缓存数据

Question

我以前缓存（）和坚持（）上数据帧 througout我的应用程序。我想知道是否需要在缓存的每个数据帧上调用unpersist（）以释放当程序结束时占用的所有内存和磁盘？会引发自动清理这些职业？
谢谢

Answer 1

一旦spark上下文停止，内存将自行释放。 如果您想在停止上下文之前释放内存，那么您必须调用unpersist。