sklearn具有n_jobs = -1的逻辑回归并不实际并行

Question

我试图用sklearn逻辑回归来训练一个巨大的数据集。 我已经设置了参数n_jobs = -1（也尝试n_jobs = 5，10，...），但是当我打开htop时，我可以看到它仍然只使用一个核心。

这是否意味着logistic回归只会忽略n_jobs参数？

我该如何解决这个问题？我真的需要这个过程并行化...

P.S.我正在使用sklearn 0.17.1

Answer 1

并行进程后端也取决于求解器方法。如果你想利用多核心，则需要multiprocessing后端。

但像'sag'这样的求解器只能使用threading后端。

也大多数情况下，由于大量的预处理，它可能会被阻塞。