并行预测R

Question

我正在R中使用预测模型，并且我使用mgcv软件包编号为 。当前的预测模型使用GAM运行。但是，使用R的 需要很多天，我想优化命令。

我正在研究与Hadoop和Spark R的并行性。我在Spark R上找到预测命令，但我不认为它有GAM。你能告诉我是否有任何方法可以运行我们在R中使用的预测，并行性和使用GAM？

换句话说，我可以使用具有（例如）4个节点的群集运行下面的R代码吗？

PS：存在使用天青的可能性，HDInsight

PS2：即正在对许多时间代码（只是在R服务器实际运行，只用1台机器）

cl <- makeCluster(detectCores()-1) 

predict_x <- predict("FORMULA_X", newdata=database_x, 
        type="response", se=TRUE, cluster=cl) 

FORMULA_Xdatabase_x已确定

Answer 1

如果要将训练模型与Spark并行化，则不能使用标准R包，而需要使用Spark MLlib。下面是支持的算法列表：https://spark.apache.org/docs/latest/sparkr.html#machine-learning

您也可以尝试另一条R库支持并行：http://docs.h2o.ai/h2o/latest-stable/index.html

最复杂的选项是实现使用RDD或DataFrame操作你的星火算法。

原因是您需要专门实现可实现并行性的培训模型。