将任意Java机器学习与Apache Spark集成

Question

基本上我需要做的是将CTBNCToolkit与Apache Spark集成，因此该工具箱可以利用Apache Spark的并发和集群功能。

总的来说，我想知道的是有由Apache Spark开发者接触到任何Java/Scala库的方式，机器学习库可以在星火的并发管理上运行集成任何方式？

所以我们的目标是让独立机器学习库更加快速并发。

Answer 1

不，这是不可能的。

所以你想要的是任何算法在Spark上运行。但是，为了平行工作，Spark使用RDD或Dataset。所以为了同时运行你的任务，算法将不得不使用这些类。

你可以尝试的唯一事情就是编写你自己的Spark程序，它使用任何其他库。但我不确定你的情况是否可行。但是，Spark ML对你来说还不够吗？