我试图使用Mesos将Apache Spark连接到MongoDB。这里是我的架构: -通过Mesos发送给MongoDB
MongoDB:MongoDB 2个碎片,1个配置服务器和1个查询服务器的集群。 Mesh:1 Mesos Master,4 Mesos Slaves
现在我已经在1个节点上安装了Spark。那里没有太多可用的信息。我只是想提出几个问题: -
据我所知,我可以通过mesos连接Spark到MongoDB。换句话说,我最终将MongoDB用作存储层。我真的需要Hadoop吗?是否必须将所有数据都拉入Hadoop中才能读取Spark?
这是我问这个问题的原因。 Spark安装期望设置HADOOP_HOME变量。这似乎是非常紧密的耦合!网上的大多数帖子都讲述了MongoDB-Hadoop连接器。如果你迫使我把所有东西都搬到hadoop,这没有任何意义。
有没有人有答案?
问候 马里奥
谢谢罗斯。但是,正如Youe上面提到的,Spark希望在安装时设置HADOOP_HOME变量!这清楚地表明,它与Hadoop绑定在一起,不管他们对Spark的看法是独立的。 – Mario