mobius

    0热度

    1回答

    我按照指令here成功设置集群。想知道是否可以通过API使用这种类型的集群来调用Spark?哪里可以找到Spark端点的详细信息?如果前面提到的教程是死胡同的,请问有谁能指出我正确的方向? 我最终的POC目标是在某个S3存储桶中的平面文件(例如csv)中添加2列,并通过spark将第三列的结果值进行比较(这不是功课( - :) - 理想情况下使用Mobius因为我[前] .net开发)。

    0热度

    3回答

    我努力学习SparkCLR处理一个文本文件,并使用在其上运行火花SQL查询Sample象下面这样: [Sample] internal static void MyDataFrameSample() { var schemaTagValues = new StructType(new List<StructField> { new S

    0热度

    1回答

    我基本上是一个.net程序员,我的任务是用SPARK和Cassandra分析数据。我正在寻找一个C#API来与SPARK合作,并且我发现了Mobius(因为我不知道JAVA)。我开始从GitHub下载Mobius项目,并根据windows的构建,我遵循上述步骤并且无法使其工作。我有关于它的以下问题。 1)我的Ubuntu机器上有一个DataStax企业版,我的Cassandra和SPARK可用(独

    0热度

    2回答

    我正在研究一个将作为模拟工具链数据集的OLAP引擎的系统。这些工具以XML格式生成结果。 对我来说,最简单和最简单的解决方案就是直接使用spark-xml直接使用python,Scala等来访问XML文件。但问题是项目所有者想要使用C#,因为这就是原始的模拟工具链是内置的。我知道C#有SparkCLR,但我不知道在C#中使用Spark-XML的好方法。 有没有人有任何建议如何做到这一点?如果没有,

    0热度

    1回答

    我提交使用sparkclr-submit火花独立集群中使用 --deploy-mode cluster 的应用程序,但它抛出一个错误: No remote Sparkclr jar found; please specify one with --remote-sparkclr-jar 哪些远程sparkclr-jar文件做我需要通过?

    0热度

    1回答

    有人可以请这么善良,并告诉我如何适应下面的代码中的hdfs URI,以便他们对我的本地火花'群集'工作? var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt"); // some more code wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");

    0热度

    1回答

    莫比乌斯1.6连接Oracle数据库,使用下面的命令 C:\spark-clr_2.10-1.6.200\runtime\scripts\sparkclr-submit.cmd --master local --jars C:\oracle\lib\ojdbc7.jar --exe WinFormMobius.exe D:\Mobius\Debug [2016-09-29T08:31:24.3

    0热度

    1回答

    我终于设法得到火花本地运行,并启动它(?): spark-shell 我看到这个像开始,可以通过API来消耗服务器程序 - 不知道如果这是正确的?还是火花大师跑呢?结果是这样的打印输出: Spark context Web UI available at http://123.134.0.4:4040 Spark context available as 'sc' (master = loc

    2热度

    2回答

    无连接可以作出,因为目标机器积极地拒绝它127.0.0.1:some端口号 这里是我的代码,我只是在控制台应用程序中写道Programe.cs是 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using

    1热度

    1回答

    我正在尝试使用现有的(独立的)Spark集群(在Ubuntu Linux上)与我通过python或scala愉快地交互的C#驱动程序。 我不清楚如何运行一个简单的C#示例下载最新的Mobius发行版到Linux机器。我不清楚的是clr spark提交所需的两个额外参数(超过了通常需要的参数)。首先,对于--exe,是否只需指向.exe文件或是否需要传递;其次,remote-spark-clr似乎坚