我努力学习SparkCLR处理一个文本文件,并使用在其上运行火花SQL查询Sample象下面这样: [Sample]
internal static void MyDataFrameSample()
{
var schemaTagValues = new StructType(new List<StructField>
{
new S
我提交使用sparkclr-submit火花独立集群中使用 --deploy-mode cluster
的应用程序,但它抛出一个错误: No remote Sparkclr jar found; please specify one with --remote-sparkclr-jar 哪些远程sparkclr-jar文件做我需要通过?
有人可以请这么善良,并告诉我如何适应下面的代码中的hdfs URI,以便他们对我的本地火花'群集'工作? var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt");
// some more code
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");
我终于设法得到火花本地运行,并启动它(?): spark-shell
我看到这个像开始,可以通过API来消耗服务器程序 - 不知道如果这是正确的?还是火花大师跑呢?结果是这样的打印输出: Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = loc
无连接可以作出,因为目标机器积极地拒绝它127.0.0.1:some端口号 这里是我的代码,我只是在控制台应用程序中写道Programe.cs是 using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using