scala

0热度

3回答

Spark错误：GenericRowWithSchema无法转换为scala.collection.mutable.WrappedArray

我正在使用spark 1.6并尝试获取并投射数据帧行值。这里是我的问题：我在我的数据帧一排谁拥有这种结构：我需要涂用[字符串列表]在WrappedArray，所以我尽量将其丢与此代码： val RDD= DF.map( f => { if(f.getAs("ListOfRficAction")!=null){ var listActions = f.

0热度

1回答

Scalafx：在斯卡拉

我上线图码样本共创线型图： import scalafx.application.JFXApp import scalafx.stage.Stage import scalafx.scene.Scene import scalafx.scene.chart.{LineChart,NumberAxis, XYChart} import scalafx.coll

1热度

2回答

mllib矢量的最大值？

我使用mllib创建了一个使用Apache Spark的ML管道。评估结果是一个DataFrame，其中有一列“probability”，它是概率的mllib向量（类似于scikit-learn中的predict_proba）。 val rfPredictions = rfModels.bestModel.transform(testing) val precision = evaluat

1热度

1回答

Neo4j Spark连接器错误：import.org.neo4j.spark._对象neo4j未在软件包中找到org

我的我的scala代码在连接到Neo4j的spark上运行。我想测试一下我的Windows机器上，但似乎无法得到它的运行，我不断收到错误： Spark context Web UI available at http://192.168.43.4:4040 Spark context available as 'sc' (master = local[*], app id = local-150

0热度

1回答

错误：无法找到或加载主类Scala

我最近安装了Scala作为函数式编程课程的一部分，并遇到了一个问题：IntelliJ IDEA 2017.2.1（Java版本9，版本9 + 181 ）不运行任何我的斯卡拉代码，退出 Error: Could not find or load main class Main 此代码是一个示例。 object Main { def length[A](list:List[A]):Int =

4热度

1回答

星火结构化数据流ForeachWriter和数据库性能

我了个去实现，像这样一个结构化的流... myDataSet .map(r => StatementWrapper.Transform(r)) .writeStream .foreach(MyWrapper.myWriter) .start() .awaitTermination() 这一切似乎工作，但看着吞吐量MyWrapper.myWrit

2热度

1回答

如何在set_identity关闭时将Spark数据框推送到Sql Server表中？

所以，我有一个在Id列的Sql Server表，它是一个标识列。我面临的问题是，当我尝试将数据框推入其中时，它抱怨identity_insert设置为“关闭”。现在，我明确地使用jdbc将其设置为'on'，但由于这是sql服务器端的会话变量，因此在dataframe push命令被命中时它会变回'off'，因为两者都是针对sql的不同会话服务器。如果'开启'并在同一会话中推送数据帧，是否有方法可

3热度

2回答

[]和（）之间的区别创建新的Scala对象

只看Scala Akka并想知道以下对象初始化方法之间有什么区别。 system.actorOf(Props[HelloActor], name = "helloactor") 和 system.actorOf(Props(new HelloActor("Fred")), name = "helloactor") 我可以理解，第二个，Props(new HelloActor())，但什么是

0热度

1回答

Spark多个输出路径导致多个输入读取

首先，为标题道歉，我不确定如何简洁地描述这一点。我有一个Spark日志解析到JSON，然后使用spark-sql将特定列转换为ORC并写入各种路径。例如： val logs = sc.textFile("s3://raw/logs") val jsonRows = logs.mapPartitions(partition => { partition.map(log => {

1热度

1回答

类型符号和Scala反射镜之间的关系

Scala反射非常复杂。它包含类型符号和镜像。你能告诉我他们之间的关系吗？