scala

1热度

2回答

我看到由同事写入一个方法类以下代码： class Foo(boo: Boo){ def doSomething() {...} } 其中存在数据初始化用应用的配置数据。我想知道它比以下方法有什么优势。 object Foo { def doSomething(boo: Boo){...} } 的做法，我认为，这就是其中的而不是类在一个地方创建一个更好的情况和方法在那

1热度

1回答

使用另一个数据帧或RDD搜索数据帧

6热度

1回答

从火花DataFrame提取`Seq [（String，String，String）]`

我有一个火花DF行Seq[(String, String, String)]。我试图做某种flatMap的与任何东西，但我会尽力结束了扔 java.lang.ClassCastException：org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema不能转换为scala.Tuple3 我可以采取单行或多行从DF就好 df.map

1热度

1回答

如何从Spark中的文本文件中获取第二个字段（使用scala）

我想将我的MapReduce代码转换为使用Scala的spark。并且无法从逗号分隔的输入中提取第二个字段。我尝试了多个选项，但没有成功运行。它编译OK，但抛出一个运行时异常：scala.MatchError: MapPartitionsRDD[2] 任何暗示会有所帮助：输入： Australia,6,2,7690,15,1,1,0,0,3,1,0,1,0,1,0,0,blue,0,1,1,1,

0热度

2回答

`_`缺少参数类型

我想通过多少接近列表的条目来排序列表。我决定尝试使用sortWith，但下面的代码片段： list.sortWith(math.abs(_ - num) < math.abs(_ - num)) 失败，在Scala中缺少参数类型_。列表是List[Int]类型。继其他线程，我知道_是某种类型暧昧，但我不知道为什么，（为什么下面的代码片段不是类型暧昧）： scala> val sorted

1热度

1回答

嵌套Scala未来需要管理阻塞吗？

对于我的fork-join-pool（默认全局）能够分配新线程，如果我嵌套了Futures，是否需要用阻塞{...}封装所有单个期货，如果它们是DB调用或其他I/O /网络进程，例如？这是正确的吗？ Future.sequence( blocking{ val f1 = Future(...) val f2 = Future(...) val f3 =

3热度

2回答

我们应该并行化数据帧像我们培训

考虑这里给出的代码之前并行化序列， https://spark.apache.org/docs/1.2.0/ml-guide.html import org.apache.spark.ml.classification.LogisticRegression val training = sparkContext.parallelize(Seq( LabeledPoint(1.0, Vec

1热度

1回答

Spark Context throwing'error：identifier expected but'['found。'

我正在读一本书，说我应该可以输入sc.[\t]并获得回复。我看到的是... scala> sc.[\t] <console>:1: error: identifier expected but '[' found. sc.[\t] ^ <console>:1: error: identifier expected but ']' found. sc.[\t]

2热度

1回答

如何在scala中使用迭代器根据长度内存有效地作出决定

我有一个很长的集合，我需要在scala中进行迭代，并且我想避免将它全部保留在内存中。我想出了解决的办法是这样的：（行是我试图处理和COMPONENT_LIMIT我计算多少对象，我可以在内存中保留估计迭代器） val (processItr, countItr) = rows.duplicate val pastLimitItr = countItr.drop(COMPONENT_LIMIT)

5热度

1回答

测试有效的状态转换

假设我有这个类： case class Receipt(id: Long, state: String) { def transitionTo(newState: String) = { if (!canTransitionTo(newState)) { throw new IllegalStateExcetion(s"cant transition from $s