scala

    5热度

    1回答

    假设我们有以下的文本文件(df.show()命令的输出): +----+---------+--------+ |col1| col2| col3| +----+---------+--------+ | 1|pi number|3.141592| | 2| e number| 2.71828| +----+---------+--------+ 现在我想读/解析它作为一个数据帧/

    3热度

    2回答

    我想创建一个Int值存储这样的一个类型级表示: sealed trait Position { def value : Int } class P1 extends Position {val value = 1} class P2 extends Position {val value = 2} 当一个类继承它: case class PExtended() extends

    1热度

    2回答

    我有一个表包含一列“年龄”。我想根据他们的年龄分组人群,EX:[0,5],[5,10],[10,15],... 然后我会为每个组做同样的计算并比较结果。 这样做的目标是查看年龄是否与其他变量有关。 请帮忙。

    0热度

    1回答

    读取Spark文档的第一个函数,它提到ignoreNulls会得到第一个非空值。 import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import org.apache.spark.sql.expressions.{Window, WindowSpec} object tmp {

    1热度

    1回答

    我正在构建mongodb对象并将它传递给mongo存储库的findAll方法。 如何通过围绕所有这些领域设计索引来实现更快的性能? val criteriaQuery = MongoDBObject.newBuilder criteriaQuery += OrderNames.CLIENT_ID -> clientId if (StringUtils.isNotBlank(orderId))

    0热度

    1回答

    我遇到以下scala示例,它解释了aggregateByKey。 斯卡拉例:以上Scala代码 val pairs=sc.parallelize(Array(("a",3),("a",1),("b",7),("a",5))) import scala.collection.mutable.HashSet //the initial value is a void Set. Adding an

    0热度

    2回答

    我是scala的新手,我正在尝试创建一个代码尚未完成的树。这是我做了什么: class Tree { class TreeNode(val n: Int, val points: Array[Double], val center: Double) extends Tree{ } sealed trait Tree { def elem : TreeNode } def

    1热度

    1回答

    我试图启动一个卡夫卡服务器形式的Java 具体来说,我怎么能翻译斯卡拉的this line入行渣华的? private val server = new KafkaServer(serverConfig, kafkaMetricsReporters = reporters) 我可以轻松地创建serverConfig中,但我似乎无法能够创建kafkaMetricsReporters参数。 注:我

    1热度

    1回答

    只选择每n个元素减少星火据帧的大小 I V有一个org.apache.spark.sql.Dataframe = [t: double, S: long] 现在我想通过每2元,以减少据帧,与val n=2 结果应该是 你会如何解决这个问题? 我尝试了插入第三列并使用模,但我无法解决它。

    0热度

    1回答

    我想了解Spark中的分区。 我在Windows 10本地模式下运行spark。 我的笔记本电脑有2个物理内核和4个逻辑内核。 1 /术语:对我来说,spark =核心线程。所以Spark中的核心与物理核心不同,对吧? Spark核心与任务相关联,对吗? 如果是这样,因为你需要一个分区线程,如果我的sparksql数据框有4个分区,它需要4个线程吗? 2 /如果我有4个逻辑内核,是否意味着我只能在