scala

0热度

1回答

我有如下表： +-----+---+----+ |type | t |code| +-----+---+----+ | A| 25| 11| | A| 55| 42| | B| 88| 11| | A|114| 11| | B|220| 58| | B|520| 11| +-----+---+----+ 而且我想要的东西： +-----+---+----+ |t1 | t2

1热度

2回答

如何使用Scala/spark将矩阵转换为DataFrame？

我行和列的矩阵和数量是不明一个例子Matrix是： [5,1.3] [1,5.2] 我想将它转换成数据帧，列名是随机的，怎么才达到的呢？这是我期待的结果： +-------------+----+ | _1 | _2 | +-------------+----+ |5 |1.3 | |1 |5.2 | ------------

0热度

3回答

处理副作用：帮助函数链构造函数和设置方法

当处理现有库（不能编辑构造函数或伴随对象）时，我经常发现需要调用对象的init/setup过程，然后返回对象本身。我通常最终会做类似下面的事情。 def createObject: MyObject = { val o = new MyObject o.init() o } 这是恕我直言不是非常优雅，我想知道是否有这样做，例如更好的方法，一个的建立和取得功能的线

-2热度

1回答

算法检测一个点何时何地将退出一个矩形区域

假设我们有一个矩形或一个正方形，并且我们知道其角落（四角）的x，y坐标。另外假设我们知道它的坐标（x，y），它的速度（km/h），它的航向（方向度为0，北向为180，南等等）以及具有这些属性的时间点（以秒为单位的历元时间）。我们如何计算点将退出矩形的时间点（以秒为单位的时间点）以及出口的坐标（x，y）？

0热度

1回答

Spark：显示日志消息

我正在使用scala应用程序和spark依赖项。这里我有什么 log4j.properties # Here we have defined root logger log4j.rootLogger=WARN,ERROR,R #Direct log messages to file log4j.appender.R=org.apache.log4j.RollingFileAppender

0热度

1回答

你怎么在多个JSON提取顶级域对象

给出的JSON值： val json = Json.parse( """ |[{ | "name" : "Agency Co", | "worker" :{ | "FirstName" : "Bob", | "age" : 44, | "role" : null | } | }, | {

-1热度

2回答

如何将JSON的RDD转换为Dataframe？

我有一个已经从一些json创建的rdd，rdd中的每个记录都包含键/值对。我RDD的样子： myRdd.foreach(println) {"sequence":89,"id":8697344444103393,"trackingInfo":{"location":"Browse","row":0,"trackId":14170286,"listId":"cd7c2c7a-00f6

-1热度

2回答

如何创建自定义的用户定义聚合独特功能

我有一个数据框，其中包含4列。数据帧样本 id1 id2 id3 id4 --------------- a1 a2 a3 a4 b1 b2 b3 b4 b1 b2 b3 b4 c1 c2 c3 c4 b2 c1 a3 a4 c1 d4 有一排2种类型的数据的任一的所有列具有数据或仅一列。我想要在所有列上执行不同的功能，例如在

2热度

2回答

Akka集群应用程序的CoordinatedShutdown超时

我们有一个akka集群应用程序（分解一些参与者）。有时，当我们部署我们的应用程序应该被关闭，我们看到一些日志这样的：协调停机阶段[集群拆分关机区]超时出来后10000毫秒这发生在自上次部署以来超过2天的第一次部署中（例如，星期一）。我们要求阿卡节点退出与JMX助手集群，我们有下面的代码太： actorSystem.registerOnTermination { logger.err

1热度

2回答

转换由名称参数

我想创建一个函数与下面的签名元组： def myFunction[T](functionWithName: (String, => T)): T ，这样我可以调用它，例如，像这样：val x = myFunction("abc" -> 4 * 3)。但是，Tuple不接受名称参数，所以上面的签名是无效的。通过this answer的启发，我想下面的隐式转换： implicit class B