scala

1热度

1回答

我想知道Spark将在哪些情况下作为UDAF函数的一部分执行合并。动机：我在Spark项目的窗口中使用了很多UDAF函数。我经常想回答这样一个问题：信用卡交易在同一个国家与30天窗口中的当前交易进行了多少次？该窗口将从当前事务开始，但不会将其包括在计数中。它需要通过当前交易的价值来了解过去30天内哪个国家/地区的数量。 val rollingWindow = Window .p

-2热度

1回答

通过SBT进行Docker化Scala应用程序的Marathon Healthcheck

我正在使用Marathon和Mesos。我的应用程序基于Scala，我正在使用SBT docker插件来dockerize应用程序并部署到Marathon。应用程序是异步的（基于队列），并且不通过HTTP调用。如何为异步应用程序执行健康检查，并且可以在此处利用SBT Scalatest。该应用程序是dockerized的，所以我们如何在dockerized应用程序中调用Scalatest。有什么想

0热度

1回答

用sbt和IntelliJ IDEA管理依赖关系

我正在开发一个后端项目，第一次使用IntelliJ IDEA的Scala和Play Framework。我已经读了很多文件和主题： SBT Library dependencies doc IntelliJ support post Another post从计算器我不明白如何导入依赖关系。当我尝试附加新的依赖项时，IntelliJ强调它并显示“未知问题，未解决或索引”或日志显示并显示“SB

0热度

1回答

访问私有变量在斯卡拉测试没有铸造

我需要你的帮助，我有这个斯卡拉问题。我有一个类的层次结构：车辆只有每个车辆的共同变量，然后是3个子类：Car，Truck和MotorCycle，每个人都有自己的特定变量。我使用模式匹配在辅助对象的方法来做这取决于车辆的类型的一些变换： object Transformation { def someTransformation(vehicle:Vehicle):Vehicle = {

0热度

1回答

Pureconfig类型安全配置与层次的根密钥

我有以下application.conf并试图找出定义我的课班上最好的方式来加载配置： allKeys { mysql { dev { host = <host1> user = <user1> } prod { host = <host1> user = <user1> } hdfs {

0热度

1回答

Scala中Tuple成员的重新排序

如何重新排列元组的成员？我有2元组的列表如下 ((115,vp,London,1001),(2,ZIP1,ZIP2)) 我要重新排序的元组作为 ((vp,London), (115,1001,2,ZIP1,ZIP2))

0热度

1回答

错误而使用PostgreTable JDBCUtils的truncateTable方法使用星火

我试图用JDBCUtils截断表从星火postgre_table，但它抛出下面的错误 < console>:71: error: value truncateTable is not a member of object org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils val trucate_table = JdbcUtils.t

2热度

1回答

作为_：type写成的scala符号是什么？

我遵循scala教程。在功能上的文字，它具有以下符号： (_ : *type*) => println("pressed") 例如， (_ : Int) => println("pressed") 在这个符号，我不明白（_：型）手段。

0热度

1回答

如何将行转换为火花数据帧中的列，scala

有什么方法可以将数据帧行转置为列。我有以下结构作为输入： val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pid3","enc2", "")).toDF("MemberID", "EncounterID", "entry") in

1热度

1回答

转化油滑流数据，并使用阿卡的Http

目的是从数据库流数据，在这个组块数据的执行一些计算（该计算返回一些情况下类的未来）发送分块响应，并发送该数据作为分块的响应给用户。目前，我能够流式传输数据并发送响应，而无需执行任何计算。但是，我无法执行此计算，然后传输结果。这是我实施的路线。 def streamingDB1 = path("streaming-db1") { get { val src = Source.