udf

    0热度

    1回答

    我想使用这些变量来选择两个变量值范围之间的条目。我的SQL查询是String sql = "Select count(*) FROM Records WHERE event_time <= UPPERTIME('1') AND event_time >= LOWERTIME('1')";。在此查询UPPERTIME('1')和LOWERTIME('1')是UDF有定义 spark.udf().re

    0热度

    1回答

    我工作的蜂房UDF斯卡拉 class MyUDF extends UDF { def func(a: Double): Double { if (cond){ how to return null in this case? } else {some double} } } 我试图null.asInstanceOf[Double]但这给人的输出为0

    0热度

    3回答

    我在Aerospike中有一个带有过滤器和地图的udf流。 如果我映射,按照我所看到的所有的例子,我可以选择从记录的字段,并返回与过滤和选择的领域一个新的地图。但是,我不想这样做。我想采取任何流,任何列/箱,应用过滤器,并返回完整的记录。一种方法可能是使用stream:fiter(my_filter)而不使用地图。直觉地(至少对我来说)这只是过滤和中继流。这似乎并不奏效,令我感到沮丧。接下来我尝试

    0热度

    1回答

    我在BigQuery中创建了一个UDF,并像在FROM子句中使用UDF的文档(https://cloud.google.com/bigquery/user-defined-functions#creating-the-query)中的示例那样运行它。 但是,我需要的是在select中将UDF用作列。 举一个例子 - 这是我的函数返回每个坐标在全球的四分之一是: function getQuarte

    0热度

    1回答

    打破 我已经做了这个代码在databricks环境,但是当我尝试在我的本地ENV它打破... val _event_day_of_week = (event_date_of_event: String) => { import java.time.LocalDate import java.time.format.DateTimeFormatter val form

    0热度

    1回答

    我之前问过的问题如下。 Last question 表1 - ID对表 表2 - 属性表 表3 例如,id1和id2具有不同的颜色和大小,所以id1和id2行(表3中的第二行)具有“id1 id2 0 0”; id1和id3具有相同的颜色和不同的尺寸,所以id1和id3行(表3中的第3行)具有“id1 id3 1 0”; 相同的属性--- 1个不同的属性--- 0 但是,如果我不知道表2中有多少属

    1热度

    1回答

    我有一个表如下: val question = sqlContext.createDataFrame(Seq((1, Seq("d11","d12","d13")), (2, Seq("d21", "d22", "")))).toDF("Id", "Dates") +---+---------------+ | Id| Dates| +---+---------------+ | 1|

    0热度

    1回答

    我正在收敛一个猪脚本来使用scala来激发1.6,我有一个包含字符串的数据框,并且我想以特定顺序交换字符。 例如: +----------------+ | Info| +----------------+ |8106f510000dc502| +----------------+ 我想把它转换成这样的顺序[3,1,5,7,6,(8-16),4,2] +--------------

    1热度

    1回答

    我有一些困难结合几个功能来做我想要的70000 +行excel文件。任何提示或指示或建议非常感谢。 我有2列(约值70000行)。在第1栏中,我有客户的帐号(有重复的),在第2栏旁边有我想提取的数据。我也有第三列(第3列),这是一个帐号列表,但已被删除重复。我正在尝试让Vlookup查看第三列(lookup_value)的第一行,然后在(table_array)的第1列中搜索该值,并返回第2列中与

    5热度

    1回答

    我有一个DataFrame有多个列,其中一些是结构。事情是这样的 root |-- foo: struct (nullable = true) | |-- bar: string (nullable = true) | |-- baz: string (nullable = true) |-- abc: array (nullable = true) | |-- element: str