我想为DataSet中的Row类型编写一个编码器,用于我正在执行的映射操作。本质上,我不懂如何编写编码器。 下面是一个地图操作的示例: In the example below, instead of returning Dataset<String>, I would like to return Dataset<Row> Dataset<String> output = dataset1.fl
尝试,因为我可能,我不能创建具有足够的精度来处理DecimalType(38,0)的情况下类的数据集。 我已经试过: case class BigId(id: scala.math.BigInt)
这遇到错误的ExpressionEncoderhttps://issues.apache.org/jira/browse/SPARK-20341 我已经试过: case class BigId(id
我尝试在Spark SQL中重新创建SQL查询。通常我会插入这样一个表: INSERT INTO Table_B
(
primary_key,
value_1,
value_2
)
SELECT DISTINCT
primary_key,
value_1,
value_2
FROM
Table_A
WHERE NOT