在Java中使用Kafka进行Spark结构化流式编程

我想要做的是将json格式的数据从kafka转换为数据框。我可以通过创建一个模式并使用from_json来轻松完成此操作，如下所示：How to use from_json with kafka connect 0.10 and Spark Structured Streaming?在Java中使用Kafka进行Spark结构化流式编程

但是有没有办法使用Java代替Scala来做同样的事情？据我所知，java中没有“from_json”API。

谢谢！

来源

2017-07-26 teddy

[有Java专用'from_json']（https://spark.apache.org/docs/latest/api/scala/index.html#[email protected]_json（e ：org.apache.spark.sql.Column，schema：org.apache.spark.sql.types.StructType，options：java.util.Map [String，String]）：org.apache.spark.sql.Column） – nonsleepr

@nonsleepr你确定吗？您发布的链接来自scala API。而且java程序甚至找不到import：import org.apache.spark.sql.functions.from_json – teddy

呵呵，我很抱歉习惯使用Scala文档。这里是Java：https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/functions.html#from_json(org.apache.spark.sql.Column,%20org .apache.spark.sql.types.StructType） – nonsleepr

即使它在javadoc中，我仍然无法在Java中找到from_json。我觉得这可能是未来Apache a spark的修复。或者它可能只是火花流不支持Java那么好。

来源

2017-08-08 08:57:35 teddy

在Java中使用Kafka进行Spark结构化流式编程

回答

相关问题