如何在Apache Flink中将Scala DataSet传递给Java类

Question

我是Scala中的新成员。所以我想在Java中处理Apache Flink的DataSet。但我有一个Scala代码中的DataSet，我想在Java Class的方法中传递。 例如： 在斯卡拉：

val dS: DataSet[Vector] = ... 
SampleJavaClass.sendDS(ds) 

在SampleJavaClass.java有像sendDs(DataSet<Vector> javaDs)

我想这样做，但一个方法显示错误消息： 类型不匹配;实测值：

org.apache.flink.api.scala.DataSet [org.apache.flink.ml.math.Vector] 需要：org.apache.flink.api.java.ExecutionEnvironment错误 发生在涉及默认参数的应用程序。

我该如何解决这个问题。请帮助我。

Answer 1

Scala DataSet的确是围绕Java DataSet的封装。但是，由于方法javaSet是封装私有的，因此您无法访问它。因此，目前将Scala DataSet转换为Java DataSet的方式只是一种非常不好的方式。

为了访问javaSet方法，您必须将您的软件包定义为org.apache.flink的子软件包。尽管如此，这并不是最佳实践。

如果这是一个严格要求的功能，您应该为其提供一个JIRA ticket。

Answer 2

Flink中有两个DataSet类别java one https://ci.apache.org/projects/flink/flink-docs-master/api/java/index.html?org/apache/flink/api/scala/DataSet.html和scala one。您可以通过javaSet（）从底层scala DataSet访问java。

我会尝试

SampleJavaClass.sendDS(ds.javaSet()) 

可能安抚你的代码。