py4j

1热度

1回答

如何将NumPy数组转换为Java数组，但不是反之亦然 - 如何将数据从Java对象转换回NumPy数组。我有一个Python脚本是这样的： from py4j.java_gateway import JavaGateway gateway = JavaGateway() # connect to the JVM my_java = gateway.jvm.JavaClas

3热度

1回答

如何隐藏“py4j.java_gateway：收到对象ID为p0的命令c”？

一旦在INFO级别开始日志记录，我会不断收集日志上的一堆py4j.java_gateway:Received command c on object id p0。我怎样才能隐藏它？使用

2热度

1回答

使用py4j将矩阵从Python发送到Java，如int [] [] arrays

我一直在使用py4j来建立一个用户友好的Python库，用户友好的Java库。大多数情况下，这是一件轻而易举的事情，py4j一直是一个伟大的工具。不过，在Python和Java之间发送矩阵时遇到了一些障碍。具体而言，我有在Java静态函数接受，作为其自变量的整数矩阵： public class MyClass { // ... public static MyObject c

0热度

1回答

Spark Java堆错误

我不确定这里发生了什么以及为什么。我有一个数据框，它既加载为熊猫和火花数据帧。数据框很稀疏，意思是大部分为零。它的尺寸是56K X 9K。所以没有那么大我也把下面的命令在我的火花/ conf目录/火花defaults.conf文件 spark.driver.memory 8g spark.executor.memory 2g spark.driver.maxResultSize

1热度

1回答

pyspark：从pyspark调用一个自定义的java函数。我需要Java_Gateway吗？

我写了下面MyPythonGateway.java，这样我可以从Python中叫我的定制Java类： public class MyPythonGateway { public String findMyNum(String input) { return MyUtiltity.parse(input).getMyNum(); } public sta

2热度

1回答

抛出：IllegalArgumentException：u'Wrong FS：文件：//火花仓库，预计：文件：///”

我试图用PySpark到我的Postgres数据库加载到星火： from pyspark import SparkContext from pyspark import SparkConf from random import random #spark conf conf = SparkConf() conf.setMaster("spark://spark-master:7077"

1热度

1回答

将Scala中的列表转换为Python列表或数据框

我在Scala中有一个名为dataList的2d列表，我想将它转换为Pandas DataFrame。 val dataList: List[List[Int]] = tempData.toList 如果我想打印dataList，一切工作正常，并在Python对象的类型是 <class 'py4j.java_gateway.JavaObject'> 据我知道，我必须使用py4j有机会获得在

1热度

1回答

用于H2O POJO的Pyspark包装

我使用H2O的苏打水创建了模型。现在我想将它应用于巨大的Spark DF（填充稀疏矢量）。我使用python和pyspark，pysparkling。基本上我需要在model.predict（）函数里面做map工作。但是将数据复制到H2O环境中是巨大的开销，而不是一种选择。我想我要做的是，从h2o模型中提取POJO（Java类）模型，并使用它来执行数据框中的映射。我的问题是：有没有更好的方法？

0热度

1回答

PHP-Java-Bridge，扩展的用法？

的Java： package test; public class HelloWorld { public HelloWorld(String args){ } public void ppp(){ System.out.println("...."); }; public void set(HelloWorld hw){ hw.ppp(); } pub

5热度

1回答

执行java UDF并从pyspark调用它

我需要创建一个UDF以用于pyspark python，它使用java对象进行内部计算。如果它是一个简单的python我会做这样的事情： def f(x): return 7 fudf = pyspark.sql.functions.udf(f,pyspark.sql.types.IntegerType()) ，并使用调用它： df = sqlContext.range(0,5)