graphframes

2热度

1回答

我在我想查询的族图上有一些示例数据。我想在GraphFrames对象上使用find方法来查询母题A-> B，其中边的类型是“Mother”。由于GraphFrames使用Neo4J的cypher语言的子集，我想知道以下是否是正确的查询？ graph.find("(A)-[edge:Mother]->(B)").show 或者什么是在GraphFrames中实现它的最好方法？ GraphFr

0热度

1回答

使用SparkSession在Java或Scala中创建DSEGraphFrame

我想要在java或scala中获取DSE图的DSEGraphFrame。我现在用的是blog documentation，如下 //load a graph in Java DseGraphFrame graph = DseGraphFrameBuilder.dseGraph("test", spark); // load a graph in scala val graph = spa

0热度

1回答

包GraphFrames Spark2.0

我有spark 2.0斯卡拉2.11.8，我想包括图框架包。我输入阶壳以下： <spark-shell --packages graphframes:graphframes:0.1.0-spark1.6> But still I got the error message: scala> import org.graphframes._ <console>:23: error: obj

0热度

1回答

Apache Spark中的分层数据处理

我在Spark（v2.1.1）中有一个包含分层数据的3列（如下所示）的数据集。我的目标的目标是增量编号分配给基础上，父子层次的每一行。从图形上可以说，分层数据是一个树的集合。根据下表，我已经有基于'Global_ID'分组的行。现在我想以的增量顺序生成'Value'列，但是基于 'Parent'和'Child'列的数据层次结构。表格表示（数值是所需的输出）： +-----------+--

0热度

1回答

有效计算pyspark中的连接组件

我正在尝试在城市中找到朋友的连接组件。我的数据是具有城市属性的边缘列表。城市| SRC | DEST 火箭的凯尔 - >尼休斯敦班尼 - >查尔斯休斯顿查尔斯 - >丹尼奥马哈卡罗尔 - >布赖恩等我知道pyspark的GraphX库的connectedComponents函数将遍历图的所有边以找到连接的组件，并且我想避免这一点。我会怎么做？编辑：我想我可以做这样的事情，从数据帧

0热度

1回答

PYSPARK：如何可视化GraphFrame？

假设我创建了以下图表。我的问题是如何可视化它？ # Create a Vertex DataFrame with unique ID column "id" v = sqlContext.createDataFrame([ ("a", "Alice", 34), ("b", "Bob", 36), ("c", "Charlie", 30),

0热度

1回答

如何导入到GraphFrame文本时间跟随结构

我有一个文件跟随structure.Where第一列它是nodeID。在“：”之后，它是一个与nodeID有连接的节点。每个nodeID可以有多个连接。 0: 5305811, 1: 4798401, 2: 7922543, 3: 7195074, 4: 6399935, 5: 5697217, 6: 5357407, 7: 4798401, 8: 629131,5330605,6

1热度

1回答

Apache toree - pySpark无法加载软件包

我按照https://medium.com/@faizanahemad/machine-learning-with-jupyter-using-scala-spark-and-python-the-setup-62d05b0c7f56的说明安装了Apache Toree。但是我不管理通过使用PYTHONPATH变量在内核文件导入在pySpark内核软件包： /usr/local/share/ju

0热度

1回答

更改Spark GraphFrame中字符串的列

我在Spark 2.0和Scala中使用GraphFrame。我需要删除字符串类型（超出许多列）中的列的双引号。我试图这样做，使用UDF如下： import org.apache.spark.sql.functions.udf val removeDoubleQuotes = udf((x:Any) => x match{ case s:String => s.rep

0热度

1回答

Graphframe错误/星火

我写在斯卡拉2.11这行代码到Databricks： import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_fr", "fans", "