变换字符串列向量列星火DataFrames

我有一个数据帧星火看起来如下：变换字符串列向量列星火DataFrames

+-----------+-------------------+ 
|  ID |  features  | 
+-----------+-------------------+ 
| 18156431|(5,[0,1,4],[1,1,1])| 
| 20260831|(5,[0,4,5],[2,1,1])| 
| 91859831|(5,[0,1],[1,3]) | 
| 206186631|(5,[3,4,5],[1,5]) | 
| 223134831|(5,[2,3,5],[1,1,1])| 
+-----------+-------------------+

在这个数据帧功能列是稀疏向量。在我的脚本中，我必须将此DF保存为磁盘上的文件。在执行此操作时，功能列将保存为文本列：示例"(5,[0,1,4],[1,1,1])"。在Spark中再次导入时，列保持字符串，如您所期望的那样。如何将列转换回（稀疏）矢量格式？

来源

2016-08-01 Stijn

哪个版本的Spark？你想得到哪个矢量类（'ML' /'MLib'）？你如何阅读这些数据？ – zero323

Spark版本= 1.6.2。最好是一个ML矢量（但你可以解释两者）。我使用下面的代码来读取数据：'DF = sqlContext.read.format（'com.databricks.spark.csv'）。options（header ='true'，inferschema ='true'，delimiter = delimiter）.load （'file：//'+ path）.drop（''）' – Stijn

1.6中没有ML向量，因此它使事情变得简单:) – zero323

不是特别有效（这将是一个好主意，使用保留类型的格式），由于UDF开销，但你可以做这样的事情：

from pyspark.mllib.linalg import Vectors, VectorUDT 
from pyspark.sql.functions import udf 

df = sc.parallelize([ 
    (18156431, "(5,[0,1,4],[1,1,1])") 
]).toDF(["id", "features"]) 

parse = udf(lambda s: Vectors.parse(s), VectorUDT()) 
df.select(parse("features"))

请直接注意这不会端口2.0.0+和MLVector。由于ML向量不提供parse方法，您必须解析为MLLib并使用asML。

来源

2016-08-01 12:49:27 zero323

它的工作！谢谢！ – Stijn

您能否给我提供一个python和Spark 2.0.2中的asML示例代码？我应该把这个asML加入udf吗？ – Stijn

变换字符串列向量列星火DataFrames

回答

相关问题