13
火花的1.5.0似乎可以编写自己的UDAF的对DataFrames定制的聚合： Spark 1.5 DataFrame API Highlights: Date/Time/String Handling, Time Intervals, and UDAFsPython API中提供了Spark SQL UDAF（用户定义的聚合函数）吗？
如果此功能是Python API所支持然而我不清楚？
A
回答
2
您无法在Spark 1.5.0-2.0.0中定义Python UDAF。有一个JIRA跟踪此功能要求：
解决了与目标“后”，所以它可能不会很快出现。
您可以从PySpark使用Scala的UDAF - 它被描述Spark: How to map Python with Scala or Java User Defined Functions?
相关问题
- 1. 什么时候合并发生在用户定义的聚合函数中Spark中的UDAF
- 2. SQL有聚合函数吗？
- 3. Python - Pandas数据框：聚合后的自定义聚合函数？
- 4. Virtuoso中用户定义的SPARQL聚合函数
- 5. Spark GroupBy聚合函数
- 6. mysql中的聚合UDF（用户定义函数）C
- 7. 在用户定义的聚合函数中有序迭代？
- 8. 在Vertica 7中安装group_concat UDAF聚合函数
- 9. SQL中的聚合函数
- 10. 包中的自定义聚合函数
- 11. Spark SQL - 聚合集合？
- 12. T-SQL中用户定义的聚合函数而不是.net程序集？
- 13. Oracle SQL开发人员中的用户定义聚合函数开发人员
- 14. 最有用的用户自定义聚合函数
- 15. Graph API提供了自定义页面标签的功能吗？
- 16. SQL聚合函数
- 17. 使用SQL聚合函数
- 18. MS SQL Server中的自定义聚合函数？
- 19. 如何从pyspark中的spark sql查询调用用户定义的函数？
- 20. Microsoft SQL：无法找到列“dbo”或用户定义的函数或聚合
- 21. 按用户定义的组elasticsearch聚合
- 22. C＃聚合函数定义说明
- 23. 如何实施Oracle用户定义的聚合函数在Java中
- 24. SQL条件聚合函数
- 25. WSO2 CEP自定义函数不起作用聚合函数
- 26. 聚合函数
- 27. 在GROUP BY中使用自定义聚合函数？
- 28. 在Spark中使用Windows函数的每周聚合
- 29. SQL Server中的聚合函数
- 30. SQL中的聚合函数WHERE子句
不，它不支持。你可以打电话给斯卡拉UDAF，但它不漂亮。查看[我的答案]（http://stackoverflow.com/a/33257733/1560062）[Spark：如何将Python与Scala或Java用户定义的函数进行映射？]（http://stackoverflow.com/q/33233737/ 1560062）为一个完整的例子。 – zero323
@ zero323现在1.6 spark还是1.61？ – stackit
@stackit不是1.6.x也不是2.0。 – zero323