Spark - 行元素的长度

Question

我试图做一个过滤器操作来获取所有行，其中我的变量国家的长度小于4，并且无论我做什么都不断收到错误。

这是当前代码（使用Python API）

uniqueRegions = sqlContext.sql("SELECT country, city FROM df") 
uniqueRegions = uniqueRegions.rdd 
uniqueRegions = uniqueRegions.distinct() 
uniqueRegions = uniqueRegions.filter(lambda line: len(line.country) < 4) 

这是错误 TypeError: object of type 'NoneType' has no len()

在第一行（与rdd.first完成）： Row(country=u'xxxxxx', city=u'xxxxxx')

任何建议关于如何解决这个问题？ 谢谢。

Answer 1

您有一个国家为NULL的数据库记录。这个长度没有意义。在没有国家设置的情况下该怎么办？

也许你想筛选记录？ SELECT country, city FROM df WHERE country IS NOT NULL？或者，也许lambda l: l.country is not None and len(l.country) < 4，或取决于你的逻辑，lambda l: l.country is None or len(l.country) < 4。