0
选项是否DataFrameReadercsv（路径：字符串）跳过空白行
org.apache.spark.sqlDataFrameReadercsv(path: String)
有跳过空白行的选项？特别是，最后一行是空行吗？
A
回答
1
你可以尝试设置mode到"DROPMALFORMED"为：
val df = sqlContext.read.format("com.databricks.spark.csv").option("mode", "DROPMALFORMED")...
在Python：
df = sqlContext.read.format('com.databricks.spark.csv').options(mode = "DROPMALFORMED")...
其中根据documentation：
"...drops lines which have fewer or more tokens than expected."
相关问题
- 1. 跳过Parsec的空白行
- 2. 如何拆分字符串并跳过空白？
- 3. Android proguard问题：路径不能为空或空字符串。路径= '空'
- 4. 用空白行分割字符串
- 5. 填写空白字符串
- 6. 字符串/路径比较
- 7. 查询字符串路径
- 8. Redirect_to与字符串路径
- 9. 跳过空白行，并在随后的非空行
- 10. 通过空白分割字符串，没有空元素？
- 11. Java/Android：追加多个字符串，如果字符串为空，则跳过
- 12. 空白字符
- 13. 包含路径的字符串串联
- 14. 结合路径，文件字符串和文字的路径
- 15. 如何跳过空行不串班
- 16. .Net：空字符串不是空白字符？
- 17. PHP会话字符串包含奇怪的空白/空字符
- 18. fgets跳过空行
- 19. 定期Expression-搜索空白和非空白字符串
- 20. 从字符串复制空白字符串在Python
- 21. ST3中多行字符串内Linter“行太长”错误和过多空白
- 22. 修剪字符串，删除空白
- 23. 的iostream - 读字符串嵌入空白
- 24. 修剪Java中的字符串空白
- 25. 列表中有空白的字符串？
- 26. 从字符串修剪空白？
- 27. 字符串空白清理不修剪
- 28. 填入空白唯一字符串
- 29. 不带空白的条带字符串
- 30. 截断没有空白的字符串
现在我得到这个错误： va lue选项不是org.apache.spark.sql.DataFrame的成员 –
我认为上面使用了Python语法。对于Scala，请使用spark.read.option（“mode”，“DROPMALFORMED”）。csv（path） –