2017-06-20 38 views
1

我是新的与Spark和Scala的世界进行交互。使用分割函数省略的空字段 - Spark Scala

我有下列数据的文件:

1.1|AGDT970HH|02|2011|N||||| 
110000000000|0.00|0.00|0.00|1485976093.32| 
110100000000|0.00|0.00|0.00|248871036.86| 
110200000000|0.00|0.00|0.00|229610905.15| 
110201000000|0.00|0.00|0.00|256660759.36| 
110202000000|0.00|0.00|0.00|234105514.15| 
110203000000|0.00|0.00|0.00|-261155368.36| 
110300000000|0.00|0.00|0.00|280990.61| 

始终该文件的第一行将相比于其它行有不同的布局。

出于这个原因,我想给它不同的治疗,所以我试图让第一行的值(包括空的):

val fileToRead = sc.textFile("FileName") 
val firstRow = fileToRead.first.split("\\|") 

但创建我FIRSTROW场时它不包含空值: enter image description here

它只保存包含值的值。

有谁知道如何保留这些空值?

回答

1

你可以得到它 val firstRow = fileToRead.first.split("\\|", -1)