如何使用spark过滤Hive中的记录

Question

为什么没有得到比较的刺痛？

我有我的输入为 -

+-------+ 
|  y| 
+-------+ 
| ""no""| 
| ""no""| 
| ""no""| 
|""yes""| 
| ""no""| 
| ""no""| 
| ""no""| 
| ""no""| 
|""yes""| 
| ""no""| 
| ""no""| 
| ""no""| 
| ""no""| 
|""yes""| 
| ""no""| 
| ""no""| 
+-------+ 

而且我querying-

sqlContext.sql("select count(y) from dummy where y='yes'").show() 

，输出为 -

+---+ 
|_c0| 
+---+ 
| 0| 
+---+ 

y被声明为字符串类型的DDL

Answer 1

你应该试试这个：

sqlContext.sql("select count(y) from dummy where y='\"\"yes\""'").show() 

请注意，您的数据有""yes""不仅仅是yes。

你仍然需要你的数据:)

的清洗或做这种方式：

sqlContext.sql("select count(y) from dummy where y like '%yes%'").show()