0
目前我们在pig中有一个实现，用于从记录中生成序列文件，其中记录的某些属性被视为序列文件的关键字，并且与该关键字相对应的所有记录都存储在一个序列文件中。当我们正在发生火花时，我想知道这怎么能在火花中完成？我可以在Spark中创建序列文件吗？
A
回答
0
saveAsSequnceFile将数据保存为序列文件。
val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1")
$ hadoop fs -cat /sqes/part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ tTrh7��g�,��
2[[email protected] ~]$
阅读sequencefile使用sc.sequenceFile
val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect
相关问题
- 1. 我可以在Alfresco配置文件中创建序列吗？
- 2. 我可以在Windows 7中停止OS创建desktop.ini文件吗？
- 3. 我可以在GitHub的子目录中创建README文件吗？
- 4. 我可以在xcode中编程创建一个.xls文件吗？
- 5. 我可以使用sql在AS400中创建“逻辑文件”吗？
- 6. 我可以在阵列2D中创建更多列吗？
- 7. 我可以在Android内部存储上创建文件夹吗？
- 8. 我可以在Linux上创建一个exe文件吗？
- 9. 我可以在django中创建动态列（和模型）吗？
- 10. 我可以在SQLite中创建计算列吗？
- 11. 我可以创建我自己的php.ini文件吗？
- 12. 我可以访问我用USB创建的文件吗
- 13. 我可以更改Spark数据框中列的可空性吗？
- 14. 在SQL Server中可以创建一个可以处理序列的函数吗？
- 15. 我可以序列化一个数组列表，以便我可以将其存储在.dat文件中吗？
- 16. C＃我可以在另一个线程中创建控件吗？
- 17. 我们可以在php中为shopify创建插件吗？
- 18. 我可以在触发器中创建事件吗？
- 19. 在NAnt中，我可以创建VS项目中列出的文件的文件集吗？
- 20. 我可以在.NET Windows窗体中创建多列上下文菜单吗？
- 21. 我可以创建一个在运行时创建的文件，以显示在Xcode项目的内容中吗？
- 22. 我可以使用spark来解析html文件吗？
- 23. 我可以使用spark-submit发送整个文件夹吗？
- 24. 你可以在Android中创建一个.dat文件吗
- 25. Ruby可以读取在VB.NET中创建的.dat文件吗？
- 26. 我可以为rlwrap创建完成文件吗？
- 27. 我们可以从xml文件创建一个类吗？
- 28. 我可以基于char *而不是文件创建std :: ifstream吗？
- 29. VSTO AddIn部署 - 我可以创建单个文件吗？
- 30. c＃我可以用streamwriter创建一个动态文件名吗？