如何从S3导入数据集到cassandra？

Question

i使用aws云中的datastax dse启动集群spark cassandra。所以我的数据集存储在S3中。但我不知道如何从S3传输数据到我的群集cassandra。请帮我

Answer 1

细节取决于你的文件格式和C *的数据模型，但它可能是这个样子：

• 从S3文件读入到一个RDD

  VAL RDD = SC .textFile（ “S3N：//mybucket/path/filename.txt.gz”）

• 操控RDD

• 写RDD到卡桑德拉表：

  rdd.saveToCassandra（ “测试”， “KV”，SomeColumns（ “键”， “值”））

Answer 2

什么@描述phact是通过使用附带的DataStax企业星火API如果在加载时需要完成ETL工作，这可能非常有用。 仅用于加载，您可以使用批量加载功能sstableloader。这里有一个tutorial让你开始。