2017-05-30 95 views
0

我有1198个CSV文件,每个文件超过一个GB。我想将它们全部导入到Apache Cassandra表中。有没有办法自动做到这一点?将巨量批量数据文件自动导入apache cassandra

+0

所有的CSV在模式和数据类型方面都是相同的。 – Dileep

+0

你想把所有的csv导入到一个表中吗? –

+0

这两个问题都是肯定的。 –

回答

1

如果要将所有csv导入到单个表中,请将所有csv移动到目录中。即data现在你可以导入完整的目录到一个表,让我们说data_table

COPY data_table FROM 'data/*'; 

顺便问一下,你正在导入大量的数据,你应该

  • 生成的SSTable使用CQLSSTableWriter
  • 加载使用sstableloader的现有SSTables