我可以在RedShift中创建快速插入临时表吗？

我们正试图将分析数据存储到RedShift中。但是，由于存储性质的原因，单插件可以使用RedShift缓慢运行。我可以在RedShift中创建快速插入临时表吗？

一个解决方案是在我们的应用程序中收集这些插入，然后将它们作为批量上传到RedShift。然而，这将需要我们的应用程序一些讨厌的架构变化，所以我正在寻找其他方法。

例如，有没有办法在红移创建快速临时表 - 例如，它不使用压缩的列式存储，并允许快速的插入，只要我们不打算把多条记录进去（？），插入每一千条记录后，它会合并到主表中？

来源

2014-11-06 Rodion Gorkovenko

不幸的是，你正在咆哮错误的建筑树。对于快速单一事件插入/更新，您可能需要考虑在亚马逊DynamoDB中捕获您的数据，然后将该数据批量拖入Redshift进行分析。这里是a link关于如何从DynamoDB加载数据到Redshift。

来源

2014-11-06 18:58:10 DogBoneBlues

是的，你是对的 - 这是我第一次告诉我的架构师。但是他们坚持认为，由于平台限制，我只能选择Cassandra和Redshift。我甚至没有能力在本地聚合我的插入文件... – 2014-11-07 08:24:27

This [博客文章]（http://blogs.aws.amazon.com/bigdata/post/Tx2ANLN1PGELDJU/Best-Practices-for-Micro-Batch加载Amazon Redshift）可能会帮助您至少实现微量批处理。 – DogBoneBlues 2014-11-13 22:03:48

我可以在RedShift中创建快速插入临时表吗？

回答

相关问题