2017-08-28 87 views
0

我想设置红移工作负载管理来处理红移工作量枭雄:内存

  • 50%ETL

  • 30%的Tableau的RPT

  • 20%即席查询。

我想知道未分配的内存会发生什么,因为我的ETL只在晚上运行?

当该队列空闲时,我的ETL队列在一天中分配给50%的内存会发生什么?

我读了红移文档,它只是说

任何未分配的内存由亚马逊红移

管理,而不是描述性的。

回答

1

工作负载管理(WLM)是一种在队列之间划分可用内存的方法。

如果分配50%的ETL队列,您没有运行任何ETL作业,那么你已经浪费了集群的内存的50%,对于一段时间。

更好的方法可能是根据工作负载创建单独的队列。例如:

  • 一个队列为小型,快速的查询(例如实时仪表板使用)
  • 另一个队列较大查询

亚马逊红移是在盘算着如何让“聪明”优先考虑查询,但您可以通过周到的使用WLM来调整它。

+0

非常感谢!我想设置我的ETL进程不使用默认队列。确定分配给该队列的内存有多少是一个好方法? – user1801395

+0

要知道有多少队列和分配多少内存的唯一方法是尝试各种不同的设置,测量结果并随后进行调整。您希望让用户感觉系统运行得很快(例如通过为小请求设置单独的队列)。大作业也可以[请求多个时隙]通过在一个特定的查询'wlm_query_slot_count'设置(http://docs.aws.amazon.com/redshift/latest/dg/r_wlm_query_slot_count.html)。 –