amazon-redshift

1热度

3回答

例如，我想计算每个ID的状态天数。表Current_State有三列（日期，ID，状态），我想添加计算列Days-in-state。 Date, ID, State, Days-in-state 1/1/2017, 123, A, 1 1/2/2017, 123, A, 2 1/3/2017, 123, A, 3 1/4/2017, 123, B, 1 1/5/2017, 123, B,

0热度

2回答

当唯一的区别是增量日期字段时，如何删除Redshift中的重复字段？

查看示例表格，其中日期1/3到1/5的唯一区别是日期字段。 Date, ID, State, Amount 1/1/2017, 123, A, 1 1/2/2017, 123, B, 1 1/3/2017, 123, C, 1 1/4/2017, 123, C, 1 1/5/2017, 123, C, 1 1/6/2017, 345, B, 1 如何删除列ID，状态，金额的重复

1热度

1回答

保留期后自动化红移截断/删除数据

我有一个红移表，它存储了大量数据。每个周末我都会去上周手动使用Workbench TRUNCATE来处理不再需要的数据。我必须手动运行 DELETE FROM tableName WHERE created_date BETWEEN timeStamp1 AND timeStamp2; 是否有可能有一些方法来告诉表或有一些过期的政策，消除每个星期天的数据给我吗？如果没有，是否有办法每7天自

1热度

1回答

Airflow中postgres_operator的问题dag

我目前使用Airflow 1.8.2安排一些EMR任务，然后在我们的Redshift群集上执行一些长时间运行的查询。为此我使用postgres_operator。查询需要大约30分钟的时间才能运行。但是，一旦完成，连接就不会关闭，并且操作员运行一个半小时，直到每次以2小时标记终止为止。终止的消息是服务器意外关闭了连接。我检查了Redshift结束的日志，它显示查询已经运行并且连接已关闭。不知何故

0热度

1回答

Redshift复制命令错误“溢出，列类型：整数”

我正在使用Redshift数据库的复制命令并将json文件从s3存储区存储到数据库。但我得到这个错误“溢出，列类型：整数”和错误代码是1216和JSON文件行号是33。这里是我的JSON文件： { "id": 119548805147, "title": "Shoes", "vendor": "xyz", "product_t

0热度

1回答

当时间戳不正确时，S3中的红移COPY失败

当通过COPY命令将数据从S3加载到Redshift时，如果文件中的任何记录包含不正确的时间戳，则复制失败。我已将maxerror作为1000传递给COPY命令，但仍然失败。但是，在后续重试时，相同的命令起作用。虽然它无法加载损坏的记录。这是我收到的错误： ERROR: Assert DETAIL: -----------------------------------------

0热度

2回答

WITH子句和临时表有什么区别？

通俗地说，WITH子句&临时表的关键区别是什么？在哪种情况下最好使用另一种？

1热度

2回答

如何识别NetSuite的交易表

我工作的大楼报告的NetSuite的外部删除的交易（以加入与其他数据源系统此数据）使用数据推送到从NetSuite的后端表红移。我有几个表已经完全通过Redshift传递给我，我写了我的查询。在试图重新创建月度P & Ls中的某些值时，我注意到我的总计并未与NS UI中显示的内容相关联。在与我们的财务小组进行故障排除后，看起来他们有3张已删除的发票，但仍显示在交易表中。我不是一个IsDeleted

1热度

1回答

红移来DASK数据帧

有没有人有一个很好的整洁和稳定的方式来实现相当于： pandas.read_sql(sql, con, chunksize=None) 和/或 pandas.read_sql_table(table_name, con, schema=None, chunksize=None) 连接与SQLAlchemy的& psycopg2红移，直接进入dask DataFrame？该解决方案应该能够

0热度

1回答

SQL（Redshift）获取多个表的相交

我使用Redshift并有6个ID表。我想要获取每个表之间的相交点。所以我最后的结果将是这个样子：表1 &表2有10％的通用标识表1 &表3有50％的通用标识 .... 。 ..... 表6 &表4具有20％共同的ID Ť能6 &表5中有3％的共同标识我可以很容易地获取数据，但它是一个很多重复相同的SQL的，所以我想尽量创造所有的ID和表格的一些表他们在，但我坚持要在一个或两个SQL中获取