amazon-athena

    0热度

    1回答

    我已经以这种格式分区存储在S3中的数据。 bucket/year=2017/month=3/date=1/filename.json bucket/year=2017/month=3/date=2/filename1.json bucket/year=2017/month=3/date=3/filename2.json 每个分区都有大约1,000,000条记录。我在雅典娜为此创建了表格和分

    2热度

    2回答

    有没有一种方法可以直接从基于avro模式的parquet文件在Amazon Athena中创建表?模式被编码到文件中,所以它似乎很愚蠢,我需要自己真正创建DDL。 我看到this也是另一个duplication 但它们直接关系到蜂巢,它不会对雅典娜工作。 理想情况下,我正在寻找一种以编程方式执行此操作的方式,而无需在控制台上对其进行定义。

    1热度

    1回答

    我创造了我的测试数据库,名为下降AWS雅典娜表:test,有一个叫表:test_table 我从default数据库中执行命令: DROP TABLE IF EXISTS test.test_table并得到了错误消息: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. NoS

    0热度

    2回答

    我已经定义了一个蜂巢表,其中一列包含JSON文本: CREATE EXTERNAL TABLE IF NOT EXISTS my.rawdata ( json string ) PARTITIONED BY (dt string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROP

    1热度

    2回答

    我正在寻找一个命令行工具来查询Amazon Athena。 它与JDBC,使用驱动程序com.amazonaws.athena.jdbc.AthenaDriver,但我还没有发现任何命令行工具,它的工作原理。

    0热度

    3回答

    我试图使用pyathenajdbc.connect()连接到Athena。我通过多因素身份验证设置了AWS凭据。当我没有在连接字符串中包含AWS Token时,出现以下错误。 athena_conn = connect(access_key=AWS_KEY_ID, secret_key=AWS_SECRET, s3_staging_dir='s3://abc-pqr-xyz/processed/a

    2热度

    1回答

    我想为运行时值提供选择&创建表语句。有什么方法来参数化Athena SQL查询? 我试过PREPARE & EXECUTE来自Presto的声明,但它不在雅典娜控制台中工作。我们是否需要像Python这样的外部脚本来调用它? PREPARE my_select1 FROM SELECT * from NATION; EXECUTE my_select1 USING 1;

    -1热度

    1回答

    我面临着快把我逼疯了2小时试错之后的挑战...... 我需要哈希关系表的至少两列急(实际上与使用presto引擎的亚马逊雅典娜)。 我现在的状态是这样的: SELECT concat(lower(to_hex(md5(to_utf8(trim(column1))))), lower(to_hex(md5(to_utf8(trim(column2)))))) AS HK FROM

    1热度

    1回答

    我正在使用亚马逊雅典娜获取上周发生的所有控制台登录,现在我能够获取所有控制台登录,而不管数据如何。我需要修改下面的查询,以便该查询可以获取上周发生的所有aws控制台登录。 WITH events AS ( SELECT event.eventVersion, event.eventID, event.eventTime, event.eventNam

    2热度

    1回答

    在S3存储桶上运行Amazon Athena查询时,出现以下错误。 我在CloudFront访问日志上运行此查询。 CREATE EXTERNAL TABLE IF NOT EXISTS cloudfront.cf_logs ( `date` date, `time` string, `location` string, `bytes` int, `