amazon-athena

0热度

1回答

我们的s3桶通常有许多子目录，这样一个桶的路径类似s3：functional-group/service/org-tenant-company-id/entity-id/actual-data 我们正在研究Athena，以便能够在该/实际数据级别上查询数据，但在org-tenant-company-id中查询。因此，我们似乎需要一种方法为该org-tenant-company-id创建一个列或分区

2热度

2回答

雅典娜JDBC输出格式

当您在雅典娜执行查询时，结果通常以CSV格式提供。我正在寻找其他可能的输出格式，如TSV或其他，因为我的一列已经有CSV值。我的数据 A a,b,c 123 B a,b 123 当我给下面的查询： select * from table ; 我得到的结果以CSV像 """A""","""a","b","c" , 123 我需要它是TSV。谢谢

0热度

1回答

数据汇总和200亿记录平均值

记录始于每天使用以下模式创建的AVRO文件。 “attribute_key”和“attribute_value”记录中存储了20种不同的属性类型，每个测量中也包含时间戳和device_id。 "fields" : [ {"type":"string", "name":"device_id"}, {"type":"string", "name":"record_date"}, {"type":

3热度

1回答

在输入无可行的替代“创建外部”，而在这样的配置单元格式使用在S3中雅典娜

我已存储分区数据创建分区。 /bucket/date=2017-02-20 /bucket/date=2017-20-25 现在我从雅典娜运行下面的查询来创建分区 CREATE EXTERNAL TABLE hive3( battery double, longitude double, application string, latitude double, device_id string,

1热度

1回答

使用Amazon Athena创建表并查询json数据？

我想查询使用Amazon雅典娜格式的JSON数据： [{"id":"0581b7c92be", "key":"0581b7c92be", "value":{"rev":"1-ceeeecaa040"}, "doc":{"_id":"0581b7c92be497d19e5ab51e577ada12","_rev":"1ceeeecaa04","node":"belt",

2热度

1回答

AWS雅典娜：使用“文件夹”的名称作为分区

我有成千上万的存储在S3与以下路径个人JSON文件（对应于一个表行）：s3://my-bucket/<date>/dataXX.json 当我在DDL创建我的表，是它可以通过S3路径中的当前数据进行分区？（或者至少在一个新列中添加值）感谢

2热度

1回答

R连接到AWS Athena

我试图根据我在线阅读的内容连接到AWS Athena，但我遇到了问题。步骤采取更新的Java 替换用户/与ACCESSKEY /秘密密钥通ACCESSKEY通/秘密密钥使用用户名/密码以及任何想法？错误消息：错误.jcall（DRV @ jdrv， “Ljava/SQL /连接;”， “连接”，as.character（URL）[1]，：的java.sql .SQLException

6热度

5回答

亚马逊雅典娜不解析云端日志

我遵循Athena getting started guide并尝试解析我自己的Cloudfront日志。但是，这些字段没有被解析。我用一个小测试文件，内容如下： #Version: 1.0 #Fields: date time x-edge-location sc-bytes c-ip cs-method cs(Host) cs-uri-stem sc-status cs(Referer)

0热度

1回答

亚马逊雅典娜表创建失败，“输入没有可行的选择”创建外部“

这是我第一次尝试在雅典娜制作我自己的表，所以请温柔:)我有几个其他表基于AWS示例运行在此数据库没有问题，所以我相信数据库安装正确。此外，我敢肯定我的正则表达式非常残酷，请尝试忽略它！我有存储在S3有些VPC流量日志，日志文件的格式是： 2 123456654321 eni-ae343be4 100.75.233.178 172.31.26.162 49178 80 6 6 270 14888

1热度

1回答

通过R连接到雅典娜

我指的是连接R到雅典娜的this article。当定义司机，我收到以下错误：错误.jfindClass（as.character（driverClass）[1]）：找不到类我做了一些研究和我抵达this page。接受的答案有一个评论说明了同样的问题。但是，提供的解决方案（即重新启动R）不起作用。我写了下面的代码，直到现在。 library("pacman") pacman::p_lo