在S3上运行HIVE？

Question

我想运行SQL查询S3文件/桶通过HIVE。我不知道如何进行设置。感谢您的帮助。

Answer 1

首先创建一个EXTERNAL TABLE定义数据格式，并指向在亚马逊S3中的位置：

CREATE EXTERNAL TABLE s3_export(a_col string, b_col bigint, c_col array<string>) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LOCATION 's3://bucketname/path/subpath/'; 

可以从表使用正常SELECT命令然后读，例如：

SELECT b_col FROM s3_export 

或者，您可以使用Amazon Athena在Amazon S3中再次运行类似Hive的查询，而不需要Hadoop集群。 （它实际上基于Presto syntax，这与Hive非常相似。）