2017-04-18 78 views
0

只是我们面临的一个设计问题。如何实现镶木地板格局的变化

我有镶木格式的蜂巢外部表列如下:

describe payments_user 
col_name,data_type,comment 
('amount_hold', 'int', '') 
('id', 'int', '') 
('transaction_id', 'string', '') 
('recipient_id', 'string', '') 
('year', 'string', '') 
('month', 'string', '') 
('day', 'string', '') 
('', None, None) 
('# Partition Information', None, None) 
('# col_name   ', 'data_type   ', 'comment    ') 
('', None, None) 
('year', 'string', '') 
('month', 'string', '') 
('day', 'string', '') 

我们得到了我们摄取到动态分区,这是年,月,日,每天的基础上的数据。 因此,如果要更改源端的数据并添加新列并发送批处理文件,我们如何获取数据。我知道avro有这种能力,但为了减少返工,这怎么可能在镶木地板上实现呢?

如果avro是什么程序?

回答

相关问题