hive-serde

0热度

1回答

键值对组合。我们试图将ID作为列名和VALUE分解为每列的相应数据。 `<CT> <items> <item> <field> <id>Column1</id> <value>25672</value> </field> <field> <id>Column2</id> <value>FGE</value> </field> <field> <id>Column3</id> <value>Fl

0热度

1回答

如何查询结构阵列配置单元（get_json_object）或JSON SERDE

我想要查询存储在我的HDFS下面的JSON示例文件 { "tag1": "1.0", "tag2": "blah", "tag3": "blahblah", "tag4": { "tag4_1": [{ "tag4_1_1": [{ "tag4_1_1_1": { "Addr": {

6热度

2回答

JSON4S型暗示不起作用

以下测试片段 implicit val formats = DefaultFormats + FullTypeHints(Contacts.classList) val serialized = Serialization.write(List(Mail(field = "[email protected]", note = "Random note."))) println(seriali

0热度

1回答

java.lang.ClassCastException：org.apache.hadoop.hive.ql.io.orc.OrcStruct不能转换为org.apache.hadoop.io.Text。 json serde错误

我是新手，在配置单元上使用json数据。我正在开发一个获取json数据并将其存储到配置单元表的Spark应用程序。我有这样一个JSON：，看起来像这样展开时：我能够读取JSON成数据帧，并将其保存在HDFS的位置。但让数据读取是非常困难的。我在网上例如搜索后，我试着这样做：使用STRUCT所有JSON字段，然后访问使用column.element的元素。例如： web_app_secur

0热度

1回答

HIVE XML SerDe：失败，出现异常java.io.IOException：java.lang.NullPointerException

我使用XML SerDe从XML文件创建一个带有HIVE（Hive 2.1.1-mapr-1703）的外部表。该文件是来自W3C联盟的XML example。这是我的代码来创建表： add jar /mapr/localpath/hivexmlserde-1.0.5.3.jar; USE my_db; CREATE EXTERNAL TABLE frank_books ( category

0热度

1回答

蜂房XML-SERDE - 键/值对 - 地图

<Search> <Country>USA</Country> <Region>West</Region> <Address> <Home> <Item> <id>Number</id> <value>135</value> </Item> <Item> <id>Street</id>

0热度

1回答

防止在使用Hive正则表达式时插入NULL Serde

RegexSerDe使用正则表达式（正则表达式）来反序列化数据。它不支持数据序列化。它可以使用正则表达式反序列化数据，并将组提取为列。在反序列化阶段，如果一行与正则表达式不匹配，那么该行中的所有列都将为NULL。如果一行与正则表达式匹配，但组的数量少于预期值，则缺少的组将为NULL。如果一行与正则表达式匹配但具有多于预期的组，则会忽略其他组。如何防止在行中存在不匹配并引发异常时插入NULL？

0热度

1回答

以ORC格式创建表时出现Hive错误

在ORC格式中以蜂巢形式创建表时出现错误。以下是创建表脚本。 CREATE TABLE tgt_ebr_agreements_item_notes STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcO

1热度

1回答

XML架构到Hive架构

我想将xml文件加载到配置单元表中。我正在使用xml serde here。我能够加载简单的平面XML文件。但是当xml中有嵌套元素时，我使用配置单元复杂数据类型来存储它们（例如，array<struct>）。以下是我正在尝试加载的示例xml。我的目标是将所有元素，属性和内容加载到配置单元表中。，我试图让 <description action="up"> <name action="a

0热度

1回答

具有不同data_types

我有使用JSON数据的文件，其采取以下形式的JSON数组创建配置单元表“街”： “AA”， “城市”： “BBB” } { “街”： “CCC”， “城市”： “DDD”， “国家”： “EEE” } ] } 上面的Json是一个有效的Json。我想使用JsonSerde在上面的表单的数据之上创建一个配置单元表。