如何在从源文件导入时验证Hive HQL中的数据

Question

请解释如何在从Hive表中导入Source中的数据时验证数据，例如，如果某些数据损坏而无法导入，那么如何在大量数据中导入数据丢弃该数据。

Answer 1

您需要开发ETL过程并制定策略来丢弃损坏的数据。您可以使用第三方工具，如Informatica大数据版，Talend等，或者您需要开发自定义代码。这是一项重大的努力。