Azure的数据仓库多碱文件格式

Question

我们有一个看起来像这样的文件：

Col1,Col2,Col3,Col4,Col5 
"Hello,",I,",am",some,data! 

因此它具有以下“属性”：

• 逗号分隔
• 双引号列分隔符
• 某些列中的逗号

现在，我不确定实际上是否可以用PolyBase摄取这些信息，但是想知道是否有办法？

我们目前看到的错误是“Could not find a delimiter after quote” ..我的猜测是因为双引号被击中的是一个预期的分隔符。经过

这是我们当前的文件格式，完整性：

CREATE EXTERNAL FILE FORMAT Comma 
WITH (FORMAT_TYPE = DELIMITEDTEXT, 
     FORMAT_OPTIONS(
      FIELD_TERMINATOR = ',', 
      STRING_DELIMITER = '"', 
    ) 
) 

Answer 1

..

这是一个有点笨重（因为它留下的背后副本一团糟），但多碱则确实与FILEFORMAT工作：

CREATE EXTERNAL FILE FORMAT Orc 
WITH (FORMAT_TYPE = ORC) 

作品现在，直到由产品团队解决：https://feedback.azure.com/forums/307516-sql-data-warehouse/suggestions/10600132-polybase-allow-field-row-terminators-within-strin

Answer 2

用十六进制指定它。

STRING_DELIMITER = '0x22' 

（基于有人在的https://msdn.microsoft.com/en-au/library/dn935026.aspx末尾描述的问题）加入一个中间步骤以从CSV到ORC格式文件转换到底排序这一点