u-sql

0热度

1回答

我想从json文档中提取大量的数据。每个json文档大约有1500个节点。当我尝试加载body节点时，我得到了128KB的限制错误。我找到了一种方法来加载节点，但我必须一直到数组列表。 JsonExtractor（ “body.nprobe.items [*]”）;我遇到的问题是我无法访问json文档的任何其他部分，我需要获取元数据，如：Id，SerialNumber等。是否应以某种方式更改jso

0热度

1回答

在U-SQL中追加现有文件中的数据

我们可以在U-SQL中的现有文件中追加数据吗？我在U-SQL中创建了一个CSV文件作为输出。我正在编写另一个U-SQL查询，并且希望将该查询的输出追加到现有文件中。这可能吗？

1热度

2回答

使用U-SQL MultiLevelJsonExtractor给出错误：路径返回多个标记

我使用MultilevelJsonExtractor在Git上由kotvisbj分叉，当我把一个包含数组的路径（body.header.items [*]或body.header.items ）到JsonPaths参数字符串中，我得到一个“错误：路径返回多个标记”。有没有办法在代码中提取路径，以便像使用Root时那样获取数组？我试图解释这是我可以做到的最好的方式，我没有优秀的C＃技能，已经有几年了

3热度

1回答

U-SQL如何获取正在处理的当前文件名添加到我的提取输出中？

我需要添加有关正在处理的行的元数据。我需要将文件名添加为列。我查看了Git回购中的救护车演示，但无法弄清楚如何实现这一点。

0热度

1回答

U型SQL跳过0字节长度的文件

我试图跳过输入0字节长度的文件（即存在，但为0字节的文件），我怀疑已经有一个功能来做到这一点，我无法找到的语法。

1热度

2回答

U型SQL - 从复杂的JSON对象

提取的资料，因此我有很多的结构是这样的JSON文件： { "Id": "2551faee-20e5-41e4-a7e6-57bd20b02a22", "Timestamp": "2016-12-06T08:09:57.5541438+01:00", "EventEntry": { "EventId": 1, "Payload": [

1热度

1回答

真实世界的U-SQL故事

我正在对U-SQL环境和功能进行架构审查。我已经阅读了很多，在过去一周的测试环境中进行了编码和实施。我担心摄入json文件时我的文件摄入速度很慢。 150个文件每个100 MB需要45分钟。是的，json相当复杂并且嵌套，但是让我将它与具有2个工作节点（22分钟）的HDInsight上的Spark进行比较。有没有人有使用大量数据的真实场景（除了MS）？谢谢！

1热度

1回答

JSONPath：使用键和值提取单个字典

我有一个在Azure Data Lake环境中运行的U-SQL应用程序。它应该处理一个充满JSON数据的文件，看起来像这样，除了现实生活中的两行以外。 [ {"reports" : {"direction": "FWD", "drive": "STOPS", "frob_variable": 0}}, {"reports" : {"direction": "FWD", "drive": "CR

0热度

1回答

U- SQL比较

我在执行以下代码时出错。验证和标志是字符串类型的列。 SetpointValue的类型是float？ @hf = SELECT * FROM @ParaLimits WHERE !Validation.Equals ("Relative") || (!Flag.Equals ("Setpoint") AND !Flag.Equals ("AdjSetpoint") || !SetpointVal

4热度

2回答

如何在USQL中使用子查询？</p> <pre><code>@CourseDataExcludingUpdatedCourse = SELECT * FROM @CourseData AS cd WHERE cd.CourseID NOT IN (SELECT CourseID FROM @UpdatedCourseData); </code></pre> <p>这不是让我在子查询中使用<code>NOT IN Clause</code>：

我而使用的u-SQL查询follwowing得到complilation错误。我想要显示@UpdatedCourseData中不存在的所有记录。如何在U-SQL中实现这一点？