在U-SQL中追加现有文件中的数据

我们可以在U-SQL中的现有文件中追加数据吗？我在U-SQL中创建了一个CSV文件作为输出。我正在编写另一个U-SQL查询，并且希望将该查询的输出追加到现有文件中。这可能吗？在U-SQL中追加现有文件中的数据

2016-12-02 Jai

它不被支持，并且会违背健壮，分布式，幂等大数据系统的设计（尽管可以通过将以前的输出作为行集读取并执行UNION ALL来实现该行为）。

对付它的最好方法是正确使用的分区，例如，为每一个资料执行的一个或多个新的分区：https://msdn.microsoft.com/en-us/library/azure/mt621324.aspx

2016-12-02 13:30:47

我想文件集，而不是分区，但类似的概念。即file1_20161202.csv，file1_20161203.csv等U-SQL可以将它们视为具有文件集特征的文件集，例如'@q = EXTRACT rowId int，日期字符串FROM“/input/file1_{date}.txt”使用Extractors.Tsv （）;'。 – wBob

@wBob好主意。要生成这样的文件（在由Data Factory触发的运行中），您可以传递[Dynamic parameters]（https://docs.microsoft.com/zh-cn/azure/data-factory/data-factory-usql-activity#动态参数）。 –

在U-SQL中追加现有文件中的数据

回答

相关问题