我想通过C#代码在Azure上运行U-SQL脚本。在代码执行后,所有东西都在azure(ADF,链接服务,管道,数据集)上创建,但ADF不执行U-SQl脚本。我认为在管道代码中配置startTime和end Time有问题。从C#代码与Azure数据工厂运行U-SQL脚本
我按照以下文章来完成这个控制台应用程序。 Create, monitor, and manage Azure data factories using Data Factory .NET SDK
这是我完整的C#代码项目下载的URL。 https://1drv.ms/u/s!AltdTyVEmoG2ijOupx-EjCM-8Zk4
有人请帮我找出我的错误
C#代码来配置管道:
日期时间PipelineActivePeriodStartTime =新的日期时间(2017年,1,12,0,0,0,0,DateTimeKind 。世界标准时间); DateTime PipelineActivePeriodEndTime = PipelineActivePeriodStartTime.AddMinutes(60); string PipelineName =“ComputeEventsByRegionPipeline”;
var usqlparams = new Dictionary<string, string>();
usqlparams.Add("in", "/Samples/Data/SearchLog.tsv");
usqlparams.Add("out", "/Output/testdemo1.tsv");
client.Pipelines.CreateOrUpdate(resourceGroupName, dataFactoryName,
new PipelineCreateOrUpdateParameters()
{
Pipeline = new Pipeline()
{
Name = PipelineName,
Properties = new PipelineProperties()
{
Description = "This is a demo pipe line.",
// Initial value for pipeline's active period. With this, you won't need to set slice status
Start = PipelineActivePeriodStartTime,
End = PipelineActivePeriodEndTime,
IsPaused = false,
Activities = new List<Activity>()
{
new Activity()
{
TypeProperties = new DataLakeAnalyticsUSQLActivity("@searchlog = EXTRACT UserId int, Start DateTime, Region string, Query string, Duration int?, Urls string, ClickedUrls string FROM @in USING Extractors.Tsv(nullEscape:\"#NULL#\"); @rs1 = SELECT Start, Region, Duration FROM @searchlog; OUTPUT @rs1 TO @out USING Outputters.Tsv(quoting:false);")
{
DegreeOfParallelism = 3,
Priority = 100,
Parameters = usqlparams
},
Inputs = new List<ActivityInput>()
{
new ActivityInput(Dataset_Source)
},
Outputs = new List<ActivityOutput>()
{
new ActivityOutput(Dataset_Destination)
},
Policy = new ActivityPolicy()
{
Timeout = new TimeSpan(6,0,0),
Concurrency = 1,
ExecutionPriorityOrder = ExecutionPriorityOrder.NewestFirst,
Retry = 1
},
Scheduler = new Scheduler()
{
Frequency = "Day",
Interval = 1
},
Name = "EventsByRegion",
LinkedServiceName = "AzureDataLakeAnalyticsLinkedService"
}
}
}
}
});
我刚刚注意到天青数据工厂视图(监视器和管理选项)中的某些内容。管道状态为等待:数据集依赖关系。 我是否需要修改代码中的某些内容?
我很抱歉,但如果你不能在这里发布代码的相关部分,那么很难或非常耗时的帮助。 –
嗨,你上周没有发表过同样的问题吗?那件事发生了什么? – wBob
@wBob是的,但是这次我已经共享完整的C#控制台项目,以便任何人都可以下载并查看整个代码。 –