天青分析服务处理使用天蓝色数据工厂定制活动没有天蓝色的批次

Question

我有用于处理Azure分析服务的.net dll。它在.Net中工作正常。 现在我想使用Azure数据工厂定制活动而不使用Azure Batch运行相同的dll。

我可以使用什么方法？

使用Hdinsight我得到错误

FAILED 错误：了java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子与org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads代码2 失败（PipeMapRed。 java：322） at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） at org.apache.hadoop.streaming.PipeMapper.close（PipeMapper.java:130） at org.apache。 hadoop.mapred.MapRunner.run（MapRunner.java:61） at org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org.apache.hadoop.mapred.MapTa在org.apache.hadoop.mapred.YarnChild上运行org.apache.hadoop.mapred.MapTask.run（MapTask.java:343） $ 2.run（YarnChild.java:170 ） at java.security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:422） at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java： 1866年） 在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:164）

17/08/05 11时31分07秒INFO mapreduce.Job：任务标识：attempt_1501755343944_0172_m_000000_3，状态：FAILED 错误：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子进程失败，代码为2 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:322） at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） at org.apache.hadoop.streaming。 PipeMapper.close（PipeMapper.java:130） at org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:61） at org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453） at org.apache.hadoop.mapred.MapTask.run（MapTask.java:343） at org.apache.hadoop.mapred。 YarnChild $ 2.run（YarnChild.java:170） at java.security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:422） 在org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866） 在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:164）

17/08/05 11 ：31：12 INFO mapreduce.Job：任务ID：attempt_1501755343944_0172_m_000000_4，状态：FAILED 错误：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子进程失败，代码为2 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads （PipeMapRed.java:322） 在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） 在org.apache.hadoop.streaming.PipeMapper.close（PipeMapper.java:130） 在有机.apache.hadoop.mapred.MapRunner.run（MapRunner.java:61） at o rg.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453） at org.apache.hadoop.mapred.MapTask。运行（MapTask.java:343） at org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170） at java.security.AccessController。在org.apache.hadoop上的org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866） .mapred.YarnChild.main（YarnChild.java:164）

17/08/05 11点31分17秒INFO mapreduce.Job：任务标识：attempt_1501755343944_0172_m_000000_5，状态：失败 错误：了java.lang.RuntimeException：PipeMapRed .waitOutputThreads（）：subprocess failed with code 2 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:322） at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） at org.apache.hadoop.streaming.PipeMapper.close（PipeMapp er.java:130） at org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:61） at org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org。 apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453） 在org.apache.hadoop.mapred.MapTask.run（MapTask.java:343） 在org.apache.hadoop.mapred.YarnChild

Answer 1

当前自定义的.Net活动只能在Azure批处理和Azure HDInsight上执行。由于您不想使用第一个选项，HDInsight是唯一的方法。

基本上，您需要创建HDInsight服务并将其描述为您的自定义.Net活动管道的链接服务。

请参阅Use Custom .Net activity with HDInsight。