应用程序洞察日志分析

我有Application Insights的事件日志，其中记录事件并将其存储为存储在BLOB存储中的文本文件中的json。我需要找到customProperty满足条件的那些jsons。命中jsons的数量非常少（约10或20），但记录的数据非常大。任何建议如何有效地完成这项工作？应用程序洞察日志分析

我已经在Microsoft文档中看到HDInsights理解blob存储并且效率很高。这与我的情况有关吗？如果是这样，有人可以提供一些起点。

来源

2016-06-10 Aditya Kiran

HDInsight是Hadoop兼容的实现，它是一种很好的日志分析技术。关于遥测的AppInsighs页面上也有being stated。 “在更大规模的情况下，考虑HDInsight - Hadoop集群，HDInsight提供了各种管理和分析大数据的技术。”

在同一页上，您可以找到有关将AppInsights遥测连续导出到Azure Blob存储的信息。

下一步可能是使用HDInsight进行分析，但它需要您执行某种算法。

要从Azure Blob上传数据到HDInsight，您可能会看到that link（和this用于查询）。

要了解日志处理管道（这是Hadoop/HDInsight的常见任务），可以使用一些演练和手册，例如this。但是您需要根据您的情况调整此算法。

来源

2016-06-10 14:00:34

要使用来自HDInsight的Application Insights，首先需要将日志导出到blob存储。这必须是HDInsight已配置为可以看到的blob存储。然后，您需要一些方法来告诉HDInsight有关文档结构的信息。令人高兴的是，如果你在HDInsight上使用Spark，它可以自己计算出JSON结构。 –

现在，https://azure.microsoft.com/en-us/documentation/articles/hdinsight-spark-analyze-application-insight-logs/上提供了一个文档，其中提供了一些关于使用HDInsight上的Spark执行此操作的指导和示例。 –

对于Application Insights，还有另一种选择。新的分析工具应用程序Insights Analytics已被引入。

https://blogs.msdn.microsoft.com/bharry/2016/03/28/introducing-application-analytics

该工具还alows您与所有工作记录使用特定语言数据：

requests 
| where timestamp >= ago(24h) 
| summarize count() by client_CountryOrRegion 
| order by count_ desc

您可以导出你需要的数据。

来源

2016-06-13 14:52:06

应用程序洞察日志分析

回答

相关问题