阅读PCAP二进制文件到HDFS

我需要解析的标准PCAP二进制日志文件库，用于MR（MapReduce的）工作在Git中here 阅读PCAP二进制文件到HDFS

已经上市我还看到一个样本here

ClassNotFoundException: p3.hadoop.mapreduce.lib.input.PcapInputFormat

我见上面的例外，当我运行示例类。

我的POM样子

<plugin> 
      <groupId>org.apache.maven.plugins</groupId> 
      <artifactId>maven-jar-plugin</artifactId> 
      <version>2.4</version> 
      <configuration> 
       <archive> 
        <manifest> 
         <addClasspath>true</addClasspath> 
         <classpathPrefix>lib/</classpathPrefix> 
         <mainClass>com.name.mr.analytics.main.NetworkAnalytics</mainClass> 
        </manifest> 
       </archive> 
      </configuration> 
     </plugin> 

     <plugin> 
      <artifactId>maven-assembly-plugin</artifactId> 
      <configuration> 
       <archive> 
        <manifest> 
         <mainClass></mainClass> 
        </manifest> 
       </archive> 
       <descriptorRefs> 
        <descriptorRef> jar-with-dependencies </descriptorRef> 
       </descriptorRefs> 
      </configuration> 
      <executions> 
       <execution> 
        <id>make-assembly</id> 
        <phase>package</phase> 
        <goals> 
         <goal>single</goal> 
        </goals> 
       </execution> 
      </executions> 
     </plugin>

我包装所有必要的罐子，但一些如何Maven是覆盖MANIFEST.MF文件，我只能看到路径或主类的罐子的MANIFEST.MF -with依赖性。然而在另一个正在创建的jar中有manifest.mf中的所有细节，但显然依赖不可用。

任何帮助表示赞赏。

来源

2014-11-05 Raghuveer

你''是空的，根据主类的设置你的工作。还请附上您获得的jar文件的内容列表作为输出（'jar tvf '） – 0x0FFF 2014-11-05 15:06:54

您面临的问题与在执行您的mapreduce作业的节点上找不到此类相关。你必须对如何使工作3个主要选项：

包的hadoop-pcap类到您的jar文件（可以很容易地使用GUI IDE来完成）
将包含hadoop-pcap类的JAR文件在每个群集的节点进入CLASSPATH目录之一（见yarn.application.classpath）
将含有hadoop-pcap到HDFS（hdfs dfs -put hadoop_pcap.jar <hdfs path>）的jar文件，并使用job.addFileToClassPath呼吁jar文件与hadoop-pcap包要与你的工作一起运到所有节点执行它

对于生产使用我建议的解决方案＃2，当你仍然在开发代码，我建议你尝试＃1第一

来源

2014-11-05 14:39:57 0x0FFF

更新了该帖子。我曾尝试将main-class添加到程序集插件中，但它不起作用。 – Raghuveer 2014-11-05 14:57:55

请列出你得到的jar文件的内容和项目结构 – 0x0FFF 2014-11-05 15:45:26

这里还有一个关于如何在使用maven构建项目时包含依赖关系的选项列表：http://stackoverflow.com/questions/574594/how-can- i-create-an-executable-jar -with-dependencies-using-maven – 0x0FFF 2014-11-05 15:52:49

阅读PCAP二进制文件到HDFS

回答

相关问题