LZO压缩测试失败

我真诚地感谢您阅读我的文章。LZO压缩测试失败

我想在我的服务器（运行至强CPU）上的HBase上安装LZO 2.03压缩编解码器。我目前使用HBase 0.90.2运行Hadoop 0.20.1。

我遵循http://wiki.apache.org/hadoop/UsingLzoCompression的指导原则。我从http://code.google.com/p/hadoop-gpl-compression/下载了LZO本地连接器（Hadoop-GPL-Compression）。

我安装使用./configure --prefix=/home/ckwon/wks/test/lzo_lib_x64 --enable-shared --disable-asm --build=x86_64-pc-linux-gnu

（与make install到自定义目录）的LZO库。

然后我复制了所有的LZO库文件和GPL压缩文件（包括本机/）到$ HADOOP_HOME/lib中/和$ HBASE_HOME/lib目录

然后我跑的bin/HBase的org.apache.hadoop .hbase.util.CompressionTest与下面的脚本：

setenv CLASSPATH_HBASEI `ls ${HBASE_HOME}/*.jar |& awk '{printf(":%s", $1);}'` 
setenv CLASSPATH_HBASELIBI `ls ${HBASE_HOME}/lib/*.jar |& awk '{printf(":%s", $1);}'` 
setenv CLASSPATH_LZO $HBASE_HOME/lib/native/liblzo2.so 

setenv CLASSPATH ${CLASSPATH_HBASEI}${CLASSPATH_HBASELIBI} 

setenv LD_LIBRARY_PATH64 $HBASE_HOME/lib/native 
#setenv LD_LIBRARY $HBASE_HOME/lib/native 

ls -l $LD_LIBRARY_PATH64 

set JAVA=$JAVA_HOME/bin/java 

set JAVA_PLATFORM=`CLASSPATH=${CLASSPATH};${JAVA} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"` 
echo JP=$JAVA_PLATFORM 

set  JAVA_LIBRARY_PATH=${HBASE_HOME}/lib/native/${JAVA_PLATFORM} 
echo 
echo java_lib_path--- 
echo 
echo $JAVA_LIBRARY_PATH 

cd $HBASE_HOME 
./bin/hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://SERVER:PORT/COMPRESSION_TEST_RUNNER.sh lzo

而且它产生

INFO lzo.GPLNativeCodeLoader: Loaded native gpl library 
WARN lzo.LzoCompressor: java.lang.UnsatisfiedLinkError: Cannot load liblzo2.so.2 (liblzo2.so.2: cannot open shared object file: No such file or directory)! 
ERROR lzo.LzoCodec: Failed to load/initialize native-lzo library 
    java.lang.RuntimeException: native-lzo library not available 
      at com.hadoop.compression.lzo.LzoCodec.getCompressorType(LzoCodec.java:135) 
      at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:98) 
      at org.apache.hadoop.hbase.io.hfile.Compression$Algorithm.getCompressor(Compression.java:200) 
      at org.apache.hadoop.hbase.io.hfile.HFile$Writer.getCompressingStream(HFile.java:397) 
      at org.apache.hadoop.hbase.io.hfile.HFile$Writer.newBlock(HFile.java:383) 
      at org.apache.hadoop.hbase.io.hfile.HFile$Writer.checkBlockBoundary(HFile.java:354) 
      at org.apache.hadoop.hbase.io.hfile.HFile$Writer.append(HFile.java:536) 
      at org.apache.hadoop.hbase.io.hfile.HFile$Writer.append(HFile.java:515) 
      at org.apache.hadoop.hbase.util.CompressionTest.main(CompressionTest.java:126)

我试图重建在x86_64的-PC的LZO库W/i386的汇编代码DISA流血，但仍然导致错误。

我很感激任何建议。

来源

2011-07-08 Chul Kwon

你把共享对象放到lib/native /文件夹中吗？ –

我在构建共享对象时也遇到了问题。你检查过它们是否生成了吗？ – schmmd

在主服务器和从服务器上安装本地LZO库。例如。在Ubuntu

sudo apt-get install liblzo2-dev

如果你有以下的Cloudera setup instructions后的问题，尝试复制libgplcompression *文件到您的Hadoop lib文件夹。在Ubuntu上，假设你遵循Cloudera安装说明，这将是：

sudo cp /usr/local/hadoop/lib/native/Linux-amd64-64/lib/libgplcompression.* \ 
    /usr/lib/hadoop/lib/native/

来源

2012-11-05 18:52:46

LZO压缩测试失败

回答

相关问题