LZO 是一个适合实时解压、压缩的压缩库LZOP 基于LZO库的压缩解压工具PS:有了压缩解压库LZO，还不能直接操作文件压缩解压，需要LZOP下载的话直接google吧~~~
分类：
其他好文 时间：
2015-04-01 23:27:06
阅读次数：
177
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/export SPARK_CLASSPATH=$SPARK_CLASSPATH:/soft/server/spark-1.0.2-bin-hadoop2/lib/ha...
分类：
其他好文 时间：
2015-03-30 10:47:38
阅读次数：
201
1.操作系统编译环境
yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst
2.安装JDK
下载JDK1.7，注意只能用1.7，否则编译会出错
http://www.oracle.com/tech...
分类：
其他好文 时间：
2015-03-19 22:02:18
阅读次数：
246
很多人用mvn来管理发布包，但是有些jar包并没有发布到公网上，也就是平时我们说的本地的jar包，这下可愁坏了我们了。该怎么办呢？
其实很简单，把这个jar包添加到自己本地的maven库里，
举个例子，我们本地有个jar包叫，hadoop-lzo-0.4.2.0-SNAPSHOT.jar , 想把这个jar打入到自己的发布包中。
可以先执行如下语句
mvn install:install-...
分类：
编程语言 时间：
2015-02-14 12:24:11
阅读次数：
392
1. Hadoop 支持lzo压缩依赖： lzo：Unix/linux系统默认没有lzo的 库，因此需要安装，sudoyum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64...
分类：
Web程序 时间：
2015-02-02 19:47:04
阅读次数：
416
今天例行的任务报Premature EOF from inputStream的错误（具体log被刷屏刷掉了）。根据这个关键信息去网上搜了下，有说lzo压缩指定方式不对的MapReduce使用lzo压缩注意，也有说节点或者通信出问题，或者文...
分类：
其他好文 时间：
2014-12-23 12:36:50
阅读次数：
702
我们hadoop2,4集群默认不支持snappy压缩，但是最近有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算，但是直接运行时报错：...
分类：
移动开发 时间：
2014-12-23 00:20:47
阅读次数：
496
