我们hadoop2,4集群默认不支持snappy压缩，可是近期有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算。可是直接执行时报错： Failed with exception java.io.IOExce ...
分类：
移动开发 时间：
2017-05-04 21:48:20
阅读次数：
275
环境： CentOS6.5_x64 InfluxDB版本：1.1.0 InfluxDB存储引擎看起来很像一个LSM Tree，它包含预写日志和类似存储在LSM Tree中的SSTables只读数据。 TSM文件包含已经排好序而且经过压缩的序列化数据。 InfluxDB会为每个时间块创建一个分区。例如 ...
分类：
数据库 时间：
2017-04-23 12:39:05
阅读次数：
469
一、要求在Hbase数据库中创建带有snappy压缩属性的表。二、登陆到hbase数据库执行建表操作hbase(main):016:0>create‘dcs:t_dev_history‘,{NAME=>‘f‘,DATA_BLOCK_ENCODING=>‘PREFIX_TREE‘,BLOOMFILTER=>‘ROW‘,REPLICATION_SCOPE=>‘0‘,VERSIONS=>‘1‘,COMPRESSI..
分类：
移动开发 时间：
2017-04-12 18:59:27
阅读次数：
207
Snappyisacompression/decompressionlibrary.Itdoesnotaimformaximumcompression,orcompatibilitywithanyothercompressionlibrary;instead,itaimsforveryhighspeedsandreasonablecompression.Forinstance,comparedtothefastestmodeofzlib,Snappyisanorderofmagnitudefasterform..
分类：
移动开发 时间：
2017-01-04 17:24:31
阅读次数：
1692
结合：存储+压缩（snappy） 1.orc orc tblproperties("orc.compress"="SNAPPY") 2.parquet hive shell中：set parquet.compression=SNAPPY 因为找不到。 ...
分类：
其他好文 时间：
2016-11-16 22:03:59
阅读次数：
236
试用sud o pip提示找不到pip命令，不加sudo可以找到，这时候需要使用whereis 去看pip命令的路径 sudo + pip完整路径即可 安装python snappy 失败提示： snappymodule.cc:28:20: fatal error: Python.h: No suc ...
分类：
移动开发 时间：
2016-11-13 16:49:16
阅读次数：
686
久闻 LZ4 大名，很久前就想将之与譬如 ZLib 等压缩算法作作比较了。这篇简单的测试来得晚了些，不过至少（暂时）了却了我的一桩心事。 本来我只计划对 ZLib、LZ4 和 Snappy 等作测试，但这里的 LZ4 HC (r129) 引起了我的极大兴趣，所以也顺便，将 LZ4HC，以及 SynL ...
分类：
编程语言 时间：
2016-09-05 23:27:59
阅读次数：
244
前言测一下parquet、snappy、gzip、textfile这些方式在hdfs中占用的存储大小。在impala中直接建内部表。测试
存储格式
压缩格式
文件大小
建表时间 textfile
none
3.0 G
38.74s
parquet
none
1.5 G
32.33s
parquet
snappy
709.3 M
31.71...
分类：
其他好文 时间：
2016-08-21 12:32:15
阅读次数：
210
1. 功能说明 使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求： 首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时 ...
分类：
移动开发 时间：
2016-08-05 12:01:10
阅读次数：
1258
搭建外场hbase环境， 系统环境如下 1.rhel6.5(使用光盘)，刚刚搭建完成，基本服务器模式。 2.移动硬盘中有以前系统的镜像，但是保留了一些其他的重要资料，不能保留在外场环境中。 安装hbase搭建使用snappy的压缩工具，要安装gcc-c++的rpm包，不太清楚需要哪些依赖包。 以前一 ...
分类：
其他好文 时间：
2016-06-18 18:22:48
阅读次数：
160
