1、方法1 http://wkhtmltopdf.org/ https://github.com/KnpLabs/snappy/tree/master wkhtmltoimage 2、方法2 cutycapt http://www.cszhi.com/20130305/cutycapt.html?...
分类:
Web程序 时间:
2015-08-19 13:39:43
阅读次数:
217
情况描述其实这个问题已经困扰我很久了,最近在公司Linux上搭建hadoop 和 spark环境的时候,我就遇到 spark提交作业到yarn 集群就报错这个错,当时已经安装snappy环境了,任何关于snappy静态库都编译了,这是我提交到spark mail list上的http://apache-spark-user-list.1001560.n3.nabble.com/java-lang-U...
分类:
移动开发 时间:
2015-08-08 21:27:50
阅读次数:
383
源码地址:https://github.com/google/snappy
下载 git clone https://github.com/google/snappy
编译
进入snappy源码目录,执行命令: ./autogen.sh
报错 “./autogen.sh: line 3: aclocal: command not found”
通过http://superuser.com/q...
分类:
移动开发 时间:
2015-08-08 18:17:05
阅读次数:
145
在ubuntu 下编译snappy时,在检查依赖关系时,处理autoconf的包时,在相关依赖包都已经安装的情况下,报如下错误,死活不过。configure.ac:32: error: possibly undefined macro: AC_DEFINE几经辗转,在stackoverflow上找到...
分类:
系统相关 时间:
2015-08-03 22:28:31
阅读次数:
396
SnappySnappy是在谷歌内部生产环境中被许多项目使用的压缩库,包括BigTable,MapReduce和RPC等。谷歌表示算法库针对性能做了调整,而不是针对压缩比或与其他类似工具的兼容性。在Intel酷睿i7处理器上,其单核处理数据流的能力达到250M/s-500M/s。Snappy同时针对...
分类:
编程语言 时间:
2015-07-30 19:22:37
阅读次数:
163
1、ZIP、GZIP计算机文件压缩算法,JDK中java.util.zip.*中实现。主要包括ZipInputStream/ZipOutputStream、GZipInputStream/ZipOutputStream。2、QuickLZ是一个号称世界压缩速度最快的压缩库,并且也是个开源的压缩库,其...
分类:
移动开发 时间:
2015-07-28 14:25:44
阅读次数:
402
在将mysql数据导入到hbase数据的过程中,发现hbase的数据容量增加很快,原本在mysql存储30G容量的数据导入到hbase一直增加到快150G(还未完全导入,手动结束),而采用默认3个备份储存的话,基本上真个集群有450G的容量。查看了一些资料,发现hbase的储存确实耗空间,一般hba...
分类:
移动开发 时间:
2015-05-29 17:34:39
阅读次数:
381
1、为map中间输出启用压缩。 ? ? ? 一般对于中间输出压缩采用低压缩比,高压缩解压缩速度的压缩算法,如LZO,Snappy? ? ? set hive.exec.compress.intermediate=true; ? ? set mapred.map.output.compress...
分类:
其他好文 时间:
2015-04-27 08:20:51
阅读次数:
192
我们hadoop2,4集群默认不支持snappy压缩,但是最近有业务方说他们的部分数据是snappy压缩的(这部分数据由另外一个集群提供给他们时就是snappy压缩格式的)想迁移到到我们集群上面来进行计算,但是直接运行时报错:...
分类:
移动开发 时间:
2014-12-23 00:20:47
阅读次数:
496
项目地址:https://code.google.com/p/snappy/下载后,解压。$./configure$make建立一个简单的测试文件a.cpp:#include "snappy.h"#include #include int main() { std::string s = "d...
分类:
移动开发 时间:
2014-12-16 19:09:07
阅读次数:
208