一：压缩（cpmpression）好处 压缩的好处，减少存储文件所需的空间，并且加速数据在网络与磁盘上的传输。 二：压缩格式总结 Hadoop支持DEFLATE、Gzip、bzip2三种压缩格式，还有LZO,LZ4,Snappy压缩，但是需要自己去官网下载相应的包 压缩格式的压缩性能比较，通过笔者在 ...
分类：
其他好文 时间：
2018-09-06 02:59:46
阅读次数：
291
一、Parquet的组成 Parquet仅仅是一种存储格式，它是语言、平台无关的，并且不需要和任何一种数据处理框架绑定，目前能够和Parquet适配的组件包括下面这些，可以看出基本上通常使用的查询引擎和计算框架都已适配，并且可以很方便的将其它序列化工具生成的数据转换成Parquet格式。 查询引擎: ...
分类：
其他好文 时间：
2018-07-18 23:13:28
阅读次数：
212
这两天项目中需要将HTML页面转换为PDF文件方便打印，我在网上搜了很多资料。先后尝试了laravel-dompdf和laravel-snappy两种扩展包，个人感觉laravel-snappy比较好用。 一、使用laravel-dompdf扩展包 1、安装扩展包 我们通过composer来安装 2 ...
分类：
移动开发 时间：
2018-07-12 20:10:53
阅读次数：
343
https://cwiki.apache.org/confluence/display/HAWQ/Build+and+Install <!-- brew install protobuf protobuf-c Gsasl boost json-c ccache snappy libyaml libe ...
分类：
系统相关 时间：
2018-07-05 23:21:38
阅读次数：
228
数据类型 mongodb 3.x 数据容量 140 GB 故障类型 服务器断电导致WiredTiger.wt文件损坏 启动报错 Detected data files in E:\DTLFolder\MongoDB\data created by the 'wiredTiger' storage e ...
分类：
数据库 时间：
2018-06-16 23:32:42
阅读次数：
288
一：环境安装 1.小坑 https://download.microsoft.com/download/7/9/6/796EF2E4-801B-4FC4-AB28-B59FBF6D907B/VCForPython27.msi python vcc环境 2.天坑 问题1：windows snappy安 ...
分类：
编程语言 时间：
2018-05-31 16:16:44
阅读次数：
734
Hadoop分支 Apache Cloudera Hortonworks 本文是采用Cloudera分支的hadoop。 下载cdh-5.3.6 版本 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 各组件版本一定保持一致。 cdh5.3.6-snappy- ...
分类：
其他好文 时间：
2018-05-27 21:41:14
阅读次数：
190
大神代码链接 称之为MTCNN人脸检测算法，同时有大神已经GitHub上开源了其基于caffe的C++ API 的源代码，https://github.com/DaFuCoding/MTCNN_Caffe 再次感谢大神以及开源~ 1. 安装依赖 sudo apt-get install libpro ...
分类：
系统相关 时间：
2018-05-10 13:24:56
阅读次数：
359
VERSION BLOOMFILTER value： NONE|ROW|ROWCOL 作用：对于get操作以及部分scan操作可以剔除掉不会用到的存储文件，减少实际IO次数，提高随机读性能 COMPRESSION value: Gzip|LZO|Snappy snappy压缩率最低，编解码速率最高， ...
分类：
其他好文 时间：
2018-04-26 13:20:44
阅读次数：
198
存储格式的选择： 采取行式还是列式存储？ 列存储写入时次数多，损耗时间多 反过来查询的时候较快 压缩格式的选择： 考虑压缩速度和压缩文件的分割性 压缩能够较少存储空间、提高数据传输速度 Spark中默认的压缩格式是“snappy” 代码的优化： 选择的高性能的算子： foreachPartition ...
分类：
数据库 时间：
2018-03-11 17:17:44
阅读次数：
212
