https://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/util/MurmurHash.html https://github.com/spaolacci/murmur3https://github.com/google/guava/b ...
HBase简介对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价硬件上，并可提供数10亿行X数百万列的大数据存储、管理能力，以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigt
分类：
其他好文 时间：
2020-01-09 01:19:12
阅读次数：
108
NoSQL 学名（not only sql） 特点： 存储结构与mysql这一种关系型数据库完全不同，nosql存储的是KV形式 nosql有很多产品，都有自己的api和语法，以及业务场景 产品种类： Mongodb redis Hbase hadoop Nosql和sql的区别 应用场景不同，sq ...
分类：
其他好文 时间：
2020-01-08 20:50:29
阅读次数：
99
1、安装datax3.0 http://datax opensource.oss cn hangzhou.aliyuncs.com/datax.tar.gz 2、部署主机 主机：node2 路径：/data1/xinsrv/datax JDK：1.8 Python：2.6 3、下载alihbase ...
分类：
其他好文 时间：
2020-01-08 19:28:15
阅读次数：
142
前言 Thrift提供的网络服务模型：单线程、多线程、事件驱动，从另一个角度划分为：阻塞服务模型、非阻塞服务模型。 阻塞服务模型：TSimpleServer、TThreadPoolServer。 非阻塞服务模型：TNonblockingServer、THsHaServer和TThreadedSele ...
分类：
Web程序 时间：
2020-01-08 12:53:39
阅读次数：
107
前言 Thrift支持二进制，压缩格式，以及json格式数据的序列化和反序列化。开发人员可以更加灵活的选择协议的具体形式。协议是可自由扩展的，新版本的协议，完全兼容老的版本！ 正文 数据交换格式简介 当前流行的数据交换格式可以分为如下几类： (一) 自解析型 序列化的数据包含完整的结构， 包含了fi ...
分类：
Web程序 时间：
2020-01-08 12:25:14
阅读次数：
92
公司(VIP)从2015年开始在内部推动Venus框架的使用，这是一款基于Apache Thrift远程调用框架二次开发的高性能、高可扩展的、服务治理的RPC框架。服务端使用IDL进行服务的定义，客户端集成服务的SDK即可调用服务端的服务，开发简单，大部分的公共功能都在Proxy代理层工作，减轻了开 ...
分类：
其他好文 时间：
2020-01-08 12:20:52
阅读次数：
80
前言Thrift是一个轻量级、跨语言的远程服务调用框架，最初由Facebook开发，后面进入Apache开源项目。它通过自身的IDL中间语言, 并借助代码生成引擎生成各种主流语言的RPC服务端/客户端模板代码。 Thrift支持多种不同的编程语言，包括C++、Java、Python、PHP、Ruby ...
分类：
Web程序 时间：
2020-01-08 12:18:14
阅读次数：
78
一.HAWQ的历史与现状 想法和原型系统（2011）：GOH阶段（Greenplum Database On HDFS）。 HAWQ 1.0 Alpha（2012）：多个国外大型客户试用，当时客户性能测试是Hive的数百倍。促进了HAWQ 1.0作为正式产品发布。 HAWQ 1.0 GA（2013年 ...
分类：
其他好文 时间：
2020-01-06 14:20:04
阅读次数：
106
Minor Compact Minor Compact是指少量HFile文件按照Minor Compact规则进行合并；它的正常流程是这样的，探测到有新的文件刷进来（比如因为memstore的flush，当然可以直接写入HFile而跳过memstore，比如Bulk写入），此时Region Serv ...
分类：
其他好文 时间：
2020-01-05 12:14:28
阅读次数：
181
