Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完...
分类：
其他好文 时间：
2015-04-17 18:40:23
阅读次数：
112
以前做过一个性能测试项目，基于nginx+Hbase+Hadoop，第一次接触开源的东西，遇到各种问题，印象深的是Hbase和Hadoop的监控，当时也搜索到可以用开源的监控工具或写代码通过JMX取JVM的信息。在摸索的过程中发现一种更简单方便的办法，不用监控工具和写大量代码，直接用loadrunn...
分类：
其他好文 时间：
2015-04-17 17:54:03
阅读次数：
191
HBase的所有请求调用都是通过RPC的机制进行的，RPCServer监听到请求之后会解析请求内容，然后根据解析的方法以及参数调用服务器端实际的方法，这也是远程代理模式的经典做法，createTable的请求最终实现是在HMaster中的，但是实际的表的建立过程是在CreateTableHandler类中的，接下来主要就HBase中表的建立过程进行详细分析。
1. HMaster的createTab...
分类：
其他好文 时间：
2015-04-17 15:49:42
阅读次数：
136
1.Table中的所有行都是按照RowKey的字典序排列.2.Table在行的方向上分割为多个HRegion 3.Region按照大小分割.每个表刚开始只有一个Region,随着数据不断的插入表中,Region不断增大,当增大到一个阀值的时候Hregion就会等分为两个HRegion.当Table....
分类：
其他好文 时间：
2015-04-16 09:03:51
阅读次数：
144
HBase以表的形式存储数据。表由行和列族组成。列划分为若干个列族(row family)，其逻辑视图如下：下面分别说说几个关键概念：1.行键(RowKey) 行键是字节数组, 任何字符串都可以作为行键； 表中的行根据行键进行排序，数据按照Row key的字节序(byte order)排序存储；.....
分类：
其他好文 时间：
2015-04-16 01:13:28
阅读次数：
176
解决办法：1：首先，到官网下载mysql-connector-java。2：把驱动文件放置在data-integration\lib\ 目录下
分类：
数据库 时间：
2015-04-15 22:40:23
阅读次数：
1481
Hbase 是一个面向列的分布式数据库.Hbase不是一个关系型数据库,其设计目标是用来解决关系型数据库在海量数据处理中理论和实现的不足和局限.传统的关系型数据库上世纪七八十年代为交易系统建立 ,以满足数据一致性(ACID)为目标,并没有考虑数据规模扩大时的拓展性,和单点系统失效时的可靠性.虽然.....
分类：
数据库 时间：
2015-04-15 21:03:00
阅读次数：
230
执行java调用scala 打包后的jar时候出现异常 /14 23:57:08 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that wor....
分类：
移动开发 时间：
2015-04-15 16:36:30
阅读次数：
579
鉴于hadoop的版本太多，并且组建也多，对于新手来说安装起来往往不是很容易，本文专门以CDH5的发行版为例讲解了hadoop，hbase，hive的单机安装方法。并附上所用到的一些安装包，第三方jar包，配置文件等。...
分类：
其他好文 时间：
2015-04-15 13:32:45
阅读次数：
373
问题：将scala打成jar包，提供给java调用，但是java一直提示找不到类实现功能：利用spark查询hbase数据，然后提供给外部接口调用我的方式：spark查询Hbase用scala实现（已经完成），将scala打成jar 包提供给java调用一直提示找不到scala 中的主类
分类：
编程语言 时间：
2015-04-15 13:17:42
阅读次数：
208
