HMaster:数据库总控节点HRegionServer:通常是一个物理节点即一台单独的计算机,一个HRegionServer包含多个HRegion,假如一个表有一亿行数据,那么可能会分散在一个RegionServer不同的Region中Store:每一个列族是一个store,当插入数据时候现在Me...
分类:
其他好文 时间:
2014-07-22 22:55:54
阅读次数:
163
Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。
分类:
其他好文 时间:
2014-07-22 22:54:13
阅读次数:
243
今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下:
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeC...
分类:
其他好文 时间:
2014-07-18 22:35:16
阅读次数:
323
安装环境:
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备:
1.
Jdk环境已安装:版本为1.6以上
2.
hadoop环境已安装:完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类:
其他好文 时间:
2014-07-18 22:08:46
阅读次数:
441
【甘道夫】HBase基本数据操作详解【完整版,绝对精品】...
分类:
其他好文 时间:
2014-07-18 21:39:39
阅读次数:
284
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中,提到sqoop可以让RDBMS和HDFS之间互导数据,并且也支持从mysql中导入到HBase,但从HBase直接导入mysq...
分类:
数据库 时间:
2014-07-18 20:00:07
阅读次数:
482
1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常,进程如下:[root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNa...
分类:
其他好文 时间:
2014-07-17 13:02:12
阅读次数:
268
最近的项目需要使用Hbase做实时查询,由于Hbase只支持一级索引,也就是使用rowkey作为索引查询,所以对于多条件筛选查询的支持不够,在不建立二级索引的情况下,只能使用Hbase API中提供的各种filter过滤器进行筛选,感觉查询效率不太理想,于是考虑建立二级索引的方案。 经过goo...
分类:
其他好文 时间:
2014-07-17 00:53:25
阅读次数:
238
前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析.spark官网: http://spark.apache.org/downloads.html*)安装....
分类:
其他好文 时间:
2014-07-16 16:56:22
阅读次数:
235
1、YARN或将成为Hadoop新发力点http://www.csdn.net/article/2013-06-27/2816031-hadoop-yarn2、更快、更强——解析Hadoop新一代MapReduce框架Yarnhttp://www.csdn.net/article/2014-02-1...
分类:
其他好文 时间:
2014-07-16 16:45:34
阅读次数:
198