HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括上述提出的两种文件类型:
1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile
2. HLog File,HBase中WAL(Write Ahead Log) 的存...
分类:
其他好文 时间:
2015-05-21 19:40:22
阅读次数:
250
安装前一定要注意版本兼容!安装前一定要注意版本兼容!安装前一定要注意版本兼容!重要的话说三遍,参考《HADOOP&HBASE&HIVE整合》中的兼容原则。由于之前Hadoop是2.4,亲测在Hadoop2.4上hbase1.0.1是可以工作的。而0.94版本存在兼容性的问题。配置所有的配置文件位于附...
分类:
其他好文 时间:
2015-05-21 19:24:50
阅读次数:
150
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括上述提出的两种文件类型:1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile...
分类:
其他好文 时间:
2015-05-21 18:56:10
阅读次数:
146
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括上述提出的两种文件类型: 1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装...
分类:
其他好文 时间:
2015-05-21 17:36:29
阅读次数:
236
类别 名称 官网 备注 查询引擎 Phoenix http://phoenix.incubator.apache.org/ Salesforce公司出品,Apache?HBase之上的一个SQL中间层,完全使用Java编写 Stinger http://hortonworks.com/labs/stinger/ http://...
分类:
其他好文 时间:
2015-05-21 12:58:31
阅读次数:
258
最近需要将mysql的数据整合到HBase中,原本使用MapReduce,自己制作job将mysql的数据导入,查阅资料过程中,发现了开源工具sqoop(关系性数据库与HDFS,HBASE,HIVE等)互相导入的工具,于是准备尝试使用,看是否能够满足目前数据转移的需求。sqoop import --...
分类:
数据库 时间:
2015-05-20 20:06:47
阅读次数:
281
在win上的eclipse进行配置hbase,然后编写一个简单的创建表的操作,使用ant的build.xml进行运行报错:[sshexec]Connectingto192.168.60.111:22[sshexec]cmd:/opt/hadoop/bin/hadoopjar/home/hadoop_jar/HbaseApp1.jarhbasetest.HbaseApp1[sshexec]Exceptioninthread"main"[sshe..
分类:
系统相关 时间:
2015-05-20 15:09:27
阅读次数:
179
在win上的eclipse进行配置hbase,然后编写一个简单的创建表的操作,使用ant的build.xml进行运行报错:[sshexec]Connectingto192.168.60.111:22[sshexec]cmd:/opt/hadoop/bin/hadoopjar/home/hadoop_jar/HbaseApp1.jarhbasetest.HbaseApp1[sshexec]Exceptioninthread"main"[sshe..
分类:
系统相关 时间:
2015-05-20 15:07:17
阅读次数:
197
在过去的架构选型及实际使用中,NoSQL数据库当然是必不可少的一部分。分别使用了Cassandra,MongoDB,Redis,HBase这几款有代表性的NoSQL数据库 1,Cassandra: Cassandra从安装配置,到使用,负载平衡机制等等,无疑是这些新兴的NoSQL中最方便使用的一个(...
分类:
数据库 时间:
2015-05-20 14:44:47
阅读次数:
220
今天刚安装好了hbase,通过Secure CRT登录hbase shell,敲入错误命令无法使用删除键(Backspace或是Ctrl+Backspace都不管用)删除,后来在终端-->仿真下选择 Linux问题解决,设置如下:删除键使用Ctrl+BackSpace
分类:
系统相关 时间:
2015-05-20 09:28:55
阅读次数:
219