Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。
分类：
其他好文 时间：
2014-07-22 22:54:13
阅读次数：
243
HBase是面向列的分布式的数据库，和传统的关系型数据库有很大的不同：物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念： 表：HBase将数据组织到自己的HTable表中，这个表是根据列族(colomn family)在物理上保存数据的，每个列族都有自己...
分类：
其他好文 时间：
2014-07-21 14:22:20
阅读次数：
1257
默认情况下，innodb的参数设置的非常小，在生产环境中远远不够用 比如最重要的两个参数 innodb_buffer_pool_size 默认是8M innodb_flush_logs_at_trx_commit 默认设置的是1 也就是同步刷新log(可以这么理解) inn...
分类：
数据库 时间：
2014-07-21 10:37:36
阅读次数：
343
Lucene将索引文档的过程设计成两个阶段，写入内存阶段和写入硬盘阶段。在写入内存阶段，Lucene通过IndexChain把document分解并把相关信息存储到内存中,等到满足flush条件(内存容量或者文档个数积累到临界值),就通过IndexChain把内存中的数据写入硬盘。IndexChain是Lucene索引文..
分类：
其他好文 时间：
2014-07-21 01:48:24
阅读次数：
541
今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下：
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeC...
分类：
其他好文 时间：
2014-07-18 22:35:16
阅读次数：
323
安装环境：
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备：
1.
Jdk环境已安装：版本为1.6以上
2.
hadoop环境已安装：完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类：
其他好文 时间：
2014-07-18 22:08:46
阅读次数：
441
【甘道夫】HBase基本数据操作详解【完整版，绝对精品】...
分类：
其他好文 时间：
2014-07-18 21:39:39
阅读次数：
284
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入到HBase，但从HBase直接导入mysq...
分类：
数据库 时间：
2014-07-18 20:00:07
阅读次数：
482
1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常，进程如下：[root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNa...
分类：
其他好文 时间：
2014-07-17 13:02:12
阅读次数：
268
最近的项目需要使用Hbase做实时查询，由于Hbase只支持一级索引，也就是使用rowkey作为索引查询，所以对于多条件筛选查询的支持不够，在不建立二级索引的情况下，只能使用Hbase API中提供的各种filter过滤器进行筛选，感觉查询效率不太理想，于是考虑建立二级索引的方案。 经过goo...
分类：
其他好文 时间：
2014-07-17 00:53:25
阅读次数：
238
