HMaster:数据库总控节点HRegionServer:通常是一个物理节点即一台单独的计算机,一个HRegionServer包含多个HRegion,假如一个表有一亿行数据,那么可能会分散在一个RegionServer不同的Region中Store:每一个列族是一个store,当插入数据时候现在Me...
分类:
其他好文 时间:
2014-07-22 22:55:54
阅读次数:
163
Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。
分类:
其他好文 时间:
2014-07-22 22:54:13
阅读次数:
243
最近的项目需要使用Hbase做实时查询,由于Hbase只支持一级索引,也就是使用rowkey作为索引查询,所以对于多条件筛选查询的支持不够,在不建立二级索引的情况下,只能使用Hbase API中提供的各种filter过滤器进行筛选,感觉查询效率不太理想,于是考虑建立二级索引的方案。 经过goo...
分类:
其他好文 时间:
2014-07-17 00:53:25
阅读次数:
238
上文中介绍了定时器实现实时索引数据的解决方案,本文对其进行补充,介绍数据导入的配置1 配置RequestHandlerdb/db-data-config.xml2 配置数据源和数据实体包括全部导入和增量导入3 引入相关的文件,apache-solr-dataimporthandler-1.4.0.j...
分类:
其他好文 时间:
2014-07-16 19:14:31
阅读次数:
252
原文:http://tech.uc.cn/?p=634 对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。经过对MySQL innodb的一些性能测试...
分类:
数据库 时间:
2014-07-16 17:53:34
阅读次数:
285
HBase提供基于单行数据操作的原子性保证
即:对同一行的变更操作(包括针对一列/多列/多column family的操作),要么完全成功,要么完全失败,不会有其他状态...
分类:
其他好文 时间:
2014-07-15 12:46:13
阅读次数:
367
集群安装总览参见这里Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明。 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类:
其他好文 时间:
2014-07-14 23:08:46
阅读次数:
430
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.rm-ids ...
分类:
其他好文 时间:
2014-07-14 19:48:02
阅读次数:
359
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkload, 以及Hive Over .....
分类:
其他好文 时间:
2014-07-14 15:51:39
阅读次数:
288