典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
简介：HStore存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个Stor...
分类：
其他好文 时间：
2015-01-13 17:42:11
阅读次数：
274
启动hbase的时候，可以设置export HBASE_MANAGES_ZK=true，让hbase使用自带的zk。当时，当启动的时候报错如下：starting master, logging to /home/wde/hbase/hbase/bin/../logs/hbase-wde-master...
分类：
其他好文 时间：
2015-01-13 15:41:01
阅读次数：
4848
Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)适合人群：中级课时数量：42课时用到技术：CDH4，Cloudera Manager，Hive，HBase，Sqoop涉及项目：电商业日志流量分析项目咨询qq：1840215592Clou...
分类：
其他好文 时间：
2015-01-13 14:03:03
阅读次数：
151
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
Web程序 时间：
2015-01-13 01:28:23
阅读次数：
278
在本文中的HBase术语:基于列:column-oriented行:row列组:column families列:column单元:cell理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么？首先HBase不同于一般的关系数据库,它是一个...
分类：
其他好文 时间：
2015-01-13 00:01:13
阅读次数：
486
http://blog.csdn.net/heyutao007/article/details/5766896BigTable是什么？Google的Paper对其作了充分的说明。字面上看就是一张大表，其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry（key & v...
分类：
其他好文 时间：
2015-01-12 23:53:04
阅读次数：
286
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> w...
分类：
系统相关 时间：
2015-01-12 23:52:44
阅读次数：
301
HBASE依托于Hadoop的HDFS作为存储基础，因此结构也很类似于Hadoop的Master-Slave模式，Hbase Master Server负责管理所有的HRegion Server，但Hbase Master Server本身并不存储HBASE中的任何数据。HBASE逻辑上的Tabl....
分类：
其他好文 时间：
2015-01-12 23:50:29
阅读次数：
299
环境：cdh5.1.0
方法1.
启用协处理器 Aggregation(Enable Coprocessor Aggregation)
我们有两个方法：1.启动全局aggregation，能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现，只需要添加如下代码：
hbase.coprocessor.user.region.classes
o...
分类：
其他好文 时间：
2015-01-12 19:18:46
阅读次数：
167
