HBase 系统架构图 组成部件说明 Client： 使用HBase
RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作
Client与HRegionServer进行数据读写类操作 ...
分类：
其他好文 时间：
2014-05-10 01:35:29
阅读次数：
310
什么是缓存？web应用程序可被多个用户访问。当用户少，负载低时，可提供快速的访问。当负载成倍增加时，响应就慢下来了。服务器响应慢是高负载网站最常见的问题。为了解决这个问题，我们常采用升级硬件配置，负载均衡，增加带宽等措施。但下载并不是响应慢的唯一原因。我们需要提供一种加快数据访问的机制，进而提升网站...
分类：
其他好文 时间：
2014-05-10 01:34:58
阅读次数：
365
查看机器可用内存: free -m
我们通过free命令查看机器空闲内存时，会发现free的值很小。这主要是因为，在linux中有这么一种思想，内存不用白不用，因此它尽可能的cache和buffer一些数据，以方便下次使用。但实际上这些内存也是可以立刻拿来使用的。
所以真实的内存情况是 -/+ bu...
分类：
系统相关 时间：
2014-05-05 11:40:43
阅读次数：
459
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。
每个sink包括自己定制的，都extends AbstractSink implements Configurable。
一、首先是configure(Context context)方法。该...
分类：
其他好文 时间：
2014-05-05 10:55:40
阅读次数：
462
下面介绍Hbase的缓存机制：
a.HBase在读取时，会以Block为单位进行cache，用来提升读的性能
b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小12...
分类：
其他好文 时间：
2014-05-05 09:43:42
阅读次数：
439
为什么要用Hbase-
Hbase的诞生是因为现有的关系型数据库已经无法在硬件上满足疯狂增长的数据了，而且因为需要实时的数据提取Memcached也无法满足-
Hbase适合于无结构或半结构化数据，适合于schema变动的情况- Hbase天生适合以时间轴做查询 Werner Vogels，可以关注...
分类：
其他好文 时间：
2014-05-05 09:42:41
阅读次数：
560
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook
Message系统在HBase online storage场...
分类：
其他好文 时间：
2014-05-04 11:08:29
阅读次数：
337
前段时间有一个业务需求，要在外网商品（TOPB2C）信息中加入联营自营识别的字段。但存在的一个问题是，商品信息和自营联营标示数据是两份数据；商品信息较大，是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join，将联营自营标识信息加入的商品信息中，最终生成我需要的数...
分类：
其他好文 时间：
2014-05-04 10:02:22
阅读次数：
565
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
2．2MySQL Server 系统架构总的来说，MySQL
可以看成是二层架构，第一层我们通常叫做SQL Layer，在MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的，包括权限判断，sql
解析，执行计划优化，query cache 的处理等等；第二层就是存储引擎层，我们通常叫...
分类：
数据库 时间：
2014-05-03 22:43:14
阅读次数：
491
