日志收集分析系统架构
一．部署架构
日志收集系统一般包括如图所示三层。Web服务器层，日志收集层，日志存储层。Web服务器层是日志的来源，一般部署web应用供用户访问，产生日志，该节点上一般需要部署日志收集程序的agent。日志收集层手机web服务器产生的日志传输给日志存储层，存储层一般使用分布式文件系统HDFS,日志可以存储在hdfs上或者hbase上。
以scribe作...
分类：
其他好文 时间：
2015-02-23 17:55:28
阅读次数：
265
HDFS: hadoop distributed file system 它抽象了整个集群的存储资源，可以存放大文件。 文件采用分块存储复制的设计。块的默认大小是64M。 流式数据访问，一次写入（现支持append），多次读取。 不适合的方面： 低延迟的数据访问 解决方案：HBASE 大量的小文件 ...
分类：
编程语言 时间：
2015-02-21 14:20:34
阅读次数：
242
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_s...
分类：
其他好文 时间：
2015-02-19 10:44:36
阅读次数：
220
一、HBase(NoSQL)的数据模型
1.1 表(table)，是存储管理数据的。
1.2 行键(row key)，类似于MySQL中的主键，行键是HBase表天然自带的，创建表时不需要指定
1.3 列族(column family)，列的集合。
一张表中有多个行健，一个行健读取出来的是一条记录，列族和MySQL中的列差不多，但是它是列的集合
HBase中列族是需要在定义表时指定的，列...
分类：
其他好文 时间：
2015-02-13 21:15:33
阅读次数：
217
1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regi...
分类：
其他好文 时间：
2015-02-13 11:25:04
阅读次数：
93
在工作中，有时处需要处理些数据，用java比较方面，比如hbase，但是需要在shell中执行，这样的话，额外的包打进去就比较费劲了，用Maven进行打包非常方便。首先在项目中pop.xml写入需要的jar包，以及需要运行的类，如下所示，<dependency><groupId>org.apache.hbas..
分类：
编程语言 时间：
2015-02-12 14:10:59
阅读次数：
213
From:http://www.itnose.net/detail/6065872.html# 需要软件Hadoop-2.2.0（目前Apache官网最新的Stable版本）Hbase-0.96.2（这里就用这个版本，跟Hadoop-2.2.0是配套的，不用覆盖jar包什么的）Hive-0.13.1...
分类：
其他好文 时间：
2015-02-12 12:20:46
阅读次数：
255
首先下载与hadoop-1.1.2对应的HBase版本，这里下载的是HBase0.96.2.如图。这个版本已经包含了hadoop-core-1.1.2.jar包，即不用做覆盖核心jar包的一步。然后对hbase进行配置。具体有hbase-env.sh以及hbase-site.xml如图。接下来即可启...
分类：
其他好文 时间：
2015-02-12 12:09:39
阅读次数：
113
经典解释： http://www.cnblogs.com/skyme/archive/2012/07/25/2608310.html
HBase：非关系型数据库；分布式数据库；基于HDFS为最小存储单元，属于文件存储。列存储。（关系型数据库属于 行存储）
NoSql：not only sql 非关系型数据
列存储：
http://baike.baidu.com/link?ur...
分类：
其他好文 时间：
2015-02-11 18:40:36
阅读次数：
163
1 书面作业1：举例子说明HBase相对简单... 31.1 书面作业题目1. 31.2 回答... 32 书面作业2：设计HBase存储站内短信... 32.1 书面作业题目2. 32.2 回答... 31书面作业1：举例子说明HBase相对简单1.1 书面作业题目1请举出一例子，使用关系型数据库...
分类：
其他好文 时间：
2015-02-11 18:30:45
阅读次数：
140
