基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍...
分类:
其他好文 时间:
2014-11-05 10:55:34
阅读次数:
182
引言
通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能,下面简单记录下关键步骤。
bulkload的详细情况请参见官网文档。
过程
第一步:每台机器执行
ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml...
分类:
其他好文 时间:
2014-11-04 19:48:20
阅读次数:
283
:-1: error: symbol(s) not found for architecture x86_64:-1: error: linker command failed with exit code 1 (use -v to see invocation)在使用glut库的时候,会报以上错误...
分类:
系统相关 时间:
2014-11-04 16:39:15
阅读次数:
345
搭建SolrCloud ,zookeeper ,HDFS ,IK中文分词器,注意事项...
分类:
其他好文 时间:
2014-11-04 15:08:28
阅读次数:
628
最近使用的一个集群hp1,因为维护集群的人不给力,节点总是过一段时间就掉一两个。今天发现重启hadoop时,HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉,所以写了一个小脚本,在这里记录一下,以后方便直接拿来使用。...
分类:
系统相关 时间:
2014-11-04 11:01:55
阅读次数:
163
hadoop 常用配置项——转载:core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/...
分类:
其他好文 时间:
2014-11-03 22:08:11
阅读次数:
289
PowerPC 体系结构规范(PowerPC Architecture Specification)发布于 1993 年,它是一个 64位规范 ( 也包含 32 位子集 )。几乎所有常规可用的 PowerPC(除了新型号 IBM
RS/6000 和所有IBM pSeries 高端服务器)都是 32 位的。
PowerPC 处理器有 32 个(32 位或 64 位)GPR(通用寄存器)以及诸如...
分类:
其他好文 时间:
2014-11-03 19:23:31
阅读次数:
1618
在分布式文件系统HDFS中,DataNode节点被用来存储文件的数据,确切的来说就是HDFS中的每一个文件是分块来存储的,一个文件可能有多个数据块,每一个数据块有多个副本,而且数据块的不同副本存储在不同的DataNode节点上,所以如果把整个HDFS集群看做一台机器的话,那么每一个DataNode节...
分类:
其他好文 时间:
2014-11-03 19:15:01
阅读次数:
229
设计一种100%可用性服务的架构--适用于任何系统(B/S,C/S)[中英文版本]
-- How to design an architecture which have 100 percent availability service?...
分类:
Web程序 时间:
2014-11-03 17:46:54
阅读次数:
235
结束historyserver的命令如下所示: 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果...
分类:
其他好文 时间:
2014-11-03 16:38:12
阅读次数:
215