Kafka+Storm+HDFS整合实践本文导读:1 前言2 Kafka安装配置3 Storm安装配置4 整合Kafka+Storm5 整合Storm+HDFS6 整合Kafka+Storm+HDFS7 参考链接
分类:
其他好文 时间:
2015-04-08 16:21:02
阅读次数:
127
这个包主要是与Kafka度量相关的。一、KafkaTimer.scala对代码块的运行进行计时。仅提供一个方法: timer——在运行传入函数f的同时为期计时二、KafkaMetricsConfig.scala指定reporter类,以逗号分隔的reporter类,比如kafka.metrics.K...
分类:
其他好文 时间:
2015-04-08 10:38:22
阅读次数:
138
kafka.network包主要为kafka提供网络服务,通常不包含具体的逻辑,都是一些最基本的网络服务组件。其中比较重要的是Receive、Send和Handler。Receive和Send封装了底层的入站(inbound)和出站(outbound)字节传输请求,而Handler在此二者间做了一个...
分类:
Web程序 时间:
2015-04-08 09:07:36
阅读次数:
211
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程:ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址:Resource..
分类:
其他好文 时间:
2015-04-07 19:59:25
阅读次数:
305
HDFS的Shell操作与管理6.1启动HDFSStep01:格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明:namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID:bin/hdfsnamenode–format–clusteridyarn-clusterStep02:启动Nam..
分类:
系统相关 时间:
2015-04-07 19:58:53
阅读次数:
326
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍:http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类:
Web程序 时间:
2015-04-07 19:58:46
阅读次数:
183
2.1下载地址1、ApacheHadoop(100%永久开源)下载地址:-http://hadoop.apache.org/releases.html-SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH(ClouderaDistributedHadoop,100%永久开源)下载地址:-http://archive.cloudera.com/cdh4/cdh/4/(是ta..
分类:
其他好文 时间:
2015-04-07 19:58:25
阅读次数:
363
分布式消息系统:KafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要...
分类:
其他好文 时间:
2015-04-03 12:57:02
阅读次数:
199
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务进行分析,如果使用的是其他组件,Flume事务具体的处理方式将会不同。一般情况下,用MemoryChannel就好了,我们公司用的就是这个,FileChannel速度慢,虽然提供日志级别...
分类:
Web程序 时间:
2015-04-01 17:21:22
阅读次数:
194
初一看common包的代码吓了一跳,这么多scala文件!后面仔细一看大部分都是Kafka自定义的Exception类,简直可以改称为kafka.exceptions包了。由于那些异常类的名称通常都定义得很直观,笔者就不在一一赘述了。现在我们说说common包中其他的代码。一、AppInfo.sca...
分类:
其他好文 时间:
2015-04-01 13:14:20
阅读次数:
119