注： 环境： sklin-linux Flume的下载方式： 下载完成之后，使用tar进行解压 进入flume的conf配置包中，使用命令touch flume.conf，然后cp flume-conf.properties.template flume.conf 使vim/gedit flume. ...
分类：
Web程序 时间：
2016-07-11 19:12:53
阅读次数：
187
1、配置flume 二、配置kafka 1、创建一个topic 2、使用kafka的监控来查看 ...
分类：
Web程序 时间：
2016-07-11 17:02:41
阅读次数：
425
1 .背景 flume是由鼎鼎大名的cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程 ...
分类：
Web程序 时间：
2016-07-10 21:27:04
阅读次数：
211
查找进程： ps -aux | grep flume / netstat -anop | grep 8080(端口号) 常规杀进程： kill pid 查看僵死进程： ps -A -o stat,ppid,pid,cmd | grep -e '^[Zz]' 杀掉 kill -9 pid 自动查杀僵死 ...
分类：
系统相关 时间：
2016-07-07 12:45:27
阅读次数：
189
flume提供了一个度量框架，可以通过http的方式进行展现，当启动agent的时候通过传递参数 -Dflume.monitoring.type=http参数给flume agent: 这样flume会在5653端口上启动一个HTTP服务器，访问如下地址，将返回JSON格式的flume相关指标参数: ...
分类：
Web程序 时间：
2016-07-07 12:43:56
阅读次数：
626
需要学习和掌握的知识 1. 后端 1.1 服务器 1.1.1 linux命令 1.1.2 nginx 1.1.3 jetty 1.1.4 docker 1.1.5 ElasticSearch 1.2 大数据框架 1.2.1 hadoop 1.2.2 Yarn 1.2.3 flume 1.2.4 St... ...
分类：
其他好文 时间：
2016-07-06 21:43:57
阅读次数：
141
输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源
（1）基本源（Basic sources）：这些源在StreamingContext API中直接可用。例如文件系统、套接字连接、
Akka的actor等。
（2）高级源（Advanced sources）：这些源包括Kafka,Flume,Kinesis,Twitter等等。
1、基本数据...
分类：
其他好文 时间：
2016-07-06 10:24:06
阅读次数：
863
由于经常会使用到Flume的一些channel,source,sink，于是为了方便将这些channel,source,sink汇总出来，也共大家访问。 Component Interface Type Alias Implementation Class *.Channel memory *.ch ...
分类：
Web程序 时间：
2016-07-05 20:32:06
阅读次数：
224
sink groups使多个不同的sink组成一个整体，而sink processor提供了组内负载均衡和故障转移的功能。 有三种sink processor :default sink processor,failover sink processor,Load balancing Sink Pr ...
分类：
Web程序 时间：
2016-07-05 17:12:41
阅读次数：
285
HDFS：分布式文件系统 MapReduce：分布式计算框架 Sqoop：数据库ETL工具 Flume：日志收集工具 Mahout：数据挖掘库 Hive：数据仓库 Pig：数据流处理 HBase：实时分布式数据库 Zookeeper：分布式协作服务 ...
分类：
其他好文 时间：
2016-07-01 20:14:23
阅读次数：
166
