使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ..
bbs.chinaacc.com/forum-2-26/topic-5640278.html
bbs.c...
分类：
Web程序 时间：
2016-05-09 07:05:38
阅读次数：
200
Spark学习八：spark streaming与flume和kafka集成标签（空格分隔）： SparkSpark学习八spark streaming与flume和kafka集成
一Kafka
二flume和kafka的集成
三kafka和spark streaming的集成方式一kafka推送
四kafka和spark streaming的集成方式一spark streaam主动获取
五spar...
分类：
Web程序 时间：
2016-05-09 07:03:05
阅读次数：
292
Spark学习七：spark streaming与flume集成标签（空格分隔）： Spark一，启动flumeflume-conf.properties文件agent002.sources = sources002
agent002.channels = channels002
agent002.sinks = sinks002
## define sources
agent002.sources...
分类：
Web程序 时间：
2016-05-09 07:02:06
阅读次数：
202
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ...
分类：
Web程序 时间：
2016-05-08 22:22:06
阅读次数：
394
flume 1.6安装1.解压 2.复制 cp conf/flume-conf.properties.template conf/flume.conf cp conf/flume-env.sh.template conf/flume-env.sh 3. 修改 JAVA_HOME flume-env. ...
分类：
Web程序 时间：
2016-05-07 16:18:08
阅读次数：
229
在Clojure中，几乎任何事物都是一个值(value)。
状态(State)就是一个identity在某个时间点的值。
对于identity，在Clojure中提供了四种引用类型。
Refs，对共享状态以coordinated，synchronous方式进行更改
Atoms， 对共享状态以uncoordinated，synchronous方式进行更改
Agents，对共享状态以asynchro...
分类：
其他好文 时间：
2016-05-07 09:35:17
阅读次数：
250
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
tar -zxvf apache-flume-1.5.0-bin.tar.gz -C 路径
bin 目录下只有flume-ng
conf 目录下有flume-conf.properties.template flume-env.sh.template log4j.properties
重命名 mv flume-env.sh.template flume-env.sh/etc/profile...
分类：
Web程序 时间：
2016-05-06 15:23:19
阅读次数：
202
# Flume test file# Listens via Avro RPC on port 41414 and dumps data received to the logagent.channels = ch-1agent.sources = src-1agent.sinks = sink-1 ...
分类：
Web程序 时间：
2016-05-05 19:24:54
阅读次数：
854
