Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce：计算系统Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架Pig：基于Hadoop的语言开发的HBase:NoSQL数据库Flume：一个收集处理Hadoop
分类：
其他好文 时间：
2016-02-29 19:52:51
阅读次数：
132
scribe、chukwa、kafka、flume日志系统对比 1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理 这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）
分类：
Web程序 时间：
2016-02-26 18:56:17
阅读次数：
238
今天在部署flume集群时，在启动collector服务器没报错，启动agent服务器报错： File Channel transaction capacity cannot be greater than the capacity of the channel capacity 查了下相关解决办法
分类：
Web程序 时间：
2016-02-26 11:51:15
阅读次数：
205
Flume使用方式要点1.*.conf文件agent1.sources=source1agent1.sinks=mysqlSinkagent1.channels=channel1#Describe/configuresource1agent1.sources.source1.type=execagent1.sources.source1.command=ftail.sh/data/phicomm-oa/tomcat-9999/logs/phicomm-oa.logagent1.sources...
分类：
Web程序 时间：
2016-02-25 17:10:30
阅读次数：
267
flume：从数据源拉取数据 kafka：主要起到缓冲从flume拉取多了的数据 sparkStream：对数据进行处理 一.flume拉取数据 1.源数据文件读取配置 在flume目录的conf目录下配置读取数据源的配置，配置一个test.properties文件，内容如下: a1.sources
分类：
Web程序 时间：
2016-02-22 13:40:06
阅读次数：
404
最近我在日志收集的功能中加入了对docker容器日志的支持。这篇文章简单谈谈策略选择和处理方式。...
分类：
Web程序 时间：
2016-02-07 13:40:58
阅读次数：
320
#!/bin/bash # author： xirong # date : 2015-02-06 ##### 搭建 flume 集群的脚本 # 注意： # 1. 需要 jdk7 环境，如果没有 Java 环境，请配置 # 2. 有 /home/work 目录，否则无法安装 # #### # 压缩文件
分类：
Web程序 时间：
2016-02-04 00:20:02
阅读次数：
182
了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。（由于条件有限，目前是单机上实现） flume-agent配置文件 #flume agent conf source_agent.sources = server source_agent.sinks = avroSink
分类：
Web程序 时间：
2016-02-03 18:14:45
阅读次数：
742
Flume传输数据事务分析 本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume传输数据的事务进行分析。假设使用的是其它组件。Flume事务详细的处理方式将会不同。普通情况下。用MemoryChannel就好了，我们公司用的就是这个。FileChann
分类：
Web程序 时间：
2016-01-30 09:38:24
阅读次数：
565
一、概述： 在实际的生产环境中，一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件： #agent1 name agent1.sources=source1 agent1.sinks=sink1 ag...
分类：
Web程序 时间：
2016-01-24 12:52:17
阅读次数：
161
