最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:53:54
阅读次数：
174
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:51:53
阅读次数：
161
centos命令进入root用户su root1、 复制2、解压tar.gztar zxvf xxx.tar.gz3、文件操作－创建文件夹mkdir mkdir /usr/mkdir 文件名－移动文件mv [options] 源文件或目录 目标文件或目录—删除一个文件rm —删除一个文件夹 rm /...
分类：
Web程序 时间：
2015-04-15 21:22:43
阅读次数：
190
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume...
分类：
Web程序 时间：
2015-04-14 19:35:33
阅读次数：
154
function is_mobile() { $user_agent = $_SERVER[‘HTTP_USER_AGENT‘]; $mobile_agents = Array("240x320","acer","acoon","acs-","abacho","ahong","airness","alcatel","amoi","android","anywhereyougo.com","a...
分类：
移动开发 时间：
2015-04-13 23:09:34
阅读次数：
400
##下载解压##
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz
[grid@hadoop4 ~]$ tar -zxf apache-flume-1.5.2-bin.tar.gz
[grid@hadoop4 ~]$ mv apache-flu...
分类：
Web程序 时间：
2015-04-12 21:13:34
阅读次数：
151
项目需要C++代码与flume对接，进而将日志写入HDFS。flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。一怒之下，重写代码了，使用C+...
分类：
编程语言 时间：
2015-04-09 19:15:42
阅读次数：
161
基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：
https://github.com/cwtree/flume-filemonitor-source
望各位不吝指教！...
分类：
Web程序 时间：
2015-04-09 15:32:12
阅读次数：
209
