培训大数据架构开发、挖掘分析！从零基础到高级，一对一培训！[技术QQ：2937765541]---------------------------------------------------------------------------------------------------------------课程体系：获取视频资料和培训解答技术支持地址课程展示(大数据技术很广..
分类：
Web程序 时间：
2016-04-28 12:37:46
阅读次数：
275
培训大数据架构开发、挖掘分析！ 从零基础到高级，一对一培训！[技术QQ：2937765541] 课程体系： 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 ...
分类：
数据库 时间：
2016-04-28 00:18:47
阅读次数：
247
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-04-26 20:08:10
阅读次数：
223
本期内容：
1. Flume on HDFS案例回顾
2. Flume推送数据到Spark Streaming实战
3. 原理绘图剖析
1. Flume on HDFS案例回顾
上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。
文件配置：
~/.bashrc:
export FLUME_HOME=/usr/lo...
分类：
Web程序 时间：
2016-04-26 20:07:34
阅读次数：
261
1. 错误提示 配置文件： 2. 解决方法 链接： http://serverfault.com/questions/690588/flume-error-log-while-using-filechannel 只要把配置文件中的关于channel配置checkpointDir和dataDir目录清 ...
分类：
Web程序 时间：
2016-04-26 17:30:55
阅读次数：
934
1. 错误所在 2. 解决方法 原因的inputCharset属性的默认值UTF-8,但是所读取的日志文件的字符集却是GBK,所以更改一下这个属性值就可以了 ...
分类：
Web程序 时间：
2016-04-26 14:10:34
阅读次数：
2241
背景 之前做日志收集模块时，用到flume。另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。而在我自己提出的原始日志采集方案中不适用消息队列时，有几个基本问题：1. 日志文件上传过程，有个基本的生产者-消费者问题；2. 另外系统崩溃时，数据 ...
分类：
其他好文 时间：
2016-04-26 09:28:55
阅读次数：
154
本期内容： 1. Flume on HDFS案例回顾 2. Flume推送数据到Spark Streaming实战 3. 原理绘图剖析 1. Flume on HDFS案例回顾 上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。 文件配置： ~/.bashrc: ...
分类：
Web程序 时间：
2016-04-26 02:04:54
阅读次数：
563
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 ...
分类：
Web程序 时间：
2016-04-26 00:28:52
阅读次数：
307
目前java应用日志收集都是采用日志框架(slf4j、apache commons logging)+日志系统（log4j、log4j2、LogBack、JUL等）的方式。而针对在分布式环境需要实时分析统计的日志，一般采用apache flume、facebook scribe等分布式日志收集系统。...
分类：
编程语言 时间：
2016-04-22 19:49:21
阅读次数：
409
