在做Hadoop数据挖掘项目的时候，我们第一步是源数据的获取，即把相应的数据放置到HDFS中，以便Hadoop进行计算，手动将文件上传到HDFS中，未免太费时费力，所以我们可以采取像Flume一样的框架，或者采用Shell脚本进行文件的上传。下面主要提供Shell脚本的大致写法，仅供参考，可以根据不 ...
分类：
Web程序 时间：
2017-04-19 09:52:43
阅读次数：
778
Hadoop日志分析系统启动脚本 #!/bin/bash #Flume日志数据的根文件夹 root_path=/flume #Mapreduce处理后的数据文件夹 process_path=/process #hive分区时间 partition=`date "+%Y-%m-%d"` #获取前一小时 ...
分类：
其他好文 时间：
2017-04-17 14:10:18
阅读次数：
175
作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。 后来，根据业务需要，我 ...
分类：
其他好文 时间：
2017-04-17 09:27:12
阅读次数：
137
Flume配置 。 flume生成的数据结构 <span style="font-size:18px;">"_index" : "logstash-2013.01.07", "_type" : "tms_jboss_syslog", "_id" : "a_M9X_0YSpmE7A_bEzIFiw", ...
分类：
Web程序 时间：
2017-04-16 11:14:52
阅读次数：
233
SOA服务框架：Dubbo、zookeeper、Proxy、RestFul缓存：Redis、ehcache分布式消息中间件：KafKa+Flume+ZookeeperKeepalived+Nginx+Proxy负载分布式文件：FastDFSSSO框架：CAS单点登录模块化管理：Maven数据库连接池：AlibabaDruid核心框架：Springframework安全框架：ApacheShir..
分类：
其他好文 时间：
2017-04-12 05:22:38
阅读次数：
318
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。通过agent接收日志，然后暂存起来，再发送到目的地。3.agent里面包含3个核心组件：source、channel、sink。 3 ...
分类：
Web程序 时间：
2017-04-10 13:08:21
阅读次数：
178
flume日志采集框架使用 本次学习使用的全部过程均不在集群上，均在本机环境，供学习参考 先决条件： flume-ng-1.6.0-cdh5.8.3.tar 去cloudrea下载flume框架，笔者是用cdh5.8.3的套餐 flume-ng-1.6.0-cdh5.8.3.tar 去cloudre ...
分类：
Web程序 时间：
2017-04-02 14:38:46
阅读次数：
242
package me; import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random; import org.apache.flume.Context; import org.apache.flu... ...
分类：
Web程序 时间：
2017-03-30 17:13:26
阅读次数：
488
package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; i... ...
分类：
数据库 时间：
2017-03-30 13:32:50
阅读次数：
344
[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner: { ...
分类：
编程语言 时间：
2017-03-30 13:30:07
阅读次数：
840
