学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析 ...
分类：
其他好文 时间：
2017-06-23 19:35:51
阅读次数：
182
搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下 创建/ap... ...
分类：
Web程序 时间：
2017-06-22 12:02:47
阅读次数：
323
start nginx 开始ngnix的命令 nginx -s reload 重新加载 nginx -s stop 关闭ngnix的命令 nginx -t 配置文件ngnix.conf正确性判断的命令 ...
分类：
其他好文 时间：
2017-06-20 22:32:34
阅读次数：
164
分布式 分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) 欢迎大家一起学习研究相关... ...
分类：
编程语言 时间：
2017-06-19 15:16:41
阅读次数：
415
1.Flume相关：(1)window环境上flume启动命令： D:\apache-flume-1.6.0-bin\bin>路径下，先执行： java -Dflume.root.logger=INFO,console 再执行： flume-ng.cmd agent -conf ../conf -c ...
分类：
其他好文 时间：
2017-06-15 20:25:37
阅读次数：
161
Flume+Kafka整合一、准备工作准备5台内网服务器创建Zookeeper和Kafka集群服务器地址：192.168.2.240192.168.2.241192.168.2.242192.168.2.243192.168.2.244服务器系统：Centos6.564位下载安装包Zookeeper：http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6...
分类：
Web程序 时间：
2017-06-12 22:40:05
阅读次数：
277
下载apache-flume-1.7.0-bin.tar.gz，用 解压，在/etc/profile文件中增加设置： 修改$FLUME_HOME/conf/下的两个文件，在flume-env.sh中增加JAVA_HOME： 最重要的，修改flume-conf.properties文件： 以上文件设置 ...
分类：
Web程序 时间：
2017-06-10 23:29:03
阅读次数：
236
storm是一条一条数据处理，spark是一批数据处理的，storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的，fileBeat是轻量级的，对性能消化不大，而flume比较消化性能。 2、fileBeat会实时监控前端机，然后把数据实时写到Kafka集群里面。 3 ...
分类：
其他好文 时间：
2017-06-09 11:07:26
阅读次数：
260
1. flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核 ...
分类：
Web程序 时间：
2017-06-07 12:36:55
阅读次数：
211
摘要:摘要:SSH++shiro+restful+bootstrapjava架构java企业架构springmvc+mybatis+KafKa+Flume+Zookeeperj2ee分布式架构dubbo+springmvc+mybatis+ehcache+redis分布式架构分布式消息中间件：springmvc+mybatis+KafKa+Flume+Zookeeper分布式缓存：Redisspringmvc+mybatis+分布式..
分类：
编程语言 时间：
2017-06-02 01:02:24
阅读次数：
270
