spark笔记big dataspark 比较Hadoop生态圈：MapReduce Hive Storm Yarn Sqoop Flume HDFSSpark它会代替Hadoop:不能,可能会替代MR炒作 社区比较完善hadoop3.0作者：Doug cutting(hadoop以后也要走内存)S... ...
分类：
其他好文 时间：
2017-04-27 17:48:36
阅读次数：
242
1、首先需要下载zabbix_agents.rar文件 2、将zabbix_agents.rar解压到C:\下 3、根据你当前windows的版本选择64位还是32位的进行安装 4、更改配置文件\conf\zabbix_agentd.win.conf Server=192.168.244.155 L ...
日月的弯刀博客分类CDH(1)Cookie(1)Flume(2)GOF23设计模式HadoopHBase(4)Hibernate(1)Hive(1)html/css/javascriptJavaEE(18)JavaSE(5)JSP(2)JSTL(1)Kafka(1)MapReduce案例(3)MLl... ...
分类：
其他好文 时间：
2017-04-25 19:19:27
阅读次数：
191
简介： 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中，flume 的职责是收集数据，一般用作收集各种日志数据。 Source -> Channel -> Sink 这是一 ...
分类：
Web程序 时间：
2017-04-25 19:16:13
阅读次数：
329
准备工作： 1.apache官网下载flume 2.解压flume 3.修改flume-env.sh，配置JAVA_HOME NetCat采集Demo: 1.在conf中创建netcat-logger.conf 2.启动agent采集数据 -c conf 指定flume自身的配置文件所在目录 -f ...
分类：
Web程序 时间：
2017-04-24 15:48:13
阅读次数：
134
写在最前：转行大数据领域，没报班，自学试试，能坚持下来以后就好好做这行，不能就……！准备从现有这套it18的视屏残本开始……自学是痛苦的，发博客和大家分享下学习成果——也是监督自己，督促自己坚持学下去。 （教学视屏是it18做活动送的，视屏不是很全，课堂笔记和源码等课堂相关资料也未放出，但徐培成老师 ...
分类：
Web程序 时间：
2017-04-24 14:06:15
阅读次数：
216
日志通过flume导入elasticsearch集群见这里：flume 日志导入elasticsearch kibana介绍 kibana主页 kibana是一个功能强大的elasticsearch数据显示client，logstash已经内置了kibana。你也能够单独部署kibana，最新版的k ...
分类：
Web程序 时间：
2017-04-24 12:25:58
阅读次数：
558
写在最前：转行大数据领域，没报班，自学试试，能坚持下来以后就好好做这行，不能就……！准备从现有这套it18的视屏残本开始……自学是痛苦的，发博客和大家分享下学习成果——也是监督自己，督促自己坚持学下去。 （教学视屏是it18做活动送的，视屏不是很全，课堂笔记和源码等课堂相关资料也未放出，但徐培成老师 ...
分类：
Web程序 时间：
2017-04-23 13:48:38
阅读次数：
166
在做Hadoop数据挖掘项目的时候，我们第一步是源数据的获取，即把相应的数据放置到HDFS中，以便Hadoop进行计算，手动将文件上传到HDFS中，未免太费时费力，所以我们可以采取像Flume一样的框架，或者采用Shell脚本进行文件的上传。下面主要提供Shell脚本的大致写法，仅供参考，可以根据不 ...
分类：
Web程序 时间：
2017-04-19 09:52:43
阅读次数：
778
Hadoop日志分析系统启动脚本 #!/bin/bash #Flume日志数据的根文件夹 root_path=/flume #Mapreduce处理后的数据文件夹 process_path=/process #hive分区时间 partition=`date "+%Y-%m-%d"` #获取前一小时 ...
分类：
其他好文 时间：
2017-04-17 14:10:18
阅读次数：
175
