Flume环境搭建_五种案例 A simple example <!--more--> Here, we give an example configuration file, describing a single-node Flume deployment. This configuration ...
分类：
Web程序 时间：
2017-03-12 18:15:18
阅读次数：
251
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道，连接source和sink Sink flume agent收集到数据后，数据 ...
分类：
Web程序 时间：
2017-03-12 16:44:36
阅读次数：
215
下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl ...
分类：
Web程序 时间：
2017-03-09 21:44:32
阅读次数：
174
一、elasticsearch单机环境搭建 注：elasticsearch对JDK版本这有严格的要求，一般建议安装Java: openjdk version "1.8.0_xx" 配置ElasticSearch 编辑ES的配置文件，修改以下配置项： 启动ES： 打开页面IP:9200，将会看到以下内 ...
分类：
Web程序 时间：
2017-03-08 00:51:22
阅读次数：
640
本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong ...
分类：
数据库 时间：
2017-03-07 22:33:25
阅读次数：
234
在分布式系统中，各个机器都有程序运行的本地日志，有时为了分析需求，不得不这些分散的日志汇总需求，相信很多人会选择 Rsync，Scp 之类， 但它们的实时性不强，而且也会带来名字冲突的问题。扩展性差强人意，一点也不优雅。 现实中，我们就碰到了这样的需求：实时汇总线上多台服务器的 Nginx 日志。F ...
分类：
Web程序 时间：
2017-03-06 13:40:37
阅读次数：
1045
数据开发相关的经验不是很多，目前已自己对这块工作的理解，先初步整理下。 所谓数据开发是面向数据仓库的开发，所以结合一般数据仓库的架构主要有几个方面的生态内容。 1、数据采集 mysql等关系型数据的搜集 分布式日志搜集（flume、kafka） 2、数据存储 hdfs 3、数据计算（离线、实时） m ...
分类：
其他好文 时间：
2017-03-05 17:42:13
阅读次数：
156
下载客户端http://www.zabbix.com/downloads/3.0.4/zabbix_agents_3.0.4.win.zip在c盘里创建一个zabbix文件夹，便于后面的管理。把下载的zabbix压缩包解压到zabbix文件夹里。有两个文件binconf。bin目录里有32位和64位两个文件夹、根据自己的系统选择版本（这里是64位系统）、..
1.下载zabbix的windows客户端zabbix-agenthttp://www.zabbix.com/downloads/2.2.0/zabbix_agents_2.2.0.win.zip2.解压下载的文件，拷贝bin目录下的*.exe到c:\zabbix目录下，conf下的配置文件agent.conf拷贝到c盘的根目录。3.修改配置文件agent.conf:修改服务端的ip地址server=1..
Kafka 由LinkedIn于2010年12月(https://thenewstack.io/streaming-data-at-linkedin-apache-kafka-reaches-1-1-trillion-messages-per-day/)开源出来一个消息的发布/订阅系统，用scala ...
分类：
Web程序 时间：
2017-02-25 19:56:27
阅读次数：
479
