名词解释： 1、netcat：通过网络端口获取数据，source的实现类 2、logger：将数据显示到控制台，sink的实现类 3、memory： ，channel的实现类 4、capacity：是指channel的最大容量 5、spooldir：本地文件目录（文件夹）用来读取数据（文件） 6、f ...
分类：
Web程序 时间：
2018-10-27 00:20:10
阅读次数：
209
初步了解zabbix：Zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。被监控对象只要支持SNMP协议或者运行zabbix_agents代理程序即可。agent端：主机通过安装agent方式采集数据。server端：通过收集agent发送的数据，写
分类：
其他好文 时间：
2018-10-27 00:04:03
阅读次数：
237
Flume 1. 前言 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2018-10-26 11:25:46
阅读次数：
330
Underwater Sensor Networks with Mobile Agents: Experience from the Field Source: LNICST 2013 论文是来自两个研究项目的实验结果报告，分别是UAN和Thesaurus. UAN实现复合层的通讯机制，包括CAMA ...
分类：
其他好文 时间：
2018-10-24 10:45:22
阅读次数：
192
模拟编写了一个Flume1.7中TAILDIR的功能实现，通过手动控制文件的读取位置来达到对文件的读写，防止flume挂了之后重复消费的情况。以下是代码实现，仅做参考，生产上直接用TAILDIR读取文件内容即可，若要读取一个目录下的子目录，可使用github上以实现的这个项目包：https://github.com/qwurey/flume-source-taildir-recursivepack
分类：
Web程序 时间：
2018-10-23 16:22:47
阅读次数：
139
一，准备环境 CentOs7，jdk1.7，hadoop -2.6.1， apache-flume-1.6.0-bin.tar.gz 二，编写配置文件 在/home/flume/conf的目录下 创建 配置文件 在/home下创建data文件夹 三，运行程序 在/home/flume 目录下运行代码 ...
分类：
Web程序 时间：
2018-10-20 00:53:06
阅读次数：
202
kafka+zookeeper搭建见文章flume安装：1、下载http://101.96.8.157/www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2、安装-下图新建数据库和表3、配置新增conf/mysql-flume.conf[root@node191apache-flume-1.8.0-bin]
分类：
数据库 时间：
2018-10-15 20:32:13
阅读次数：
590
1. Spark Streaming的工作机制 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets， 从数 ...
分类：
其他好文 时间：
2018-10-14 14:15:29
阅读次数：
206
一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka ...
分类：
其他好文 时间：
2018-10-14 00:32:24
阅读次数：
166
CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试 ...
分类：
其他好文 时间：
2018-10-13 12:56:36
阅读次数：
319
