分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived+Nginx+Proxy(三重负载)JEESZUI基于Bootstrap4简洁、直观、强悍最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。为所有开发者
分类：
其他好文 时间：
2018-10-29 14:11:43
阅读次数：
124
分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived+Nginx+Proxy(三重负载)JEESZUI基于Bootstrap4简洁、直观、强悍最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。为所有开发者
分类：
其他好文 时间：
2018-10-29 14:10:17
阅读次数：
175
1、概述 Flume：收集、聚集，移动大量日志数据到指定位置 2、核心组件 基本单位：agent source：收集 channel：聚集 sink：发送 3、一般写Flume配置文件能解决大部分问题 ...
分类：
Web程序 时间：
2018-10-27 18:43:14
阅读次数：
182
名词解释： 1、netcat：通过网络端口获取数据，source的实现类 2、logger：将数据显示到控制台，sink的实现类 3、memory： ，channel的实现类 4、capacity：是指channel的最大容量 5、spooldir：本地文件目录（文件夹）用来读取数据（文件） 6、f ...
分类：
Web程序 时间：
2018-10-27 00:20:10
阅读次数：
209
Flume 1. 前言 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2018-10-26 11:25:46
阅读次数：
330
模拟编写了一个Flume1.7中TAILDIR的功能实现，通过手动控制文件的读取位置来达到对文件的读写，防止flume挂了之后重复消费的情况。以下是代码实现，仅做参考，生产上直接用TAILDIR读取文件内容即可，若要读取一个目录下的子目录，可使用github上以实现的这个项目包：https://github.com/qwurey/flume-source-taildir-recursivepack
分类：
Web程序 时间：
2018-10-23 16:22:47
阅读次数：
139
一，准备环境 CentOs7，jdk1.7，hadoop -2.6.1， apache-flume-1.6.0-bin.tar.gz 二，编写配置文件 在/home/flume/conf的目录下 创建 配置文件 在/home下创建data文件夹 三，运行程序 在/home/flume 目录下运行代码 ...
分类：
Web程序 时间：
2018-10-20 00:53:06
阅读次数：
202
kafka+zookeeper搭建见文章flume安装：1、下载http://101.96.8.157/www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2、安装-下图新建数据库和表3、配置新增conf/mysql-flume.conf[root@node191apache-flume-1.8.0-bin]
分类：
数据库 时间：
2018-10-15 20:32:13
阅读次数：
590
1. Spark Streaming的工作机制 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets， 从数 ...
分类：
其他好文 时间：
2018-10-14 14:15:29
阅读次数：
206
一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka ...
分类：
其他好文 时间：
2018-10-14 00:32:24
阅读次数：
166
