1. 开发环境1.1. 软件包下载1.1.1. JDK下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装到 D:\GreenSoftware\Java\Java8X64\j... ...
分类：
Web程序 时间：
2018-05-04 13:58:23
阅读次数：
503
1.首先你需要知道flume的http监控如果启动 请参考博文 Flume的监控参数 即在 http://localhost:3000/metrics 可以访问到如下内容 2.在open-falcon中安装flume监控插件，参考官方文档 http://book.open-falcon.org/zh ...
分类：
Web程序 时间：
2018-05-02 13:08:22
阅读次数：
519
接到个小需求，将mysql的部分数据增量同步到es，但是不仅仅是使用canal而已，整体的流程是mysql canal flume kafka es，说难倒也不难，只是做起来碰到的坑实在太多，特别是中间套了那么多中间件，出了故障找起来真的特别麻烦。 先来了解一下MySQL的主从备份： 从上层来看，复 ...
分类：
其他好文 时间：
2018-04-29 16:24:39
阅读次数：
398
Spark Streaming 1、课程目标 1、掌握sparkStreaming底层原理和架构 2、掌握DStream的原理 3、掌握sparkStreaming与flume整合 4、掌握sparkStreaming与kafka整合 1、掌握sparkStreaming底层原理和架构 2、掌握DS ...
分类：
其他好文 时间：
2018-04-29 01:14:55
阅读次数：
267
首先是关于flume的基础介绍 组件名称 功能介绍 Agent代理 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。 Client客户端 生产数据，运行在一个独立的线程。 Source源 从Client收集数据，传递给Channe ...
分类：
Web程序 时间：
2018-04-28 19:25:54
阅读次数：
336
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 ...
分类：
Web程序 时间：
2018-04-27 19:59:48
阅读次数：
277
SinkProcessor： ============================ FailOver： Load balancing ： //负载均衡处理器 //round_robin 轮询 1-2-3-1-2-3-... //random 随机 1-3-2-3-1-... ... ...
分类：
Web程序 时间：
2018-04-25 20:09:18
阅读次数：
198
Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许... ...
分类：
Web程序 时间：
2018-04-25 18:58:11
阅读次数：
351
一、hadoop的概念 二、hadoop的发展历史 三、hadoop1.x的生态系统 HBase：实时分布式数据库 相当于关系型数据库，数据放在文件中，文件就放在HDFS中。因此HBase是基于HDFS的关系型数据库。实时性：延迟非常低，实时性高。 举栗：在近18亿条数据的表中查询1万条数据仅需1. ...
分类：
其他好文 时间：
2018-04-24 17:47:33
阅读次数：
271
概览 1- flume简介 2- 系统要求 3- 安装和配置 4- 启动和测试 一、flume的简介 官网地址： http://flume.apache.org/ 1- 概述 Flume是一种分布式，可靠且可用的服务，用于高效地收集，汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它 ...
分类：
Web程序 时间：
2018-04-22 10:41:27
阅读次数：
318
