#!/bin/bash #echo "begin start flume..." path=/sysware/apache-flume-1.8.0-bin echo "flume home is :$path" process=$2 AgentName=$3 JAR="flume" Flumecon... ...
分类：
Web程序 时间：
2018-12-29 16:00:44
阅读次数：
1849
一、什么是大数据 四个特性（4个V） 数据量大(Volume) 大数据摩尔定律：IDC估测数据一直以50%的速度增长，到2020年，全球将拥有35ZB的数据量。（GB>TB>PB>EB>ZB） 快速化（Velocity） 处理速度快，1秒级决策 多样化（Varity） 数据类型繁多，大部分为非结构化 ...
分类：
其他好文 时间：
2018-12-24 22:35:05
阅读次数：
411
最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。先简要介绍一下测试环境 ...
分类：
Web程序 时间：
2018-12-22 12:37:32
阅读次数：
246
flume安装: https://blog.csdn.net/u011254180/article/details/80000763 1 运行机制 1、 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 2、每一个agent相当于一个数据传递员， ...
分类：
Web程序 时间：
2018-12-18 14:40:18
阅读次数：
257
Flume安装成功，环境变量配置成功后，开始进行agent配置文件设置。 1.agent配置文件（mysql+flume+Kafka） #利用Flume将MySQL表数据准实时抽取到Kafka a1.channels = c1 a1.sinks = k1 a1.sources = s1 #sourc ...
分类：
数据库 时间：
2018-12-13 19:14:48
阅读次数：
222
1.下载软件 在 /opt/deploy 下新建 flume 文件夹: # mkdir / opt/deploy / flume 到Flume官网上http://flume.apache.org/download.html下载软件包,例如： wget "http://mirrors.cnnic.cn ...
分类：
Web程序 时间：
2018-12-12 10:36:22
阅读次数：
239
一、flume整合 sparkStreaming 问题 1、如何实现 sparkStreaming 读取 flume 中的数据 sparkStreaming 整合 flume 有 2 中模式， 一种是拉模式， 一种是推模式。比较两种模式的特点， 如何部署。 推模式：Flume将数据 Push 推给 ...
分类：
其他好文 时间：
2018-12-11 11:13:43
阅读次数：
217
Flink视频教程_大数据Flink教程下载课程下载：https://pan.baidu.com/s/1LXm9W30jt4sufJvJakx5Dw提取码：mazb本课程将基于真实的电商分析系统构建，通过Flink实现真正的实时分析，该系统会从无到有一步一步带大家实现，让大家在实操中快速掌握Flink技术。课程所涵盖的知识点包括Flink、Kafka、Flume、Sqoop、SpringMVC、R
分类：
其他好文 时间：
2018-12-07 12:08:21
阅读次数：
324
Flink视频教程_大数据Flink教程下载课程下载：https://pan.baidu.com/s/1LXm9W30jt4sufJvJakx5Dw提取码：mazb本课程将基于真实的电商分析系统构建，通过Flink实现真正的实时分析，该系统会从无到有一步一步带大家实现，让大家在实操中快速掌握Flink技术。课程所涵盖的知识点包括Flink、Kafka、Flume、Sqoop、SpringMVC、R
分类：
其他好文 时间：
2018-12-07 11:46:14
阅读次数：
208
flume 开发梳理 flume 数据到hadoop conf/hdfsAgent.conf #配置sources、channels、sinks a1.sources=r1 a1.channels=c1 a1.sinks=k1 #sources.r1 配置源数据类型 a1.sources.r1.ty ...
分类：
Web程序 时间：
2018-12-05 00:20:32
阅读次数：
192
