一、Flume概述 二、Flume安装部署 三、Flume监听端口 1、安装telnet 2、写配置文件 flumejob_telnet.conf 放置在flume/conf/下 3、启动 4、发送数据 5、查看 四、实时的采集文件到HDFS 1、写配置文件 flumejob_hdfs.conf 2 ...
分类：
Web程序 时间：
2018-11-25 22:24:37
阅读次数：
214
大纲： Spark Streaming简介 Spark Streaming的原理和架构 Spark Streaming之基础抽象DStream DStream相关操作 Spark Streaming与flume整合 Spark Streaming与kafka整合 Spark Streaming简介 ...
分类：
其他好文 时间：
2018-11-25 01:21:06
阅读次数：
230
1.情景展示 静态方法内部实现：将指定内容生成图片格式的二维码； 如何通过多线程实现？ 2.分析 之所以采用多线程，是为了节省时间 3.解决方案 准备工作 logo文件 将生成的文件保存在F盘test目录下 代码实现 /** * 多线程测试类 * @explain 生成图片格式的二维码采用多线程实现 ...
分类：
编程语言 时间：
2018-11-23 20:52:03
阅读次数：
229
大数据已经火了很久了，一直想了解它学习它结果没时间，了解了一些资料，结合我自己的情况，整理了一个学习路线，。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeepe ...
分类：
其他好文 时间：
2018-11-19 13:31:09
阅读次数：
183
http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex ...
分类：
Web程序 时间：
2018-11-18 15:02:09
阅读次数：
215
Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume的功能支持在日志系统中定制各类数据发送方，用于收集数据提供对数据简单处理，并写到各类数据接收方（可定制）的能力Flume的组成Agent:
分类：
Web程序 时间：
2018-11-16 20:47:12
阅读次数：
168
实现如图的的效果(详细步骤请参考官方文档(http://flume.apache.org/FlumeUserGuide.html),flume更新版本比较快) flume1.conf的配置文件内容 flume2.conf的配置文件内容 参考官方文档截图如下 详细配置如下 ...
分类：
Web程序 时间：
2018-11-15 22:37:55
阅读次数：
285
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
1>.Caused by: org.apache.kafka.common.errors.NetworkException: The server disconnected before a response was received. ...
分类：
Web程序 时间：
2018-11-13 11:37:51
阅读次数：
553
一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF ...
分类：
Web程序 时间：
2018-11-12 17:36:19
阅读次数：
239
