首先介绍一下在flume中常用的一个数据格式，以及使用该格式的优缺点： 从flume写数据到hdfs中的时候，使用二进制格式相对于使用纯文本来说是一种更好的选择，因为大多数二进制格式都有一些方法指明记录中损坏或者不完整等的问题。 二进制记录有助于检测他们并将这些不正确的记录进行忽略，例如flume中 ...
分类：
Web程序 时间：
2019-02-27 01:21:18
阅读次数：
193
传输文件到hadoop，从日志收集服务器 虽然这些scp就能完成，但是，scp怎么保证任务中断，负载均衡，状态查看。。。 flume能帮你做到这些，好强大啊，这个框架 ...
分类：
Web程序 时间：
2019-02-27 01:02:38
阅读次数：
373
一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 二、sources 第二步是定义sources(接收数据源)，以下是常见的sourc ...
分类：
Web程序 时间：
2019-02-24 12:11:44
阅读次数：
244
一、Flume概述 Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。 二、Flume的作用 ...
分类：
Web程序 时间：
2019-02-23 20:42:34
阅读次数：
193
2019/2/22星期五flume案例支持flume的部署类型//参考链接为https://www.cnblogs.com/qingyunzong/p/8994494.html1、单一流程2、多代理流程（多个agent顺序链接）不推荐有一段失败则整个event事件失败3、流的合并（多个Agent的数据汇聚到同一个Agent）//应用场景广泛4、多路复用流（多级流）//Flume还支持多级流，什么多
分类：
Web程序 时间：
2019-02-22 19:59:12
阅读次数：
224
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
1 错误详细信息 2 错误原因 配置文件写错了 3 正确应该是配置c2 也就是channel 4 完整的配置文件 ...
分类：
Web程序 时间：
2019-02-21 17:26:13
阅读次数：
139
flume伪分布式安装： 1、导包：apache-flume-1.7.0-bin.tar.gz 2、配置环境变量：/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin ...
分类：
Web程序 时间：
2019-02-21 12:57:44
阅读次数：
233
原文： https://www.w3.org/TR/CSS2/visuren.html#block-formatting This chapter and the next describe the visual formatting model: how user agents process t ...
分类：
其他好文 时间：
2019-02-19 15:10:52
阅读次数：
240
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
