一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 二、sources 第二步是定义sources(接收数据源)，以下是常见的sourc ...
分类：
Web程序 时间：
2019-02-24 12:11:44
阅读次数：
244
一、Flume概述 Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。 二、Flume的作用 ...
分类：
Web程序 时间：
2019-02-23 20:42:34
阅读次数：
193
一、静态爬取页面信息 有道翻译网址：http://fanyi.youdao.com/ 在翻译中输入python 找到接口和请求的方式 参数是From Data类型 需要把参数数据转换为字典， 复制粘贴后按住Ctrl + r ，然后 Headers 内容的长度是data携带参数的长度 代码实现 分析： ...
分类：
其他好文 时间：
2019-02-22 21:45:33
阅读次数：
634
2019/2/22星期五flume案例支持flume的部署类型//参考链接为https://www.cnblogs.com/qingyunzong/p/8994494.html1、单一流程2、多代理流程（多个agent顺序链接）不推荐有一段失败则整个event事件失败3、流的合并（多个Agent的数据汇聚到同一个Agent）//应用场景广泛4、多路复用流（多级流）//Flume还支持多级流，什么多
分类：
Web程序 时间：
2019-02-22 19:59:12
阅读次数：
224
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
1 错误详细信息 2 错误原因 配置文件写错了 3 正确应该是配置c2 也就是channel 4 完整的配置文件 ...
分类：
Web程序 时间：
2019-02-21 17:26:13
阅读次数：
139
flume伪分布式安装： 1、导包：apache-flume-1.7.0-bin.tar.gz 2、配置环境变量：/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin ...
分类：
Web程序 时间：
2019-02-21 12:57:44
阅读次数：
233
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
题意描述：编写程序，输入n（1<=n<=10),输入n个整数构成一个数组，输入整数x，在这个数组中查找x是否存在，如果存在，删除x，后面元素依次向前添补空位，并输出删除元素后的数组。如果不存在，输出“Not Found”。输入第一行是一个正整数n（1<=n<=10）；第二行是n个整数，构成一个数组； ...
分类：
编程语言 时间：
2019-02-16 15:43:37
阅读次数：
185
一. cadvisor和k8s的耦合 cadvisor是一个谷歌开发的容器监控工具，它被内嵌到k8s中作为k8s的监控组件。现在将k8s中的cadvisor实现分析一下。 k8s中和cadvisor的代码主要在./pkg/kubelet/cadvisor目录下。在当前k8s版本(v1.13)中，ku ...
分类：
其他好文 时间：
2019-02-01 18:09:21
阅读次数：
638
