flume 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传输的系统 。Flume基于流式架构，灵活简单。 大数据框架大致分为3类： 数据的采集和传输：flume 数据的存储：HDFS 数据的计算：MapReduce 1.2 应用场景 ...
分类：
Web程序 时间：
2020-01-23 12:37:38
阅读次数：
103
业务场景：需求：通过flume进行数据采集，将本地(windows服务器)不断产生的csv文件采集到hdfs上。问题：本地文件在生成的过程中，会出现文件名重复的现象。也就是说，在前一秒生成文件名为aaa.csv,该文件经过flume进行处理之后会进行文件名的更改，默认情况下文件名会更改为aaa.cs... ...
分类：
Web程序 时间：
2020-01-23 09:14:02
阅读次数：
290
记录一下日志采集框架flume的相关内容，flume是由Cloudera开发，后面贡献给了Apache，是一个分布式的、稳定的，用于日志采集、汇聚和传输的系统，现在用的一般是1.x版本，老版本的因为用得少暂时不考虑。 基本概念 包括agent和event。 Agent 以下是数据流模型图，sourc ...
分类：
Web程序 时间：
2020-01-22 23:36:22
阅读次数：
130
1 前言 在之前的几篇文章中，我们基于Android 4.4源码分析了init进程的启动及事件处理逻辑。目前Android版本已然更新到Android 10了，很多代码及服务架构都做了大范围的调整重构，这其中也包括init相关的代码。 但是，万变不离其宗，很多核心思想和处理逻辑Android还是都保 ...
分类：
移动开发 时间：
2020-01-22 12:29:46
阅读次数：
143
Android数据库源码分析(2)-SQLiteDatabase的实现以及多线程行为 本系列主要关注安卓数据库的线程行为，分为四个部分： (1)SQLiteOpenHelper的getReadableDatabase和getWritableDatabase (2)SQLiteDatabase的实现以 ...
分类：
移动开发 时间：
2020-01-22 11:15:14
阅读次数：
97
目录 一、背景 二、Flume的简介 三、Flume NG的介绍 3.1 Flume特点 3.2 Flume的一些核心概念 3.3 Flume NG的体系结构 3.4 Source 3.5 Channel 3.6 Sink 四、Flume的部署类型 4.1 单一流程 4.2 多代理流程（多个agen ...
分类：
Web程序 时间：
2020-01-22 10:51:06
阅读次数：
131
[toc] 学习文档参考：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 1.Flume是什么? Flume简单概括就是一个收集日志的工具，它可以通过调用接口，RPC，还有网页的一些操作进行日志的收集。它是一个分布 ...
分类：
Web程序 时间：
2020-01-22 10:48:01
阅读次数：
158
本系列主要关注安卓数据库的线程行为，分为四个部分： (1)SQLiteOpenHelper的getReadableDatabase和getWritableDatabase (2)SQLiteDatabase的实现以及多线程行为 (3)连接缓存池SQLiteConnectionPool (4)SQLi ...
分类：
移动开发 时间：
2020-01-22 10:29:44
阅读次数：
138
之前章节讲解了web.xml如何使用编码的方式替换掉，但是一直没有写web.xml是如何被加载的相关细节，觉得十分有必要写一篇文章类梳理下。 待完成。。。 参考 《SpringMVC初始化流程》 《Spring 4.x源码分析-BeanWrapper》 《第三章 DispatcherServlet详 ...
分类：
编程语言 时间：
2020-01-21 00:28:24
阅读次数：
71
copy from:https://www.cnblogs.com/pengdonglin137/p/3838245.html 阅读目录(Content) zImage来历 piggy.gz压缩文件的特点 vmlinux.lds arch/arm/boot/compressed/head.S arc ...
分类：
系统相关 时间：
2020-01-20 15:11:23
阅读次数：
169
