在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
工作方式 Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使 ...
分类：
Web程序 时间：
2020-01-20 14:26:47
阅读次数：
98
源码分析 - Collections.sort() 一、Collection.sort使用 Collections.sort()：是对一个集合进行正向排序的方法首先，传入Collections.sort()的集合的元素类型要继承Comparator<T>,这样才能保证可以比较并排序。 根据源码分析， ...
分类：
编程语言 时间：
2020-01-20 12:53:33
阅读次数：
65
"ArrayList简介" "ArrayList核心源码" "ArrayList源码分析" "System.arraycopy\(\)和Arrays.copyOf\(\)方法" "两者联系与区别" "ArrayList核心扩容技术" "内部类" "ArrayList经典Demo" ArrayList ...
分类：
其他好文 时间：
2020-01-20 00:03:49
阅读次数：
64
1、线程池简介 1.1 线程池的概念： 线程池就是首先创建一些线程，它们的集合称为线程池。使用线程池可以很好地提高性能，线程池在系统启动时即创建大量空闲的线程，程序将一个任务传给线程池，线程池就会启动一条线程来执行这个任务，执行结束以后，该线程并不会死亡，而是再次返回线程池中成为空闲状态，等待执行下 ...
分类：
编程语言 时间：
2020-01-19 22:19:14
阅读次数：
104
Flume高可用集群 工欲善其事，必先利其器。感谢以下博主：https://www.cnblogs.com/qingyunzong/p/8994494.htmlhttps://blog.csdn.net/peng_0129/article/details/80793440https://blog.c ...
分类：
Web程序 时间：
2020-01-19 15:25:17
阅读次数：
128
在日常开发中经常通过打印日志记录程序执行的步骤或者排查问题，如下代码类似很多，但是，它是如何执行的呢？ 本文以Logback日志框架来分析以上代码的实现。 slf4j 如今日志框架常用的有log4j、log4j2、jul(common log)以及logback。假如项目中用的是jul，如今想改成用 ...
分类：
其他好文 时间：
2020-01-19 12:59:28
阅读次数：
77
React可大致分为三部分：Core、Reconciler和Renderer，在阅读源码之前，首先需要搭建测试环境，为了方便起见，本文直接采用了网友搭建好的环境，React版本是16.8.6，与最新版本很接近。 一、目录结构 React采用了由Lerna维护monorepo方式进行代码管理，即用一个 ...
分类：
其他好文 时间：
2020-01-19 09:45:09
阅读次数：
76
概述 是一个线程安全的 ，通过内部的 数组和显示锁ReentrantLock来实现线程安全。 的底层也是基于 实现的。 更适合于读多写少的环节。 CopyOnWriteArrayList源码分析 核心属性 它的内部属性也非常的简单,值得注意的是array是通过volatile修饰的。 重要方法分析 ...
分类：
其他好文 时间：
2020-01-17 19:15:50
阅读次数：
86
概述 ReentrantReadWriteLock维护了一对相关的锁，它们分别是共享readLock和独占writeLock。关于共享读锁和排他写锁的概念其实很好理解。所谓共享读锁就是一个线程读的时候，其它线程也可以来读（共享），但是不能来写。排他写锁是指一个线程在写的时候，其它线程不能来写或读（排 ...
分类：
其他好文 时间：
2020-01-17 18:57:36
阅读次数：
67
