Flume定义: Flume是Cloudera提供的一个高可用的、高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构, 灵活简单。 为什么选用Flume 主要作用: 实时读取服务器本地磁盘的数据, 将数据写入到HDFS Flume的组织架构 1、最简单的组织架构 2、Flume ...
分类:
Web程序 时间:
2020-04-02 22:33:57
阅读次数:
107
一、前言 1.本文基于JDK1.8源码分析,会贴出涉及的相关数据结构及源码。 2.为节省大家时间,先给出结论。 1)ArrayList创建对象时,若未指定集合大小初始化大小为0;若已指定大小,集合大小为指定的大小; 2)当第一次调用add方法时,集合长度变为DEFAULT_CAPACITY(也就是1 ...
分类:
其他好文 时间:
2020-04-02 17:35:30
阅读次数:
60
容器架构 Hashtable HashMap SynchronizedHashMap CurrentHashMap CurrentSkipListMap(弥补同步的TreeMap) Hashtable所以方法默认加sychronized, HashMap默认没有加锁, 而SynchronizedHa ...
分类:
编程语言 时间:
2020-03-31 20:55:14
阅读次数:
83
本文目的是根据前文的博文,打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 ...
分类:
Web程序 时间:
2020-03-31 19:24:58
阅读次数:
204
Flume概述 Flume是一个高可用、高可靠、分布式的海量日志数据采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方的能力。 Flume(Agent,Java进程)主要由三个重要组件构成: source, ...
分类:
Web程序 时间:
2020-03-31 12:26:27
阅读次数:
76
Eureka作为服务注册中心,主要的功能是服务注册和服务发现,是微服务框架的基础功能和核心功能。 Eureka的使用可参考: Eureka服务端:Spring Cloud Eureka Server使用(注册中心), Eureka客户端:Eureka Client的使用, Eureka服务端:Eur ...
分类:
其他好文 时间:
2020-03-30 16:06:00
阅读次数:
69
前言 前面已经讲解了Redis的客户端Redission是怎么实现分布式锁的,大多都深入到源码级别。 在分布式系统中,常见的分布式锁实现方案还有Zookeeper,接下来会深入研究Zookeeper是如何来实现分布式锁的。 Zookeeper初识 文件系统 Zookeeper维护一个类似文件系统的数 ...
分类:
其他好文 时间:
2020-03-30 09:55:31
阅读次数:
75
实践三 网络嗅探与协议分析 (1)找一个抓包软件,根据源码分析其功能,设计的模块。 tcpdump是由美国的Lawrence Berkeley National Laboratory开发。使用了libpcap,独立于系统的接口,它可以将网络中传送的数据包完全截获下来提供分析。它支持针对网络层、协议、 ...
分类:
其他好文 时间:
2020-03-29 01:24:35
阅读次数:
90
一声叹息 从去年9月3号,到今年3月20号,耗时6个月多的找工作经历终于是画上圆满的句号了,近200个日日夜夜的酸甜苦辣想必裸辞的亲尝者都能体会得到,下面想来复盘或者说总结一下这段经历。但不管怎么总结,核心还是那一句话:一定要充分的准备!!! 简历准备阶段 大家都知道,学历就是个敲门砖,所以对于一些 ...
分类:
移动开发 时间:
2020-03-28 13:44:14
阅读次数:
142
首先看继承和实现关系 public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable 下面是属性可以很清楚看出来map中元素采用Node类型的数组进行存储。node的数据结 ...
分类:
其他好文 时间:
2020-03-27 21:40:06
阅读次数:
71