一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
Sharding Jdbc 源码分析 [toc] __Apache Sharding Sphere 系列目录()__ 在看 Sharding Jdbc 源码之前，强烈建议先阅读一直官网的文章： 1. "Apache Sharding Jdbc 数据分片" JDBC 调用过程如下：APP ORM JD ...
分类：
数据库 时间：
2020-01-26 19:11:42
阅读次数：
160
flume agent 内部原理 1、Source采集数据，将数据封装成Event对象，然后将数据交给 Channel Processor （利用该类的方法进行下一步的处理） 2、 Channel Processor 将Event事件传递给拦截器链（Intercepter，进行简单的数据清洗），然后 ...
分类：
Web程序 时间：
2020-01-26 14:29:01
阅读次数：
130
Sharding Proxy 源码分析 [toc] 在看 Sharding Proxy 源码之前，强烈建议先阅读一直官网的两篇文章： 1. "Apache Sharding Proxy 使用手册" 2. "Apache Sharding Proxy 设计原理" Sharding Proxy 包结构 ...
分类：
其他好文 时间：
2020-01-26 10:29:27
阅读次数：
95
job是串行执行的， 执行完上一个才执行下一个 eg：Wordcount案例 val lines = sc.textFile("本地URL or HDFS URL")//详解见代码1 val words = lines.flatMap(line => line.split(" "))//也会返回一个 ...
分类：
其他好文 时间：
2020-01-25 00:56:57
阅读次数：
119
大数据环境需要的安装包合集，包括： apache flume 1.7.0 bin.tar.gz apache hive 1.2.1 bin.tar.gz hadoop 2.7.2.tar.gz hbase 1.3.1 bin.tar.gz jdk 8u144 linux x64.tar kafka_ ...
分类：
其他好文 时间：
2020-01-24 17:25:13
阅读次数：
88
前言 懒得写详细wp了。。。。 我佛了 这个题纠结好久......... 前言 需要解密的密文: fR4aHWwuFCYYVydFRxMqHhhCKBseH1dbFygrRxIWJ1UYFhotFjA= 打开赛题审源码分析 1 function encrypt($data,$key) 2 { 3 $ ...
分类：
Web程序 时间：
2020-01-24 09:30:23
阅读次数：
105
先给出答案： 需要结合具体使用的source、channel和sink来分析，具体结果可看本文最后一节。 Flume事务 ====================== 一提到事务，我们首先就想到的是MySQL中的事务， 事务就是将一批操作做成原子性的 ，即这一批要么都成功，要么都失败。 同样的道理， ...
分类：
Web程序 时间：
2020-01-24 00:14:47
阅读次数：
972
浅析JDK1.8 ReentrantLock源码。 写在开篇 ReentrantLock–重入锁，是实现Lock接口的一个同步组件。这篇文章建立在熟悉AQS源码的基础上，同时主要从两个方面来分析ReentrantLock： 重入性的实现原理 公平锁和非公平锁 类的继承关系 ReentrantLock ...
分类：
其他好文 时间：
2020-01-23 21:13:45
阅读次数：
74
本文对flume进行安装部署 flume是什么？传送门： 0、要安装部署在日志所在的服务器，或者把日志发送到日志所在的节点上 安装前准备 1） Flume官网地址 2）文档查看地址 3）下载地址 1、将apache flume 1.7.0 bin.tar.gz上传到linux的/opt/softwa ...
分类：
Web程序 时间：
2020-01-23 12:38:37
阅读次数：
110
