源码包下载： 集群环境： 下载安装包： Flume配置: #Netcat cd /usr/local/flume/conf vim flume-netcat.conf 验证： 结果如图： #Exec cd /usr/local/flume/conf vim flume-exec.conf 验证： 结 ...
分类：
Web程序 时间：
2018-09-23 16:35:48
阅读次数：
202
1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 处理海量数据的核心技术： 海量数据存 ...
分类：
其他好文 时间：
2018-09-22 19:42:10
阅读次数：
142
一、基本概念 简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大， ...
分类：
其他好文 时间：
2018-09-20 11:06:23
阅读次数：
1791
判断题： 1.如果?NameNode?意外终止，SecondaryNameNode?会接替它使集群继续工作。（错误） 分析： SecondaryNameNode是帮助恢复，而不是替代 SecondaryNameNode所做的不过是在文件系统中设置一个检查点来帮助NameNode更好的工作。它不是要取 ...
分类：
其他好文 时间：
2018-09-14 17:18:11
阅读次数：
148
以下jie皆来自官网： 1：首先版本是flume 1.8 查看版本： bin/flume-ng version 2：配置与启动 Defining the flow Configuring individual components¶ # properties for sources <Agent>. ...
分类：
Web程序 时间：
2018-09-13 10:22:53
阅读次数：
241
https://vjudge.net/problem/UVA-11732 题意 给定n个字符串，问用strcmp函数比较这些字符串共用多少次比较。 strcmp函数的实现 分析 建trie树，把‘\0’也加进去，记录以每个节点为子树包含的单词节点。 然后dfs计数，遇到单词节点，说明可能存在相同的字 ...
分类：
其他好文 时间：
2018-09-11 16:09:39
阅读次数：
190
1、相关类 Executors ExecutorService Callable ThreadPool Future 2、相关接口 Executor Executor接口的使用： ExecutorService接口的使用：（继承Executor接口） *submit方法（执行runnble、call ...
分类：
编程语言 时间：
2018-09-11 14:17:55
阅读次数：
264
Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。
??可以使用诸如map、reduce、join和window等高级函数进行复杂算法（比如，机器学习和图计算）的处理。最后还可以将处理结果存储到文件系统，数据库和仪表盘。本文主要内容有简介、架构与抽象、转化操作、行动操作。
分类：
其他好文 时间：
2018-09-10 00:59:24
阅读次数：
215
恢复内容开始 谈一谈JDK动态代理学习的一些坑，基于JDK8。 先来看一下JDK的动态是怎么用的。 执行结果如下： before add after 首先来看一下JDK是怎样生成代理对象的。既然生成代理对象是用的Proxy类的静态方newProxyInstance，那么我们就去它的源码里看一下它到底 ...
分类：
其他好文 时间：
2018-09-08 18:54:51
阅读次数：
140
1. HADOOP背景介绍 1.1 什么是HADOOP Hadoop hive hbase flume kafka sqoop spark flink ……. 1.2 HADOOP产生背景 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网 ...
分类：
其他好文 时间：
2018-09-05 11:39:05
阅读次数：
195
