一、Spark Streaming的介绍??Spark Streaming是Spark 核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从诸如Kafka，Flume，Kin...
分类：
其他好文 时间：
2017-05-05 01:05:21
阅读次数：
348
打开"系统管理"——"Configure Global Security" TCP port JNLP agents 配置成"随机"，点击"Agent protocols"，打勾开启"Java Web Start Agent Protocol3" 检查Plugin Manager中"Enable A... ...
分类：
编程语言 时间：
2017-05-04 21:43:57
阅读次数：
455
--data 添加post头 --data 添加get头 --cookie 添加cookie 设置探测级别大于等于2时会探测cookie是否有注入点 --random-agent 随机生成user-agent user-agent在/usr/share/sqlmap/txt/user-agents. ...
分类：
数据库 时间：
2017-05-02 18:23:57
阅读次数：
162
首先在下载windows版zabbix-agent：http://www.zabbix.com/downloads/2.0.18/zabbix_agents_2.0.18.win.zip下载后解压zabbix_agents压缩包，里面有两个文件夹，分别是bin文件夹和conf文件夹。bin文件夹里一个是win32zabbix_agentd，一个是win64zabbix_agentd，生产环境都是64位..
介绍 概述 Apache Flume是一个用来从非常多不同的源有效地收集。聚集和移动大量的日志数据到一个中心数据仓库的分布式的，可靠的和可用的系统。 Apache Flume是Apache软件基金会的顶级项目。眼下有两个可获得的公布代码路线，0.9.x版本号和1.x版本号。本文档适用于1.x代码线。 ...
分类：
Web程序 时间：
2017-04-29 15:08:58
阅读次数：
263
对于从Kafka、Flume以及Kinesis这类数据源提取数据的流式应用来说，还需要额外增加相应的依赖项，下表列出了各种数据源对应的额外依赖项： ...
分类：
其他好文 时间：
2017-04-28 23:39:23
阅读次数：
192
下载flume和jdkflume下载地址：wgethttps://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-src.tar.gz解压文件tarzxvfapache-flume-1.6.0-src.tar.gz移动指定目录mvapache-flume-1.6.0-src.tar.gz/usr/local进入/etc/profile.d目录，添加java.sh文件，添加环境变量J..
分类：
Web程序 时间：
2017-04-28 23:39:04
阅读次数：
1076
如果还没看过Flume-ng源码解析之启动流程，可以点击Flume-ng源码解析之启动流程查看1接口介绍组件的分析顺序是按照上一篇中启动顺序来分析的，首先是Channel，然后是Sink，最后是Source，在开始看组件源码之前我们先来看一下两个重要的接口，一个是LifecycleAware，另一个是Nam..
分类：
Web程序 时间：
2017-04-28 23:36:09
阅读次数：
268
Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、Zero ...
分类：
其他好文 时间：
2017-04-28 10:35:20
阅读次数：
186
虽然比较久，但是这套架构已经很成熟了，记录一下 一般数据流向，从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添 ...
分类：
Web程序 时间：
2017-04-27 17:53:35
阅读次数：
294
