Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。
??可以使用诸如map、reduce、join和window等高级函数进行复杂算法（比如，机器学习和图计算）的处理。最后还可以将处理结果存储到文件系统，数据库和仪表盘。本文主要内容有简介、架构与抽象、转化操作、行动操作。
分类：
其他好文 时间：
2018-09-10 00:59:24
阅读次数：
215
windows 版zabbix_agent下载地址： https://www.zabbix.com/download_agents 解压，有bin和conf两个文件夹 配置： 在windows被监控端上操作 在c盘目录下创建一个zabbix文件夹 在bin目录下选择32位或64位的目录下的三个exe ...
1. HADOOP背景介绍 1.1 什么是HADOOP Hadoop hive hbase flume kafka sqoop spark flink ……. 1.2 HADOOP产生背景 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网 ...
分类：
其他好文 时间：
2018-09-05 11:39:05
阅读次数：
195
Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数表示的复杂算法进行处理map，例如reduce，join和window。最后，处理后 ...
分类：
编程语言 时间：
2018-08-28 17:53:06
阅读次数：
207
Zabbix是一个高度集成的企业级开源网络监控解决方案，与Cacti、Nagios并称监控三剑客，提供分布式监控以及集中的WEB管理界面。被监控对象只要支持SNMP协议或者运行Zabbix_agents即可。Zabbix具备创建商业监控软件所具备的功能，例如主机性能监控、网络设备性能监控、数据库性能监控、ftp等通用协议的监控，能够利用灵活的可定制警告机制，允许用户对事件发送基于E-mail的警告
分类：
其他好文 时间：
2018-08-26 01:14:27
阅读次数：
718
大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm ...
分类：
其他好文 时间：
2018-08-25 14:28:06
阅读次数：
149
一、 Spark Streaming 构建在Spark core API之上，具备可伸缩，高吞吐，可容错的流处理模块。 1）支持多种数据源，如Kafka，Flume，Socket，文件等； Basic sources: Sources directly available in the Stream ...
分类：
其他好文 时间：
2018-08-25 14:13:02
阅读次数：
188
环境介绍：zabbix版本：3.2.11zabbixagent版本：zabbix_agents_3.2.7.win操作系统：Windowsserver2008R2操作步骤：（1）官方下载agent安装对应的服务器的大版本https://www.zabbix.com/download_agents（2）复制至windows自定义目录解压出文件conf目录zabbix_agentd.win.conf/
分类：
Windows程序 时间：
2018-08-23 11:23:50
阅读次数：
1134
随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数 ...
分类：
其他好文 时间：
2018-08-21 16:02:11
阅读次数：
225
1 下载安装包并解压 下载地址：http://flume.apache.org/download.html 解压：tar zxvf apache-flume-1.8.0-bin.tar.gz 2 配置环境变量 vi ~/.bashrc 配置环境变量： export FLUME_HOME=/hmast ...
分类：
Web程序 时间：
2018-08-19 23:20:48
阅读次数：
299
