Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-09 12:53:05
阅读次数：
232
概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 S ...
分类：
其他好文 时间：
2017-08-08 15:17:44
阅读次数：
410
如果说大数据中分布式收集日志用的是什么，你完全可以回答Flume！（面试小心问到哦） 首先说一个复制本服务器文件到目标服务器上，需要目标服务器的ip和密码： 命令： scp filename ip:目标路径 一 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚 ...
分类：
Web程序 时间：
2017-08-07 10:02:36
阅读次数：
282
Binary Agents 传入二进制字符串，翻译成英语句子并返回。 二进制字符串是以空格分隔的。 传入二进制字符串，翻译成英语句子并返回。 二进制字符串是以空格分隔的。 String.charCodeAt() String.fromCharCode() 思路： （1）把字符串转化为数组； （2）把 ...
分类：
编程语言 时间：
2017-08-05 22:46:26
阅读次数：
161
1. 下载 zabbix 客户端软件：www.zabbix.com/downloads/2.2.0/zabbix_agents_2.2.0.win.zip 2. 在 C 盘建一个名为 zabbix 的文件夹，并把解压文件复制到 zabbix 文件夹中，然后把 conf 下的一个程序直接复制到 C 盘 ...
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 ...
分类：
Web程序 时间：
2017-08-01 16:35:15
阅读次数：
256
消息通过各种方式进入到Kafka消息中间件，比如可以通过使用Flume来收集日志数据，然后在Kafka中路由暂存，然后再由实时计算程序Storm做实时分析，最后将结果保存在HDFS中，这时我们就需要将在Storm的Spout中读取Kafka中的消息，然后交由具体的Spot组件去分析处理。下面开发一个 ...
分类：
其他好文 时间：
2017-07-31 19:52:51
阅读次数：
1616
学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析，Spark and Hadoop开发员培训(CCA-175)报名平台活动家。 ...
分类：
其他好文 时间：
2017-07-28 12:12:57
阅读次数：
400
Flume是一个分布式的，效率高的用来收集日志数据的开源框架。它的架构是基于流式数据，有3个重要的组件，分别是Source，Channel和Sink。 Flume架构和特点 Flume架构图如上，非常简单。 一个Flume的事件(event)表示数据流中的一个单位，它会带有字节数据和可选的字符串属性 ...
分类：
Web程序 时间：
2017-07-27 09:37:27
阅读次数：
192
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2017-07-26 18:10:59
阅读次数：
1037
