sink groups使多个不同的sink组成一个整体，而sink processor提供了组内负载均衡和故障转移的功能。 有三种sink processor :default sink processor,failover sink processor,Load balancing Sink Pr ...
分类：
Web程序 时间：
2016-07-05 17:12:41
阅读次数：
285
HDFS：分布式文件系统 MapReduce：分布式计算框架 Sqoop：数据库ETL工具 Flume：日志收集工具 Mahout：数据挖掘库 Hive：数据仓库 Pig：数据流处理 HBase：实时分布式数据库 Zookeeper：分布式协作服务 ...
分类：
其他好文 时间：
2016-07-01 20:14:23
阅读次数：
166
环境变量： 命令行里可以执行相应的命令 这些命令就是一些可执行的文件 当在命令行执行命令的时候， 系统会根据环境变量里设置的PATH的值 查询所有的目录去寻找相应的可执行文件 数据采集（flume，storm）数据存储（HDFS）数据处理（MapReduce，Hive，Spark）数据分析（Maho ...
分类：
其他好文 时间：
2016-06-30 16:30:49
阅读次数：
169
Flume基本操作 1.把Telnet产生的内容写入到控制台显示 a.conf内容如下： 2.把hive中产生的log写入到hdfs flume-hive.conf内容如下： 如果是HA架构需要把HA的core-site.xml与hdfs-site.xml放入到/opt/modules/cdh/fl ...
分类：
Web程序 时间：
2016-06-30 14:17:08
阅读次数：
254
本文分析基于Linux Kernel 1.2.13 原创作品，转载请标明http://blog.csdn.net/yming0221/article/details/7492423 更多请看专栏，地址http://blog.csdn.net/column/details/linux-kernel-n ...
分类：
系统相关 时间：
2016-06-28 18:22:23
阅读次数：
302
以AtomicLong的compareAndSet方法举例。先说结论：如果CPU支持，则基于CPU指令（CMPXCHG8）实现；否则使用ObjectLocker锁实现。 分析过程如下： 该方法在jdk中源代码如下： unsafe是sun.misc.Unsafe的一个实例，Unsafe类在jdk中没有 ...
分类：
编程语言 时间：
2016-06-28 18:08:46
阅读次数：
406
Binder是Android上一种IPC机制，重要且较难理解。由于Linux上标准IPC在灵活和可靠性存在一定不足，Google基于OpenBinder的设计和构想实现了Binder。 本文只简单介绍其实现，并重点讨论Binder安全相关的内容。详细的Binder设计与实现分析，参考附录4篇文章。 ...
分类：
移动开发 时间：
2016-06-27 21:19:28
阅读次数：
367
一些需求是原生Flume无法满足的，因此，基于开源的Flume我们增加了许多功能。 EventDeserializer的缺陷 Flume的每一个source对应的deserializer必须实现接口EventDeserializer，该接口定义了readEvent/readEvents方法从各种日志 ...
分类：
Web程序 时间：
2016-06-26 21:13:10
阅读次数：
625
一个稳定可靠的系统离不开监控，我们不仅监控服务是否存活，还要监控系统的运行状况。运行状况主要是对这些组件的核心metrics采集、抓取、分析和报警。 一、监控的数据 监控的日志数据一般包括： v APP、PC、Web 等系统运行Log：采用Flume-NG搜集 v 用户日志 : 采用Flume-NG ...
分类：
其他好文 时间：
2016-06-26 21:05:08
阅读次数：
224
在很多情况下，我们为了不丢失数据，一般都会为数据收集端扩展断点续传，而随着公司日志系统的完善，我们在原有的基础上开发了断点续传的功能，以下是思路，大家共同讨论：核心流程图： 源码：/*
* 作者：许恕
* 时间：2016年5月3日
* 功能：实现tail 某目录下的所有符合正则条件的文件
* Email：xvshu1@163.com
* T...
分类：
Web程序 时间：
2016-06-24 15:34:02
阅读次数：
291
