最早研究这个数列的当然是斐波那契喽。他当时是为了描述如下的兔子增长数目。后来被广泛应用于各种场合，这是数列的定义如下：首先呢，当我们看到这个数列时，想到的先是用递归的方法实现：也可用三目运算符实现：分析：递归的时间复杂度：递归的次数*每次递归次数。递归的空间..
分类：
其他好文 时间：
2016-04-10 01:31:55
阅读次数：
453
在 Hadoop 的整个生态系统中，HDFS NameNode 处于核心地位，NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析，主要包括 NameNode 的主备切换实现分析和 NameNode 的共享 ...
分类：
其他好文 时间：
2016-04-10 00:59:59
阅读次数：
1263
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 (1) 可靠性 end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如 ...
分类：
Web程序 时间：
2016-04-09 20:39:32
阅读次数：
308
问题描述：一个web项目想在一个tomcat下运行多个实例（通过修改war包名称的实现），然后每个实例都将日志输出到tomcat的logs目录下实例名命名的文件夹下进行区分查看每个实例日志，要求通过尽可能少的改动配置文件，最好修改实例名后可以不修改log4j的配置文件。实现分析：一般实现上面需求，需... ...
分类：
Web程序 时间：
2016-04-09 18:28:45
阅读次数：
151
本次模拟系统，是利用Hadoop等组件来模拟巨型日志的处理系统，包括Python定时、Flume收集日志、MR处理日志、Sqoop导出数据、Hive的简单统计等...
分类：
其他好文 时间：
2016-04-09 17:03:16
阅读次数：
267
常用的分布式日志收集系统 一：flume概述参考官方网址：http://flume.apache.org/documentation.htmlflume是一个分布式的数据收集系统，具有高可靠、高可用、事务管理、失败重启等功能。数据处理速度快，完全可以用于生产环境。flume的核心是agent。age ...
分类：
Web程序 时间：
2016-04-08 14:49:00
阅读次数：
169
作为一个messaging system，Kafka遵循了传统的方式，选择由producer向broker push消息并由consumer从broker pull消息。一些logging-centric system，比如Facebook的Scribe和Cloudera的Flume,采用非常不同的 ...
分类：
其他好文 时间：
2016-04-06 23:03:53
阅读次数：
297
Flume在企业大数据仓库架构中位置及功能hadoop数据仓库flume数据仓库架构1、如下图所示，外部数据中，关系型数据库导入到HDFS用sqoop，由Nginx产生的文件实时监控用Flume获得。在HDFS或Hbase中，如果要进行实时查询用Impala（内存），如果是分析可以用Hive，Map... ...
分类：
Web程序 时间：
2016-04-01 06:33:43
阅读次数：
452
http://blog.chinaunix.net/uid-23969156-id-3086824.html1. 引言 从事Linux环境工作2年有余，一直懵懵懂懂，1年前拜读了《莱昂氏UNIX源代码分析》一书，感觉自己的学习道路漫漫且修远。最近受chinaunix的精华文帖启发，拟将近来的部分内核调用分析笔记拿出来与各前辈先进共同探讨学习，以壮个人学习之路。 ...
分类：
系统相关 时间：
2016-03-30 13:21:28
阅读次数：
231
1.Spark Streaming是什么 Spark Streaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源，例如kafka，Flume，Twitter，ZeroMQ或者TCP Socket等。在这个框架下，支持对流数据的各种运算，比如map，red ...
分类：
其他好文 时间：
2016-03-27 14:05:50
阅读次数：
453
