【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
概述： 操作系统版本：CentOS release 6.3 (Final) 64位 nagios版本：Nagios Core 4.0.6 pnp4nagios版本：pnp4nagios-0.6.22 mk-livestatus版本：mk-livestatus-1.2.5i5p2 check...
分类：
移动开发 时间：
2014-08-13 12:35:46
阅读次数：
1808
底理解Spark，能够分为以下几个层次。1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中，理解其基本操作步骤。 安装部署 Spark安装简单介绍 Spark的源代码编译 Spark Standalone安装 Spark Standalone HA安装 ...
分类：
其他好文 时间：
2014-08-11 14:38:42
阅读次数：
247
Hadoop+Lucene+NutchHadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。Lucene是一个Java高性能全文...
分类：
其他好文 时间：
2014-08-10 23:51:50
阅读次数：
316
来源于：http://www.cnblogs.com/poissonnotes/p/3238238.html系统要求为Windows Server 2012，注意：安装Office Web Apps的服务器除了Office Web Apps之外，不能安装其他应用。包括不能安装Office，lync，...
分类：
移动开发 时间：
2014-08-10 21:19:30
阅读次数：
463
目录： 一、什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二、flume的官方网站在哪里？ 三、在哪里下载？ 四、如何安装？ 五、flume的案例 1)案例1：Avro 2)...
分类：
其他好文 时间：
2014-08-10 21:12:21
阅读次数：
495
自2010年11月首次举办以来，大会云集了国内水平最高的IT架构师、技术总监、项目经理、运维总监/经理、DBA经理、研发工程师等IT技术大牛，由最初的百人规模扩展到现今超千人的技术饕餮盛宴。大会一直受到业界广泛关注与赞誉，是目前华东与华南地区最受欢迎、人气最高的架构师技术交流盛会。本次大会将继续秉承分享IT最佳应用实践的宗旨，以“发现架构之美，实战为王”为主题，邀请国内知名互联网企业的资深架构师和工程师，探讨实下最热门的行业趋势与技术热点，分享架构在企业中的最佳实践。大会关键词：分布式文件系统、大数据、GO...
分类：
其他好文 时间：
2014-08-09 16:02:48
阅读次数：
474
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
分布式文件系统HDFS 分布式文件系统[Distributed File System]概述数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。分布式文件系统特点:是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。通透性。让实际...
分类：
其他好文 时间：
2014-08-08 18:11:06
阅读次数：
245
分布式文件系统HDFS--NameNode体系结构NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中]， 文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中...
分类：
其他好文 时间：
2014-08-08 18:10:26
阅读次数：
198
