大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类：
其他好文 时间：
2014-08-02 07:45:03
阅读次数：
366
近年来的大数据应用特别热，特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境，而大家手头一般没有多余的机器部署master和多个slave节点，就只能在VMware上多安装几个虚拟机来模拟集群的搭建，但是安装好一台虚拟机后，我想大部分的人都不想再耗时再重...
分类：
其他好文 时间：
2014-08-02 01:49:52
阅读次数：
267
MTU是Maximum Transmission Unit的缩写，意为最大传输单元，通俗的理解就是在网络上传送的最大数据包，单位是字节。 以太网对数据帧的长度都有一个限制，其最大值为1500，这个特性被称作MTU,不同类型的网络大多数都有一个上限。如果IP层有一个IP包要传，而且数据的长度比链路.....
分类：
其他好文 时间：
2014-08-02 01:32:22
阅读次数：
1806
Hadoop源起与体系概述 Hadoop的源起——Lucene Lucene是Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎早期发布在个人网站和SourceForge，2001年年底成为apache软件基金会jakarta的一个子项目 Lucene的目的是为软件开发人员提供一个简单易用的工具...
分类：
其他好文 时间：
2014-08-01 23:09:52
阅读次数：
388
3.7、创建发售请求小张同学刚刚创建完服务项目，现在急于发布他的第一个发售请求。1、在SystemCenter2012ServiceManager控制台，与库工作区中选择，展开导航树中选择服务目录>发售请求2、任务的上下文窗格将更新，现在我们可以选择创建发售请求3、创建发售请求向导将出现，..
分类：
其他好文 时间：
2014-08-01 20:11:53
阅读次数：
232
项目起源是因为有人希望有个模拟环境来模拟公平调度器和容量调度器，以便合理配置调度器，降低生产环境出问题的风险，详见https://issues.apache.org/jira/browse/YARN-1021。之后在hadoop2.3.0就增加了这个工具。首先设定环境变量：exportHADOOP_HOME=/usr/hadoop-2.3.0export..
分类：
其他好文 时间：
2014-08-01 20:10:42
阅读次数：
284
听说云计算很火，大家都在玩。如果你了解了amazon aws，是不是想亲自动手？自己的账户，你是不是在担心不当操作扣费？那么你需要一个免费的实验平台，来了解亚马逊云服务的使用。...
分类：
其他好文 时间：
2014-08-01 20:02:02
阅读次数：
210
Zookeeper使用了一种称为Zab（ZookeeperAtomic Broadcast）的协议作为其一致性复制的核心，其特点为高吞吐量、低延迟、健壮、简单，但不过分要求其扩展性。
Zookeeper的实现是有Client、Server构成，Server端提供了一个一致性复制、存储服务，Client端会提供一些具体的语义，比如分布式锁、选举算法、分布式互斥等。从存储内容来说，Server端更多...
分类：
其他好文 时间：
2014-08-01 19:53:12
阅读次数：
309
