5、安装zookeeper本博客全部内容是原创。假设转载请注明来源http://blog.csdn.net/myhaspl/myhaspl@aaayun:~/jzmq-master$cd ..myhaspl@aaayun:~$wget http://apache.fayea.com/zookeepe ...
分类：
其他好文 时间：
2017-05-22 13:20:37
阅读次数：
193
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍。基本涵盖了Hadoop分布式平台的全部技术核心。 HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过M ...
分类：
其他好文 时间：
2017-05-21 16:01:36
阅读次数：
134
本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。 ...
分类：
其他好文 时间：
2017-05-19 15:42:30
阅读次数：
202
部署Hadoop高性能集群服务器概述1）Hadoop是什么Hadoop是Lucene创始人DougCutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce程序，hdfs系统等。Hadoop包括两大核心，分布式存储系统和分布式计算系统。2）分布..
分类：
其他好文 时间：
2017-05-16 15:06:05
阅读次数：
316
linuxCluster：Cluster：计算机集合，为解决某个特定问题组合起来形成的单个系统：类型：LB：LoadBalancing，负载均衡：HA：HighAvailiablity，高可用：HP：HighPerformance，高性能：分布式系统：分布式存储分布式计算系统扩展方式：ScaleUP：向上扩展ScaleOut:向外扩展软件：..
分类：
其他好文 时间：
2017-05-16 14:39:11
阅读次数：
212
UUID含义是通用唯一识别码 (Universally Unique Identifier)，这 是一个软件建构的标准，也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算环境 (Distributed Computing Environmen ...
分类：
其他好文 时间：
2017-05-12 09:34:44
阅读次数：
319
Task为要执行的任务实体类： Master为分布式计算代理类，负责创建多个工作线程来处理任务，并将结果汇总，内部维护任务队列，结果map集合和线程map集合： Worker承担计算和计算结果汇总，处理队列中的Task: 测试类： ...
分类：
其他好文 时间：
2017-05-11 22:16:15
阅读次数：
217
曾经的学习笔记 1.Hadoop简介： a) 分布式存储系统HDFS b) 分布式计算框架MapReduce 2.HDFS优点： a) 高容错性 b) 适合批处理 c) 适合大数据处理 d) 可构建在廉价机器上 3.HDFS的缺点： a) 低延迟数据访问 b) 小文件存取 c) 并发写入、文件随机修 ...
分类：
其他好文 时间：
2017-05-04 18:34:27
阅读次数：
188
1.背景分布式计算的发迹应该是google在2003年发表的三篇paper。各自是GFS、MapReduce、BigTable。当中MapReduce大家都非常熟悉了。不懂的同学也能够看看我之前写的文章【分布式计算】MapReduce的替代者-Parameter Server为什么google会搞分 ...
分类：
其他好文 时间：
2017-05-03 09:19:46
阅读次数：
229
pwd显示当前文件夹，ls查看文件夹下的文件，cd 进入文件夹-bash-4.2$ pwd/home/myhaspl-bash-4.2$ lsabc hadoop-2.4.1 mydoclist mypylst mypylsts numpyabd hadoop-2.4.1-src.tar.gz my ...
分类：
系统相关 时间：
2017-05-02 09:58:48
阅读次数：
235
