①在官网下载最新的mahout版本,放在linux本机系统的/usr/local/目录下,然后解压即可tar -zxvf mahout-distribution-0.9.tar.gz②重命名解压后的文件夹为mahoutmv mahout-distribution-0.9 mahout③执行vi /e...
分类:
其他好文 时间:
2014-08-02 20:38:33
阅读次数:
208
hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步...
分类:
其他好文 时间:
2014-08-02 18:22:43
阅读次数:
247
Hadoop与Hadoop生态系统的区别Hadoop:是一个适合大数据分布式存储和分布式计算的平台,在Hadoop1.x中对应于HDFS和MapReduce;Hadoop生态系统:是一个很庞大的概念,Hadoop是其中最重要最基础的一个部分;生态系统中的每个子系统只负责解决某一个特定的问题域(甚至可...
分类:
其他好文 时间:
2014-08-02 15:27:03
阅读次数:
215
2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode Uuid unassig....
分类:
其他好文 时间:
2014-08-02 12:13:03
阅读次数:
269
Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类:
其他好文 时间:
2014-08-02 07:45:03
阅读次数:
366
近年来的大数据应用特别热,特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境,而大家手头一般没有多余的机器部署master和多个slave节点,就只能在VMware上多安装几个虚拟机来模拟集群的搭建,但是安装好一台虚拟机后,我想大部分的人都不想再耗时再重...
分类:
其他好文 时间:
2014-08-02 01:49:52
阅读次数:
267
Hadoop源起与体系概述 Hadoop的源起——Lucene Lucene是Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎早期发布在个人网站和SourceForge,2001年年底成为apache软件基金会jakarta的一个子项目 Lucene的目的是为软件开发人员提供一个简单易用的工具...
分类:
其他好文 时间:
2014-08-01 23:09:52
阅读次数:
388
项目起源是因为有人希望有个模拟环境来模拟公平调度器和容量调度器,以便合理配置调度器,降低生产环境出问题的风险,详见https://issues.apache.org/jira/browse/YARN-1021。之后在hadoop2.3.0就增加了这个工具。首先设定环境变量:exportHADOOP_HOME=/usr/hadoop-2.3.0export..
分类:
其他好文 时间:
2014-08-01 20:10:42
阅读次数:
284
Zookeeper使用了一种称为Zab(ZookeeperAtomic Broadcast)的协议作为其一致性复制的核心,其特点为高吞吐量、低延迟、健壮、简单,但不过分要求其扩展性。
Zookeeper的实现是有Client、Server构成,Server端提供了一个一致性复制、存储服务,Client端会提供一些具体的语义,比如分布式锁、选举算法、分布式互斥等。从存储内容来说,Server端更多...
分类:
其他好文 时间:
2014-08-01 19:53:12
阅读次数:
309