在hadoop1中核心组成部分是HDFS、MapReduce,到了Hadoop2,核心变为HDFS、Yarn,而且新的HDFS中可以有多个NameNode,每个都有相同的职能。以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下:配置文件无非就...
分类:
其他好文 时间:
2015-10-31 12:58:44
阅读次数:
211
将主节点配置好的hbase拷贝到从节点 1、 ?? ?cp ~/Desktop/hbase-0.98.5-hadoop1-bin.tar.gz ~/ ?? ?tar -zxvf hbase-0.98.5-hadoop1-bin.tar.gz 2、hbase-env.sh ?? ?cd ~/hbase-0.98.5-hadoop1/conf ...
分类:
其他好文 时间:
2015-10-28 19:41:23
阅读次数:
184
create-native-configure: [exec] configure.ac:47: error: possibly undefined macro: AC_PROG_LIBTOOL [exec] If this token and others are le...
分类:
系统相关 时间:
2015-10-27 17:22:22
阅读次数:
312
一、虚拟机版本VirtualBox-4.3.30二、操作系统CentOS-6.7-x86_64-bin-DVD1.iso下载地址1:http://www.centoscn.com/CentosSoft/iso/2015/0813/6001.html三、安装两个Linux虚拟机名字取名为hadoop1...
分类:
其他好文 时间:
2015-10-25 10:44:25
阅读次数:
233
1)core-site.xml fs.default.name hdfs://Master:9000 Hadoop.tmp.dir/usr/local/hadoop/tmp hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它,并且N...
分类:
其他好文 时间:
2015-10-19 16:52:40
阅读次数:
208
上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用场景了。前面我们通过Eclipse插件来进行文件的上传,删除等,下面我们熟悉下Hadoop命令,从而更能直接,强力的对Hadoop进行操作。 下...
分类:
其他好文 时间:
2015-10-12 10:38:37
阅读次数:
361
前提条件:在Linux系统中已经安装好了jdk和hadoop本文的安装环境:1.arch Linux 2. hadoop1.0.1本地伪分布模式安装 3. Eclipse 4.51. 下载Eclipse 的Linux版本(http://www.eclipse.org/downloads/?osTyp...
分类:
系统相关 时间:
2015-09-28 22:19:23
阅读次数:
345
hadoop2与hadoop1的配置有些许不同,最主要的是hadoop1里的master变成了yarn这篇文直接从hadoop的配置开始,因为系统环境和jdk和hadoop1都是一样的。hadoop1的配置链接,从第六步开始六、设置hadoop2参数进入 usr/local/hadoop/etc/h...
分类:
其他好文 时间:
2015-09-20 17:43:16
阅读次数:
222
操作系统的调度算法 搜索引擎的优化 linux 查看内存 磁盘 进程 端口 命令mysql查看数据库连接,执行进度命令java序列化和hadoop序列化区别Storm原理Hadoop 的任务分配hadoop1.0与2.0架构区别网络协议为什么不采取除了geohash之外的算法 机器学习 数据挖掘 为...
分类:
其他好文 时间:
2015-09-09 22:40:42
阅读次数:
236
[root@hadoop1 bin]# uname -a Linux hadoop1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux[root@hadoop1 bin]#...
分类:
系统相关 时间:
2015-09-08 12:04:55
阅读次数:
205