前段时间去培训，按照教程装了一遍Hadoop。回来又重新装一次，捋下思路，加深理解。基本配置如下，三个节点，一个namenode，两个datanode。Namenode192.168.59.144Datanode1192.168.59.145Datanode2192.168.59.146在虚拟机上做...
分类：
其他好文 时间：
2015-04-23 19:38:42
阅读次数：
178
本文引自吴超博客：http://www.superwu.cn/2014/02/12/1094/hadoop是分布式系统，运行在linux之上，配置起来相对复杂。hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoo...
分类：
其他好文 时间：
2015-04-23 12:49:38
阅读次数：
150
public class WordCountApp { // 可以指定目录,目录下如果有二级目录的话,是不会执行的,只会执行一级目录. private static final String INPUT_PATH = "hdfs://hadoop1:9000/abd";// 输入路径 ...
分类：
移动开发 时间：
2015-04-21 01:42:11
阅读次数：
199
Build Spark1.3.1 with CDH HADOOP1、找到CDH的版本[root@web02 spark1.3]# hadoop version
Hadoop 2.0.0-cdh4.7.0
Subversion file:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4...
分类：
其他好文 时间：
2015-04-20 16:55:39
阅读次数：
114
1.hadoop的分布式安装过程1.1 分布结构主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节...
分类：
其他好文 时间：
2015-04-20 00:26:26
阅读次数：
156
准备 eclipse ant1.8.0 hadoop1.2.1 src 步骤 1. 修改/home/hadoop/hadoop-1.2.1/src/contrib/build-contrib.xml 修改hadop.root值为实际的hadoop根目录 <property name="hadoop.root" location="/home/hadoop/h...
分类：
系统相关 时间：
2015-04-14 00:50:16
阅读次数：
196
环境：CentOS6.5??? HBase0.98.11??? thrift0.9.2 1.下载解压 [grid@hadoop1 ~]$ wget http://mirrors.cnnic.cn/apache/thrift/0.9.2/thrift-0.9.2.tar.gz
[grid@hadoop1 ~]$ tar -zxf thrift-0.9.2.tar.g...
分类：
其他好文 时间：
2015-04-11 21:09:19
阅读次数：
242
很期待，学习shell脚本，减少重复工作自动安装配置mysql脚本：#/bin/bashLOG_FILE=/home/hadoop1/log/installmysql.logfunction RpmMysql(){key=$1r=$(rpm -qa $key)if [ $r ];then retur...
分类：
其他好文 时间：
2015-04-10 13:00:54
阅读次数：
162
---恢复内容开始---1、解析Partiton 把map任务的输出的中间结果按照key的范围进行划分成r份，r代表reduce任务的个数。hadoop默认有个类HashPartition实现分区，通过key对reduce的个数取模(key%r),这样可以保证一段范围内的key交由一个reduce....
分类：
其他好文 时间：
2015-04-06 23:14:26
阅读次数：
332
---恢复内容开始---shuffle和排序过程图如下：MapReduce确保每个reduce的输入都按键排序，系统执行排序的过程——将map输出作为输入传给reduce——成为shuffle，理解shuffle的工作原理，有助于MapReduce程序的优化，因为shuffle属于不断被优化和改进的...
分类：
其他好文 时间：
2015-04-06 21:33:39
阅读次数：
436
