#关闭防火墙serviceiptablesstop1：安装JDK1.1上传jdk-7u_65-i585.tar.gz1.2解压jdk#创建文件夹mkdir/home/hadoop/app#解压tar-zxvfjdk-7u55-linux-i586.tar.gz-C/home/hadoop/app1.3将java添加到环境变量中sudovim/etc/profile#在文件最后添加exportJAVA_HOME=/home/hadoop/ap..
分类：
其他好文 时间：
2016-11-16 03:29:54
阅读次数：
259
1.自己设计一个并行计算框架，应该需要考虑那些问题呢？第一个问题是：并行计算肯定是多台计算机吗，多台计算机他们之间如何划分任务？这个地方总归有一个模块来分发任务，也就意味这它就是老大，它来维护任务或者资源mapreduce在hadoop1.x版本上是jobtracker,hadoop2.x版本是..
分类：
其他好文 时间：
2016-11-15 01:53:39
阅读次数：
120
编译cdh版hadoop2.5.0出现的问题 系统: CentOs66 64位 JDK:1.7 Maven: 3.0.5 Protobuf: libprotoc 2.5.0 编译命令: mvn package -DskipTests -Pdist,native 编译失败 解决办法 结果 ...
分类：
Web程序 时间：
2016-11-12 19:52:02
阅读次数：
1849
需要下载的文件：链接：http://pan.baidu.com/s/1i5yRyuh 密码：ms91 一 下载并编译 hadoop-eclipse-plugin-2.7.3.jar 二 将hadoop-eclipse-plugin-2.7.3.jar放到myeclipse的安装目录下的plugins ...
分类：
系统相关 时间：
2016-11-12 19:12:13
阅读次数：
1170
本博文，是在http://blog.csdn.net/u010911997/article/details/44099165 的基础上。感谢原博主！ 问题1：在DFS Lcation 上不能多文件进行操作： 在Hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： < ...
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2016-11-11 07:53:24
阅读次数：
170
前面写了单机/伪分布模式的部署，这里记录集群/完全分布的配置，后期准备更新MapReduce开发环境的配置。 ...
分类：
其他好文 时间：
2016-11-05 23:26:22
阅读次数：
466
1. 软件版本：Hadoop2.6.0（IDEA中源码编译使用CDH5.7.3，对应Hadoop2.6.0），集群使用原生Hadoop2.6.4，JDK1.8，Intellij IDEA 14 。源码...
分类：
其他好文 时间：
2016-11-05 09:47:30
阅读次数：
392
Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是google File Sy ...
分类：
其他好文 时间：
2016-11-01 14:26:16
阅读次数：
160
1.修改core-site.xml，加上<property><name>fs.defaultFS</name><value>hdfs://backup02:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/zhongml/hadoop-2.7.2/tmp</value&g..
分类：
编程语言 时间：
2016-10-31 22:31:08
阅读次数：
248
