linux中 首先需要先安装jdk并配置相应的环境变量 通过wget方式下载hadoop1.2.1版本，如果是生产环境使用建议使用1.*版本，因为2.*版本刚推出没多久，比较不稳定 下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1
分类：
其他好文 时间：
2016-01-30 17:46:24
阅读次数：
136
Spark简述Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足 于内存计算。从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式。 特点： 1、轻 Spark 0.6核心代码有2万行，Hadoop1.0为9万行，2.0为22万行。2、快 Spa...
分类：
其他好文 时间：
2016-01-23 13:15:09
阅读次数：
546
一、需求公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。以下我将以公司目前环境把写1.0部署步聚写出来二、知识点储备1、hadoop中NameNode、DataNode、Secondary、NameNode、JobTrac..
分类：
其他好文 时间：
2016-01-08 00:39:43
阅读次数：
221
hadoop：hadoop2.2 ，windows myeclipse环境；Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。在Hadoop1中，只需指定jt（jobtracker）和fs（namenode）即可，一般如下：[java]view pl...
分类：
系统相关 时间：
2015-12-20 22:37:52
阅读次数：
484
以hdfsreader到hdfswriter为例进行说明：1.datax的任务配置文件里需要指明使用的hadoop的配置文件，在datax+hadoop1.X的时候，可以直接使用hadoop1.X/conf/core-site.xml;但是当要datax+hadoop2.X的时候，就需要将hadoo...
分类：
其他好文 时间：
2015-12-18 18:59:27
阅读次数：
197
为什么会出现Hadoop2？Hadoop1的问题hdfs的namenode和mapreduce的jobtracker都是单点。namenode所在的服务器的内存不够用时，那么集群就不能工作了。mapreduce集群的资源利用率比较低。Hadoop1和Hadoop2对比MapReduce 资源管理和数...
分类：
其他好文 时间：
2015-12-15 21:15:49
阅读次数：
262
经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1NameNode 2DataNode三台机器，Hadoop为1.2.1解决办法：1.先停止Hadoop，bin/stop-all.sh2.三台机器都把hadoop1....
分类：
系统相关 时间：
2015-12-14 21:01:11
阅读次数：
237
假设NameNode在hadoop1上，JobTracker在hadoop2上1.1 NameNode所在节点是通过配置文件core-site.xml的fs.default.name的值体现的。 值还是hdfs://hadoop1:9000 JobTracker所在节点是通过配置文件map...
分类：
其他好文 时间：
2015-12-04 00:54:47
阅读次数：
207
因为个人太懒，所以很多配图没有上传，完整的部署安装教程另外备份了。这里记录一下防止文档丢了Hadoop1.0.4+Hbase0.94.2+Hive0.9.0分布式部署安装目录1服务器配置2Hadoop安装3Hbase安装4Hive安装版本控制信息版本日期拟稿和修改说明1.02012-11-27Yoa...
分类：
其他好文 时间：
2015-11-27 14:30:01
阅读次数：
222
本文介绍了Hadoop 1.2.1插件的编译步骤及编译后插件的配置。1. 将Haoop 1.2.1源文件hadoop-1.2.1.tar.gz解压到D:\hadoop-1.2.12. 将项目导入Eclipse 3. 将build-contrib.xml拷贝到项目下。 4. 修改build.xml 1...
分类：
其他好文 时间：
2015-11-15 00:43:55
阅读次数：
337
