注意：本文只讲Sqoop1.4.6的安装。和hive一样，sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1，hadoop2.8.0的安装请参考博文： http://blog.csdn.net/pucao_cug/ ...
分类：
其他好文 时间：
2017-11-04 11:09:51
阅读次数：
870
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS Fede ...
分类：
其他好文 时间：
2017-11-03 13:12:40
阅读次数：
222
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍，对Hadoop这个神奇的小象有了一个初步的了解，还对每次学习的内容进行了总结，也形成了我的一个博文系列《Hadoop学习笔记系列》。其实，早在2014年Hadoop2.x版本就已经开始流行了起来，并且已经成为了现在的主流。当然， ...
分类：
其他好文 时间：
2017-11-03 12:55:54
阅读次数：
160
修改主机名 1. 修改主机名 vi /etc/sysconfig/network ,改为 master , slave1 , slave2 2. source /etc/sysconfig/network 让刚才的设置生效 3. 如果不行需要 reboot 4. 在master主机上输入命令:vi ...
分类：
其他好文 时间：
2017-11-01 15:43:12
阅读次数：
666
一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示: [ 图1.Hadoop 1.x架构图 ] 从图中可看出，1.x版本之前只有一个Namen ...
分类：
其他好文 时间：
2017-10-29 20:26:31
阅读次数：
177
我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配 ...
分类：
系统相关 时间：
2017-10-29 13:55:04
阅读次数：
226
环境 ubuntu hadoop2.8.1 java1.8 1.配置java1.8 2.配置ssh免密登录 3.hadoop配置 环境变量 配置hadoop环境文件hadoop-env.sh core-site.xml mapred-site.xml hdfs-site.xml yarn-site. ...
分类：
系统相关 时间：
2017-10-28 23:55:26
阅读次数：
273
转自：http://www.cnblogs.com/gaoxu007/p/7204827.html 最近项目中使用到大数据平台，代码中应用了hbase-client.0.98.6-hadoop2.jar包，该包中引用了jdk.tools.1.7，所以导致eclipse中pom.xml老是提示Miss ...
分类：
编程语言 时间：
2017-10-28 14:34:30
阅读次数：
483
1：由于HBase依赖hdfs，所以下载的时候注意HBase的版本： 注：我使用的是hadoop2.4版本的，所以HBase选择支持2版本的：hbase-0.96.2-hadoop2-bin.tar.gz 2：上传hbase安装包，上传到一台机器即可： 建议：自己规划一下自己的机器，最好是独立的，再 ...
分类：
其他好文 时间：
2017-10-25 19:44:04
阅读次数：
191
原因： 解决方案一： 如果无效，请检查系统环境变量中HADOOP_HOME设置的hadoop版本是否与插件版本一致。 解决方案二： 参考：windows编译hadoop 2.x Hadoop-eclipse-plugin插件（讲解得非常详细，后续安装插件的部分以及问题异常也很详细，很nice的一个帖 ...
分类：
Web程序 时间：
2017-10-24 19:30:22
阅读次数：
367
