创建三台虚拟机，IP地址为：192.168.169.101，192.168.169.102，192.168.169.103 将192.168.169.102为namenode,192.168.169.101,192.168.169.103为datanode 关闭防火墙，安装JDK1.8，设置SSH无 ...
分类：
其他好文 时间：
2017-11-07 00:17:30
阅读次数：
240
注意：本文只讲Sqoop1.4.6的安装。和hive一样，sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1，hadoop2.8.0的安装请参考博文： http://blog.csdn.net/pucao_cug/ ...
分类：
其他好文 时间：
2017-11-04 11:09:51
阅读次数：
870
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS Fede ...
分类：
其他好文 时间：
2017-11-03 13:12:40
阅读次数：
222
Hadoop前面安装的集群是2.6版本，现在升级到2.7版本。注意，这个集群上有运行Hbase，所以，升级前后，需要启停Hbase。更多安装步骤，请参考：Hadoop集群(一)Zookeeper搭建Hadoop集群(二)HDFS搭建Hadoop集群(三)Hbase搭建升级步骤如下：集群IP列表Namenode:
192.168.143.46
192...
分类：
其他好文 时间：
2017-10-26 23:00:12
阅读次数：
201
hadoop不支持传统文件系统的挂载，使得流式数据装进hadoop变得复杂。 hadoo中，文件只是目录项存在；在文件关闭前，其长度一直显示为0：如果在一段时间内将数据写到文件却没有将其关闭，则若网络中断后，则我们得到的仅仅是一个空白文件；故：最好编写小文件，这样能尽快将其关闭？ 【mapper 单 ...
分类：
其他好文 时间：
2017-10-26 21:00:05
阅读次数：
213
Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。 etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultFS NameNode URI hdfs://host: ...
分类：
其他好文 时间：
2017-10-25 11:33:14
阅读次数：
167
环境说明： ip地址 用户名称 机器名称 机器角色 192.168.3.150 donny donny-Lenovo-B40-80 Master + Salve 192.168.3.167 cqb cqb-Lenovo-B40-80 Salve Master机器主要配置NameNode和JobTra ...
分类：
系统相关 时间：
2017-10-24 18:14:40
阅读次数：
280
Hive只在一个节点上安装即可： 1.上传tar包：这个上传就不贴图了，贴一下上传后的，看一下虚拟机吧： 2.解压操作： [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图： 3：解压缩以后启动一下hive： 4：开始操作sql： ...
分类：
其他好文 时间：
2017-10-18 18:22:11
阅读次数：
222
Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation ...
分类：
其他好文 时间：
2017-10-16 23:23:09
阅读次数：
237
HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNo ...
分类：
其他好文 时间：
2017-10-16 23:15:51
阅读次数：
145
