这是hadoop官网伪分布式安装流程 http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 本机部署环境，虚拟机VMware Hadoop版本：Hadoop 2.9.1 LI ...
分类：
其他好文 时间：
2018-05-25 00:23:31
阅读次数：
185
1. 参考说明参考文档： http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.99.7/admin/Installation.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名... ...
分类：
其他好文 时间：
2018-05-24 10:27:05
阅读次数：
399
1. 参考说明参考文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNa... ...
分类：
其他好文 时间：
2018-05-23 10:23:37
阅读次数：
280
1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.80 192.168.1.80 192.168.1.80 1.2. 机器列表 机器IP 主机名 用户组/用户 192.168.1.80 centosha... ...
分类：
其他好文 时间：
2018-05-20 20:10:57
阅读次数：
322
主控终端 主机名 ubuntuhadoop.smartmap.com IP 192.168.1.60 Subnet mask 255.255.255.0 Gateway 192.168.1.1 DNS 218.30.19.50 61.134.1.5 Search domain... ...
分类：
系统相关 时间：
2018-05-20 20:08:36
阅读次数：
421
说明：在安装zookeeper+Hbase之前，我们应该已经将hadoop集群搭建好了（三个节点），并且验证启动成功。因为HBase是一种构建在HDFS之上的分布式、面向列的存储系 统。 zookeeper 安装及配置 貌似hBase自带的zookeeper只能用作伪分布式，想用于完全分布式要下载外 ...
分类：
其他好文 时间：
2018-05-20 14:14:36
阅读次数：
268
一：搭建的种类 1）本机模式 2）伪分布式模式 3）完全分布式模式 我们先来学习下搭建伪分布式模式。 二：要求 hadoop版本2.7.3，这个版本的hadoop有些小的bug但是不影响使用，电脑要求8G内存，最好加固态硬盘，会大大提升电脑的性能，centos6.5/6.8。 三：安装步骤 1.安装 ...
分类：
其他好文 时间：
2018-05-19 20:42:24
阅读次数：
2484
前言：在这篇文章中https://www.jianshu.com/p/eeae2f37a48c我们使用的是root用户来部署的，在生产环境中，一般某个组件是由某个用户来启动的，本篇文章介绍下怎样用hadoop用户来重新部署伪分布式(HDFS)1.前期准备创建hadoop用户，及配置ssh免密登录参考：https://www.jianshu.com/p/589bb43e02822.停止root启动的
分类：
其他好文 时间：
2018-05-19 17:03:49
阅读次数：
140
ZooKeeper集群的一些基本概念 zookeeper集群搭建： zk集群，主从节点，心跳机制（选举模式） 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成功 和其他大多数集群结构一样，zoo ...
分类：
其他好文 时间：
2018-05-18 22:51:49
阅读次数：
210
前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。 环境： 系统：Centos 6.5 Hadoop：Apache，2.7.3 Mysql：5.1.73 JDK：1.8 Sqoop：1.4.7 Hadoop以伪分布式模式运行。 一、使用的导入命令 我主要是参考一篇文章去 ...
分类：
数据库 时间：
2018-05-18 18:00:07
阅读次数：
329
