1.修改host vim /etc/hosts 192.168.1.70 slave192.168.1.106 master 2.master免密登陆slave master将公钥发送到slave： scp ~/.ssh/authorized_keys slave:~/ slave将授权登陆 mv ...
分类：
其他好文 时间：
2018-08-15 21:05:54
阅读次数：
149
sudo adduser hadoop sudo 创建Hadoop用户 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : 创建Hadoop用户 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : sudo useradd -m hadoop -s /bin/ ...
分类：
其他好文 时间：
2018-08-14 19:55:54
阅读次数：
217
虚拟机环境的Linux系统由于是虚拟化虚拟出来的主机环境，因此 经常会出现一些操作系统的问题，今天我遇到了一个Ubuntu操作系统文件系统成了只读模式，无法进行系统的操作，由于出问题的主机是我个人搭建的Hadoop集群的name主节点，对整个集群时比较重要的，因此在网上也查了一些资料，后来也成功解决 ...
分类：
系统相关 时间：
2018-08-13 00:46:53
阅读次数：
295
参考： https://blog.csdn.net/pucao_cug/article/details/71698903 设置免密登陆后，必须重启ssh服务 systermctl restart sshd.service ssh服务介绍： 两种登陆方式： 1.密码登陆 2.密钥登陆 启动 http: ...
分类：
其他好文 时间：
2018-08-11 20:53:15
阅读次数：
247
Cloudera Manager Cloudera Manager 分为两个部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDF ...
分类：
其他好文 时间：
2018-08-09 23:16:00
阅读次数：
291
最近有安装了一次hadoop集群，NameNode启动失败，查看日志，找到以下原因： 遇到的异常1： org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-javoft/dfs ...
分类：
其他好文 时间：
2018-08-04 17:26:25
阅读次数：
182
Hadoop集群搭建及介绍： 什么是hadoop？ Hadoop是Apache开源的，可靠的，可扩展的一个项目； 能解决的问题是： 1、海量数据的存储（hdfs） 2、海量数据的分析（MapReduce） 3、资源管理调度（YARN） 1、Hadoop子项目家族成员： 2、修改主机名： 3、配置ss ...
分类：
其他好文 时间：
2018-08-01 19:45:02
阅读次数：
153
Hive Hive是一个构建在Hadoop上的数据仓库框架，设计目的是让精通SQL的分析师能够对存放在HDFS上的大规模数据集执行查询操作。 Hive把数据组织为表，通过这种方式为存储在HDFS的数据赋予结构，并将表模式等元数据存储在名为Merastore的数据库中。基于这种类似关系的数据模型，Hive把SQL查询转换为一系列在Hadoop集群上
分类：
其他好文 时间：
2018-08-01 11:39:28
阅读次数：
132
本文主要以个人工作学习总结为主,同时也为了方便更多的兴趣爱好者参与学习交流,现将具体的搭建步骤分享如下: 一.基础环境 1.1 jdk的安装与配置 Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 ①上传jdk压缩包:这里使用的是WinScp工具 上传j ...
分类：
其他好文 时间：
2018-07-30 17:59:23
阅读次数：
149
第一部分 安装前准备 环境：workstation11 + centos 7 + hadoop-2.7.7 + mysql 5.6.40 + hive 2.3.3 首先安装mysql，步骤看这里。 接着安装HIVE。 第二部分 正式安装HIVE 1.开启hadoop集群，并关闭hadoop的安全模式 ...
分类：
其他好文 时间：
2018-07-30 11:15:03
阅读次数：
1434
