1 概述 在Hadoop 2.0.0之前，一个Hadoop集群只有一个NameNode，那么NameNode就会存在单点故障的问题，幸运的是Hadoop 2.0.0之后解决了这个问题，即支持NameNode的HA高可用，NameNode的高可用是通过集群中冗余两个NameNode，并且这两个Name ...
分类：
其他好文 时间：
2018-06-12 20:55:07
阅读次数：
174
搭建环境： 虚拟机 VMware12Pro 操作系统 centos6.8 hadoop 1.2.1 1.导入镜像文件，添加java环境 1.查看当前系统中安装的java，ls /usr/share |grep java 2.删除自带java,rm -rf java* 3.解压jdk,tar -zxv ...
分类：
系统相关 时间：
2018-06-12 16:26:08
阅读次数：
162
安装包准备 操作系统：ubuntu 16.04.3 desktop amd64.iso 软件包：VirtualBox 安装包：hadoop 3.0.0.tar.gz，jdk 8u161 linux x64.tar.gz 1. 环境准备 使用VirtualBox和下载的ubuntu镜像文件新建三个Ub ...
分类：
其他好文 时间：
2018-06-10 11:43:59
阅读次数：
176
记录一次生产环境hadoop集群优化以及pid文件缺失处理
分类：
其他好文 时间：
2018-06-07 19:20:05
阅读次数：
128
Hadoop 集群之MySQL的安装 一： 二： 三： 四： 五： 六： 七： 八：修改数据库字符：解决中文乱码问题 ，mysql默认为latin1，我们要修改为utf-8 1> 2>然后我们做修改：-->首先我们需要建一个文件夹mysql在 /etc/ -->然后将 /usr/sharemysql ...
分类：
数据库 时间：
2018-06-06 15:56:09
阅读次数：
409
下载jmx_exporter的jar包 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar 创建配置文件namenode. ...
分类：
其他好文 时间：
2018-06-04 16:47:42
阅读次数：
4403
HDFS是Hadoop集群的文件系统，这是一种分布（distributed）、容错（fault tolerant）的文件系统 所谓分布，是说整个文件系统的内容并非集中存储在一台或几台“文件服务器上”，而是分散在集群的不同节点上 对于大数据文件系统，文件之所以应该是分布式的，不再仅仅是容量和容错的问题 ...
分类：
其他好文 时间：
2018-06-03 16:25:30
阅读次数：
169
添加节点、删除节点的两种方式：（1）一种是静态添加修改slaves文件，重启hadoop集群优点：改动少缺点：暴力 需要停止服务应用环境：晚上或凌晨做 不耽误使用检查：50070和8088端口检查(50070hdfs系统的web地址，8088yarn的外部端口)（2）一种是动态添加：修改slaves ...
分类：
其他好文 时间：
2018-06-02 20:43:29
阅读次数：
186
今天在hadoop集群执行任务的时候报了一个这个错误，听名字应该是三台机器的时间不同步。于是同步一下时间即可解决 1、安装ntpdate工具 2、 设置系统时间与网络时间同步xia ...
分类：
系统相关 时间：
2018-05-31 17:23:11
阅读次数：
215
hadoop-2.6.0动态添加新节点 https://blog.csdn.net/baidu_25820069/article/details/52225216 Hadoop集群动态增加新节点 一、在新增节点配置运行环境 1、安装和其他节点相同的java环境，jdk版本要相同。 2、修改/etc/ ...
分类：
其他好文 时间：
2018-05-31 14:42:57
阅读次数：
185
