https://blog.csdn.net/QYmufeng/article/details/79580582 我的环境： 系统平台：Ubuntu14.04TLS（64位） Hadoop环境：Hadoop2.8.3 Eclipse：Neon.2 Release(4.6.2) Eclipse插件：ha ...
分类：
系统相关 时间：
2021-06-17 17:05:08
阅读次数：
0
1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类：
其他好文 时间：
2021-04-21 12:09:16
阅读次数：
0
1:准备三台服务器hadoop2、hadoop3、hadoop4。zookeeper集群部署最好是奇数个节点，目的是增加容错率（集群需要保证半数以上机器正常）和防止脑裂。 2:准备zookeeper压缩包，官网下载地址：http://mirror.bit.edu.cn/apache/zookeepe ...
分类：
其他好文 时间：
2021-04-15 12:08:25
阅读次数：
0
一、Hadoop集群安装 1. 环境准备 （1） 准备三台机器：hadoop0(192.168.11.10)、hadoop1(192.168.11.11)、hadoop2(192.168.11.12) （2）每台机器安装好JAVA环境以及SSH打通（SSH免密登录；关闭防火墙） 2. 下载Hadoo ...
分类：
其他好文 时间：
2020-08-11 10:44:56
阅读次数：
79
Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
1 HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 Name ...
分类：
其他好文 时间：
2020-07-21 13:55:58
阅读次数：
69
先达到极限，然后再突破它 HA高可用 HA概述 所谓HA（High Available），即高可用（7*24小时不中断服务）。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在 ...
分类：
其他好文 时间：
2020-07-10 17:23:12
阅读次数：
61
转自：https://blog.csdn.net/zhanglong_4444/article/details/99471770 name description value hadoop.registry.rm.enabled 是否在YARN资源管理器中启用了注册表？ 如果属实，那么YARN RM ...
Hadoop2.7.7 centos7 完全分布式 配置与问题随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。 0.prepare jdk，推荐1.8 关闭防 ...
分类：
其他好文 时间：
2020-07-04 18:52:39
阅读次数：
80
一、小文件概述 小文件通常指文件大小要比HDFS块大小还要小很多的文件（在hadoop1.x版本的时候可以通过dfs.blocksize来设置，默认块大小为64M；在hadoop2.x版本的时候，则需要通过dfs.block.size设置，且默认大小为128M） 如果存在大量小文件，则会对整个存储系 ...
分类：
其他好文 时间：
2020-06-30 22:57:46
阅读次数：
191
