from : https://www.cnblogs.com/LBSer/p/4753112.html 对每一个程序员而言，故障都是悬在头上的达摩克利斯之剑，都唯恐避之不及，如何避免故障是每一个程序员都在苦苦追寻希望解决的问题。对于这一问题，大家都可以从需求分析、架构设计 、代码编写、测试、code ...
分类：
其他好文 时间：
2019-02-25 18:15:26
阅读次数：
143
刚启动完hadoop的时候,hadoop会进入安全模式,此时不能对hdfs进行上传,修改,删除文件的操作。 hadoop dfsadmin -safemode get 命令是用来查看当前hadoop安全模式的开关状态 hadoop dfsadmin -safemode enter 命令是打开安全模式 ...
分类：
其他好文 时间：
2019-02-25 18:10:15
阅读次数：
161
块block块的默认大小128M 块的副本数3 配置文件 hdfs-site.xml 配置信息从官网查询 浏览器输入hadoop.apache.org 点击Learn more 出来以下页面病点击Single Node Setup 单节点部署 点击单节点部署以后出来以下页面，在最左下角查找相关文件的 ...
分类：
其他好文 时间：
2019-02-24 15:05:59
阅读次数：
221
一、RPC（Remote Procedure Call ） ：远程过程调用 1、RPC是远程过程调用协议，实现调用者和被调用者二地之间的连接和通信。其基本通信模型是基于client/server进程间相互通信模型 ，如图1所示。 图 1 使用RPC调用完成远程调用示意图 2、利用HADOOP的RPC ...
分类：
其他好文 时间：
2019-02-23 13:26:41
阅读次数：
319
一、MapReduce 原理 MapReduce 是一种变成模式，用于大规模的数据集的分布式运算。通俗的将就是会将任务分给不同的机器做完，然后在收集汇总。 MapReduce有两个核心：Map,Reduce,它们分别单独计算任务，每个机器尽量计算自己hdfs内部的保存信息，Reduce则将计算结果汇 ...
分类：
其他好文 时间：
2019-02-23 01:25:44
阅读次数：
145
Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 ...
分类：
其他好文 时间：
2019-02-22 23:17:22
阅读次数：
178
三个高级特性——快照、配额、回收站 一、快照（snapshot）:是一种备份，默认关闭 1、应用场景： 防止用户错误操作 备份 试验/测试 灾难恢复 2、命令： 管理命令： -allowsnapshot -disallowsnapshot 操作命令： -createshapshot 举例： 打开快照 ...
分类：
其他好文 时间：
2019-02-22 21:08:22
阅读次数：
215
HDFS的六大高级特性： 安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到 ...
分类：
其他好文 时间：
2019-02-22 12:44:52
阅读次数：
231
解决方式步骤： 1、进入hdfs的pod kubectl get pod -o wide | grep hdfs kubectl exec -ti hadoop-hdfs-namenode-hdfs1-948569108-c5d70 bash 2、获取票据 kinit -kt /etc/hdfs1/ ...
分类：
其他好文 时间：
2019-02-22 12:28:51
阅读次数：
318
HDFS的探究： HDFS HDFS是 Hadoop Distribute File System的缩写，是谷歌GFS分布式文件系统的开源实现，Apache Hadoop的一个子项目，HDFS基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将百千台组成存储集群，HDFS运行在低成本的 ...
分类：
其他好文 时间：
2019-02-22 12:25:54
阅读次数：
258
