1:namenode[守护进程]作用： -->管理文件系统名称空间；【fsimage元数据镜像文件】 -->管理客户端对文件的访问；【edits操作文件】 -->Namenode执行文件系统命名空间操作，如打开，关闭，重命名文件和目录【edits操作文件】 -->确定block到Datanode的映 ...
分类：
其他好文 时间：
2018-06-04 21:37:38
阅读次数：
181
下载jmx_exporter的jar包 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar 创建配置文件namenode. ...
分类：
其他好文 时间：
2018-06-04 16:47:42
阅读次数：
4403
hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。 namenode与datanode之间的通信，jobtracker与tasktracker之间的通信，都是通过“心跳”完成的，hadoop的心跳机制的底层 ...
分类：
其他好文 时间：
2018-06-03 12:46:32
阅读次数：
767
1.启动虚拟机，启动集群 此时我们将主机hadoop1关机(断掉主机)，开始抢救： 1.使用 秘书(secondaryNameNode)，成功率不是100% (这里我们把hadoop44作为新的nameNode) 2.zookeeper第三方代替 方法一secondaryNameNode： 1.修改 ...
分类：
其他好文 时间：
2018-06-02 14:55:45
阅读次数：
174
1.hdfs是属于什么架构高可用的分布式架构2.hdfs部署后进程哪些?按启动顺序说NameNode,DataNode,SecondaryNameNode3.一个文件180M，请问实际存储多少，多少块?多少maptask?（副本为3）540M,6块，假如文件支持分割，那么就2个maptask。假如文件是压缩的，那么正好压缩不支持分割，那么就一个maptask4.副本放置策略，来说说看就近分配5.s
分类：
其他好文 时间：
2018-06-01 14:28:28
阅读次数：
133
问题：WARNorg.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager:Waited19016ms(timeout=20000ms)foraresponseforsendEdits.Succeededsofar:[10.80.248.17:8486]namenodegcoverheadlimitexceeded原因：1，网络原因-检查正
分类：
其他好文 时间：
2018-06-01 11:35:48
阅读次数：
895
Hadoop 桥接群的搭建 集群分配：(一主三从) 我电脑的虚拟机：hadoop4:namenode+datanode+resourceManager 我one-friend的电脑虚拟机：hml-1:datanode+datamanager 我two-friend的电脑虚拟机：hadoop_yu1: ...
分类：
其他好文 时间：
2018-06-01 10:43:17
阅读次数：
167
报错： 无明显报错 状况： 所有namenode都是standby，即ZK服务未生效 尝试一：手动强制转化某个namenode为active 操作：在某台namenode上，执行 hdfs haadmin -transitionToActive --forcemanual nn1 (nn1是你的某台 ...
分类：
数据库 时间：
2018-05-31 19:36:59
阅读次数：
232
一、准备 该准备工作在三台机器上都需要进行，首先使用 vmvare 创建 1 个虚拟机，这台虚拟机是 master，一会需要把 master 克隆出两台 slave 点确定然后开启此虚拟机 然后添加/boot 分区，大小为 1G，文件系统选 ext4 然后添加 swap 分区，注意，swap 分区为 ...
分类：
其他好文 时间：
2018-05-29 18:53:43
阅读次数：
291
最近在学习大数据，需要安装Hadoop，自己弄了好久，最后终于弄好了。网上也有很多文章关于安装Hadoop的，但总会遇到一些问题，所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来，有什么不对的地方大家可以留言更正。 一、ssh免密登录 1、测试是否能免密登录 # ssh loc ...
分类：
其他好文 时间：
2018-05-23 10:56:01
阅读次数：
191
