关闭虚拟机之后重启hadoop，想要用删除之前在hdfs运行的output文件，显示： hadoop之Name node is in safe mode 处理方法： bin/hadoop dfsadmin -safemode leave ...
分类：
其他好文 时间：
2020-03-05 15:26:59
阅读次数：
67
一、下载hadoop-eclipse-plugin-2.7.3.jar插件放到eclipse的plugins的目录下 二、把Window编译后的hadoop的文件放到 hadoop的bin目录下 三、添加环境变量的支持 HADOOP_HOME=e:hadoop/hadoop-2.7.7 Path=% ...
分类：
其他好文 时间：
2020-03-05 10:35:29
阅读次数：
71
运用MapReduce来统计一个文章的重复的字数 1.准备一篇文章，并且上传到hdfs 注意编码是要utf 8 这样上传到liunx上面才不会乱码 先上传到linux ：rz 在上传到hdfs ：hadoop fs put 琵琶行.txt / 2.写MapReduce程序 MapReduce基于ya ...
分类：
其他好文 时间：
2020-03-05 00:59:47
阅读次数：
69
hadoop主备高可用故障转移机制 NameNode和2nn zookeeper保姆机制 zookeeper全新选举机制 zookeeper之非全新选举 NameNode和2nn hbase之存数据流程 hbase之创建表流程 hbase之查询路由(解决元数据信息不断增大 hbase之rowkey设 ...
分类：
其他好文 时间：
2020-03-04 22:29:35
阅读次数：
152
hive只是一个客户端，只要安装机器上有jdk和Hadoop就可以，解压即用 因为hive默认是derby数据库，而derby数据库的弊端如下 ①默认只会从当前目录下读取metastore_db的库文件 ②不支持多实例同时使用一个库 所以重点是如何配置数据库在MySQL上 1、检查有没有旧的MySQ ...
分类：
其他好文 时间：
2020-03-04 15:08:30
阅读次数：
68
摘要及说明 本文旨在使用Vmware创建Ubuntu虚拟机，由于本文是在写 "使用vmware搭建hadoop集群" 的时候写的前置知识，文中的用户名等会使用 或者类似的词，你可以改为自己喜欢的名字，当然如果你的目的是( "用vmware搭建hadoop集群" ，我不建议你进行更改。 阅读须知 阅读 ...
分类：
系统相关 时间：
2020-03-04 12:33:10
阅读次数：
125
HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh ...
分类：
其他好文 时间：
2020-03-04 09:41:47
阅读次数：
74
使用Vmware创建ubuntu虚拟机并搭建hadoop集群 ...
分类：
系统相关 时间：
2020-03-04 09:34:17
阅读次数：
121
联邦Hadoop 是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切 ...
分类：
其他好文 时间：
2020-03-04 09:18:04
阅读次数：
73
HDFS如何保护高可用 1. NameNode 通过JournalNode和DFSZKFailoverController实现。 JournalNode负责主从数据一致； ZKFC负责主从的Failover(通过ssh或shell实现防止脑裂). 2. JournalNode 自生也是分布式的，因为 ...
分类：
其他好文 时间：
2020-03-03 22:24:17
阅读次数：
86
