hive只是一个客户端，只要安装机器上有jdk和Hadoop就可以，解压即用 因为hive默认是derby数据库，而derby数据库的弊端如下 ①默认只会从当前目录下读取metastore_db的库文件 ②不支持多实例同时使用一个库 所以重点是如何配置数据库在MySQL上 1、检查有没有旧的MySQ ...
分类：
其他好文 时间：
2020-03-04 15:08:30
阅读次数：
68
摘要及说明 本文旨在使用Vmware创建Ubuntu虚拟机，由于本文是在写 "使用vmware搭建hadoop集群" 的时候写的前置知识，文中的用户名等会使用 或者类似的词，你可以改为自己喜欢的名字，当然如果你的目的是( "用vmware搭建hadoop集群" ，我不建议你进行更改。 阅读须知 阅读 ...
分类：
系统相关 时间：
2020-03-04 12:33:10
阅读次数：
125
HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh ...
分类：
其他好文 时间：
2020-03-04 09:41:47
阅读次数：
74
使用Vmware创建ubuntu虚拟机并搭建hadoop集群 ...
分类：
系统相关 时间：
2020-03-04 09:34:17
阅读次数：
121
联邦Hadoop 是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切 ...
分类：
其他好文 时间：
2020-03-04 09:18:04
阅读次数：
73
配置core-site.xml <configuration> <!-- 把两个NameNode）的地址组装成一个集群mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </proper ...
分类：
其他好文 时间：
2020-03-04 00:07:55
阅读次数：
86
HDFS如何保护高可用 1. NameNode 通过JournalNode和DFSZKFailoverController实现。 JournalNode负责主从数据一致； ZKFC负责主从的Failover(通过ssh或shell实现防止脑裂). 2. JournalNode 自生也是分布式的，因为 ...
分类：
其他好文 时间：
2020-03-03 22:24:17
阅读次数：
86
一：Java类于HBase数据模型 二：HBaseConfiguration 包名 ： org.apache.hadoop.hbase.HBaseConfiguration作用：对HBase进行配置。使用方法演示样例： HBaseConfiguration hconfig = new HBaseCo ...
一.以之前搭建的为云计算平台为主节点 角色分配 Master:NameNode/DataNode ResourceManager/NodeManager Slave1:DataNode NodeManager Slave2:DataNode NodeManager 1. 修改hostname 2. ...
分类：
其他好文 时间：
2020-03-03 13:20:26
阅读次数：
95
大数据第一周：安装CentOS7 点击创建新对虚拟机。 选择典型。 指定安装源。 选择安装位置，第一个原则考虑放到不同的物理硬盘上，第二个考虑硬盘接口速度。 对于NameNode，由于我们对开发要在此节点上运行，所以硬盘空间要选择在40G以上。 硬盘文件选择单个，原因是为了提高运行速度。 为了提高安... ...
分类：
其他好文 时间：
2020-03-03 13:15:53
阅读次数：
123
