DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去 ...
分类：
其他好文 时间：
2020-04-29 10:59:03
阅读次数：
65
前提 Hive 需要是 2.0以上版本 Tez配置 下载好tar包后，将tar包上传到HDFS集群路径下 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 将Linux本机上的tar包解压 Hive配置 在hive/conf ...
分类：
其他好文 时间：
2020-03-31 22:43:48
阅读次数：
632
1空白处单击打开 shanghai hadoop 123456 root 123456 Hadoop hive 配置网络： 编辑 虚拟网络编辑器 nat模式 nat设置 网关ip # cd /etc/sysconfig/network-scripts/ #vi ifcfg-ens33 #servic ...
分类：
其他好文 时间：
2020-01-10 12:48:35
阅读次数：
75
1.下载hive http://mirror.bit.edu.cn/apache/hive/ 2.解压文件 tar -xvf apache-hive-3.1.2-bin.tar.gz 修改名称 mv apache-hive-3.1.2 hive 3.配置环境变量 1.修改~/.bashrc文件 vi ...
分类：
系统相关 时间：
2020-01-02 15:42:56
阅读次数：
110
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value></proper ...
分类：
其他好文 时间：
2019-12-01 20:35:16
阅读次数：
92
在配置 Metastore 到 MySql时，遇到一个java.net.ConnectException的坑。 首先我们应该排除基本的hive配置是成功的，至少保证在单机模式（Metastore 默认存储在自带的 derby 数据库）输入hive能到达下面界面 其次，我们需要安装版本较低的数据库（尽 ...
分类：
其他好文 时间：
2019-11-03 01:33:46
阅读次数：
97
hive 配置 hive> set; 查看所有配置hive> set key； 查看某个配置hive> set key value； 设置某个配置 我们可以看到一些 hadoop 的配置，因为 hive 也读入了 hadoop 的配置 hive 的参数配置有 3 种方式 1. 配置文件 默认配置文件 ...
分类：
其他好文 时间：
2019-11-02 15:33:31
阅读次数：
61
一，文件下载 二，hive安装 2.1 mysql安装 2.2 解压hive 2.3 配置文件配置 2.4 环境变量配置 2.5 添加mysql的connect的jar包 三，hive使用方式 3.1 hive直接启动服务 3.2 hiveserver2以一个服务的方式启动 3.3 hive -e直 ...
分类：
其他好文 时间：
2019-05-21 15:57:51
阅读次数：
159
