Hive数据仓库位置配置 1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。 2）在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。 3）修改default数据仓库原 ...
分类：
其他好文 时间：
2019-11-05 00:49:34
阅读次数：
128
CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; ...
分类：
数据库 时间：
2019-11-05 00:39:47
阅读次数：
125
[Toc] 0. Yarn的来源 ? hadoop 1.x的时代，并没有Yarn，hadoop核心组件只有HDFS和MapReduce。到了hadoop2.x才有了Yarn的诞生，组件包含HDFS，MapReduce和Yarn。 ? 诞生原因：hadoop 1.x存在的最大问题就是资源管理问题。技术 ...
分类：
其他好文 时间：
2019-11-04 15:11:45
阅读次数：
135
1. 前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 2. 上传tar包并修改配置文件 解压tar包到指定目录 进入配置目录 vim hb ...
分类：
系统相关 时间：
2019-11-03 16:26:41
阅读次数：
91
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
一、hdfsnamenodeHA1、概述?在hadoop1.0的时候，hdfs集群中namenode存在单点故障的问题，当namenode不可用的时候，就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时，停掉namenode之后，hdfs集群也无法使用了。?通过HA的方式，可以一定程度上解决单点故障问题。2、namenodeHA工作要点1）元数据管理方式需
分类：
其他好文 时间：
2019-11-03 01:34:32
阅读次数：
89
在配置 Metastore 到 MySql时，遇到一个java.net.ConnectException的坑。 首先我们应该排除基本的hive配置是成功的，至少保证在单机模式（Metastore 默认存储在自带的 derby 数据库）输入hive能到达下面界面 其次，我们需要安装版本较低的数据库（尽 ...
分类：
其他好文 时间：
2019-11-03 01:33:46
阅读次数：
97
问题：使用-get命令从hdfs中拷出文件时，提示权限不够，如下： 分析： 可能有三方面原因： hdfs 中的文件或文件夹 没有读取权限； hdfs 的配置中未允许拷出文件； linux 文件夹没有写入权限 解决办法： 针对3种可能，分别解决办法如下： 1 增加hdfs文件夹权限 hadoop fs... ...
分类：
其他好文 时间：
2019-11-02 20:10:35
阅读次数：
118
在 hive 中分区表是很常用的，分桶表可能没那么常用，本文主讲分区表。 概念 分区表 在 hive 中，表是可以分区的，hive 表的每个区其实是对应 hdfs 上的一个文件夹； 可以通过多层文件夹的方式创建多层分区； 通过文件夹把数据分开 分桶表 分桶表中的每个桶对应 hdfs 上的一个文件； ...
分类：
其他好文 时间：
2019-11-02 16:14:57
阅读次数：
104
启动hadoop 在浏览器中打开localhost:50070 找到 进入 操作 1）新建文件夹 在根目录下新建msq文件夹 查看 2）本地上传文件 将media/sf_gx(我的共享文件夹的位置)/1.txt 上传到/msq下 查看 3）查看文档 查看/msq/1.txt 4)下载到本地 将/ms ...
分类：
其他好文 时间：
2019-11-02 13:42:24
阅读次数：
111
