一、hdfsnamenodeHA1、概述?在hadoop1.0的时候，hdfs集群中namenode存在单点故障的问题，当namenode不可用的时候，就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时，停掉namenode之后，hdfs集群也无法使用了。?通过HA的方式，可以一定程度上解决单点故障问题。2、namenodeHA工作要点1）元数据管理方式需
分类：
其他好文 时间：
2019-11-03 01:34:32
阅读次数：
89
在配置 Metastore 到 MySql时，遇到一个java.net.ConnectException的坑。 首先我们应该排除基本的hive配置是成功的，至少保证在单机模式（Metastore 默认存储在自带的 derby 数据库）输入hive能到达下面界面 其次，我们需要安装版本较低的数据库（尽 ...
分类：
其他好文 时间：
2019-11-03 01:33:46
阅读次数：
97
问题：使用-get命令从hdfs中拷出文件时，提示权限不够，如下： 分析： 可能有三方面原因： hdfs 中的文件或文件夹 没有读取权限； hdfs 的配置中未允许拷出文件； linux 文件夹没有写入权限 解决办法： 针对3种可能，分别解决办法如下： 1 增加hdfs文件夹权限 hadoop fs... ...
分类：
其他好文 时间：
2019-11-02 20:10:35
阅读次数：
118
在 hive 中分区表是很常用的，分桶表可能没那么常用，本文主讲分区表。 概念 分区表 在 hive 中，表是可以分区的，hive 表的每个区其实是对应 hdfs 上的一个文件夹； 可以通过多层文件夹的方式创建多层分区； 通过文件夹把数据分开 分桶表 分桶表中的每个桶对应 hdfs 上的一个文件； ...
分类：
其他好文 时间：
2019-11-02 16:14:57
阅读次数：
104
启动hadoop 在浏览器中打开localhost:50070 找到 进入 操作 1）新建文件夹 在根目录下新建msq文件夹 查看 2）本地上传文件 将media/sf_gx(我的共享文件夹的位置)/1.txt 上传到/msq下 查看 3）查看文档 查看/msq/1.txt 4)下载到本地 将/ms ...
分类：
其他好文 时间：
2019-11-02 13:42:24
阅读次数：
111
网上拉取Docker模板，使用singlarities/hadoop镜像 查看： 创建docker-compose.yml文件，内容： 执行： 4个datanode: 效果图； hdfs基础命令： 1、创建目录 2、查看目录 3、级联创建目录 4、级联列出目录 5、上传本地文件到HDFS 6、查看H ...
分类：
其他好文 时间：
2019-11-02 13:39:46
阅读次数：
123
安装前 1，更新apt 会让你输入密码（自己登录Ubuntu的时候设置的），输入密码不会显示在终端面板上，确定自己敲对之后点回车就行。 2,安装SSH服务器 安装过程中有个Y/N? 选Y 如果出现 解决一： 解决二： 会出现类似这样结果 这时我们只需要杀死apt-get进程就好了(找不到还是用解决一 ...
分类：
其他好文 时间：
2019-11-02 11:54:04
阅读次数：
111
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ...
分类：
其他好文 时间：
2019-11-01 09:34:15
阅读次数：
104
安装就安装 ，不扯其他的 hive 依赖 在 hive 安装前必须具备如下条件 1. 一个可连接的关系型数据库，如 Mysql，postgresql 等，用于存储元数据 2. hadoop，并启动 hdfs 3. HBase，非必须，但是如果不装，会有警告，不过不影响使用 4. java，1.8 以 ...
分类：
其他好文 时间：
2019-10-31 16:39:15
阅读次数：
107
本文分别介绍GuassDB跨集群访问远端oracle以及远端MPPDB数据库。因环境有限，这里不列举对接HDFS以及对接Spark功能。一、对接oracle数据库1、约束限制仅支持连接Oracle11.2.0.1至Oracle12.2.0.1。要求Oracle-ODBC驱动的版本为12.2.0.1.0。unixODBC的版本要求为2.3.6。支持最多配置20组远端Oracle配置。配置所需要的Or
分类：
数据库 时间：
2019-10-30 11:54:20
阅读次数：
440
