一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
问题：使用-get命令从hdfs中拷出文件时，提示权限不够，如下： 分析： 可能有三方面原因： hdfs 中的文件或文件夹 没有读取权限； hdfs 的配置中未允许拷出文件； linux 文件夹没有写入权限 解决办法： 针对3种可能，分别解决办法如下： 1 增加hdfs文件夹权限 hadoop fs... ...
分类：
其他好文 时间：
2019-11-02 20:10:35
阅读次数：
118
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装步骤 4 4. 下载安装包 4 5. 机器规划 4 6. 设置批量操作参数 5 7. 环境准备 5 7.1. 修改最大可打开文件数 5 7.2. 修改OOM相关参数 6 7.3. 免密码登录设置 6 7.4. 修改主机名 6 7.4.1. ...
分类：
其他好文 时间：
2019-11-02 19:52:11
阅读次数：
98
从早期的互联网大数据爆发开始，主要的搜索引擎公司和电子商务公司就一直在和不断增长的数据进行较量。最近社交网站也遇到了同样的问题。如今，许多组织已经意识到他们所收集的数据是让他们了解用户，提高业务在市场上的表现以及提高基础架构效率的一个宝贵资源。 Hadoop生态系统就是为处理如此大数据集二产生的一个 ...
分类：
其他好文 时间：
2019-11-02 18:13:38
阅读次数：
81
1、统一安装jdk 这里准备4台虚拟机，给其他三台都安装jdk 分别更改hostname为slave1、slave2、slave3. vim /etc/sysconfig/network hostname slave1 统一更改hosts文件vim /etc/hosts IP masterIP sl ...
分类：
其他好文 时间：
2019-11-02 18:06:27
阅读次数：
89
hive 配置 hive> set; 查看所有配置hive> set key； 查看某个配置hive> set key value； 设置某个配置 我们可以看到一些 hadoop 的配置，因为 hive 也读入了 hadoop 的配置 hive 的参数配置有 3 种方式 1. 配置文件 默认配置文件 ...
分类：
其他好文 时间：
2019-11-02 15:33:31
阅读次数：
61
启动hadoop 在浏览器中打开localhost:50070 找到 进入 操作 1）新建文件夹 在根目录下新建msq文件夹 查看 2）本地上传文件 将media/sf_gx(我的共享文件夹的位置)/1.txt 上传到/msq下 查看 3）查看文档 查看/msq/1.txt 4)下载到本地 将/ms ...
分类：
其他好文 时间：
2019-11-02 13:42:24
阅读次数：
111
网上拉取Docker模板，使用singlarities/hadoop镜像 查看： 创建docker-compose.yml文件，内容： 执行： 4个datanode: 效果图； hdfs基础命令： 1、创建目录 2、查看目录 3、级联创建目录 4、级联列出目录 5、上传本地文件到HDFS 6、查看H ...
分类：
其他好文 时间：
2019-11-02 13:39:46
阅读次数：
123
HADOOP简介 一.大数据思维 1.什么是大数据思维 分而治之:把一个复杂的问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的中间结果，把各部分的中间结果组成整个问题的最终结果。 并行：提升速度的关键 分布式运行 计算与数据在一起 计算向数据移动 二.Hadoop ...
分类：
其他好文 时间：
2019-11-02 12:07:38
阅读次数：
100
安装前 1，更新apt 会让你输入密码（自己登录Ubuntu的时候设置的），输入密码不会显示在终端面板上，确定自己敲对之后点回车就行。 2,安装SSH服务器 安装过程中有个Y/N? 选Y 如果出现 解决一： 解决二： 会出现类似这样结果 这时我们只需要杀死apt-get进程就好了(找不到还是用解决一 ...
分类：
其他好文 时间：
2019-11-02 11:54:04
阅读次数：
111
