1.为什么安装Impala一定要先安装Hive？ Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。 2.Impala与Hive的关系？ Impala 与Hive都是构建在Hadoop之上的 ...
分类：
其他好文 时间：
2021-01-06 11:58:32
阅读次数：
0
0.创建用户并付权限 sudo useradd iwbdsudo passwd iwbd 配置iwbd用户具有root权限 修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：## Allow root to run any commands anywhere ...
分类：
其他好文 时间：
2021-01-04 11:30:50
阅读次数：
0
所学时间（包括上课） 9个小时 代码量（行） 1300 博客量 1篇 了解到的知识点 centos虚拟机的安装以及 大数据相应所用的软件安装 以及环境的配置 ...
分类：
其他好文 时间：
2021-01-02 11:40:57
阅读次数：
0
#一、linux 虚拟机最小化安装 模板 ###1.准备好虚拟机（安装最小化的linux模板机） 1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下： 注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明 模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装ha ...
分类：
其他好文 时间：
2021-01-02 11:30:35
阅读次数：
0
根据前面的卷积过程，我们可以达到特征提取的作用。基本上已经判断出谁是C谁是D。底下可以再进一步做一次池化。数据库连接池记得吧？把很多数据库连接放在一个池子里，想用时挑一个来用。这里做完卷积得到这么多数据，就像池子一样，对于这池子里的数据，我们可以继续做各种各样的操作，比如最大池化或平均池化。最大池化 ...
分类：
其他好文 时间：
2021-01-02 11:29:48
阅读次数：
0
Zookeeper 概述&命令 1)初识 Zookeeper 1.1)Zookeeper概念 ?Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。 ?Zookeeper 翻译过来就是 动物园管理员，他是用来管 Hadoop（大象）、Hive(蜜蜂)、Pig( ...
分类：
其他好文 时间：
2021-01-02 11:29:32
阅读次数：
0
Kafka概述 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 传统消息队列的应用场景 使用消息队列的好处 1:解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2:可恢复性 系统的一部分组件失效时 ...
分类：
其他好文 时间：
2021-01-02 10:52:13
阅读次数：
0
将hive/lib下面的jline-2.12.jar 复制到hadoop目录下 cp /usr/local/src/hive-1.2.2/jline-2.12.jar /usr/local/src/hadoop-2.6.1/share/hadoop/yarn/lib/ ...
分类：
其他好文 时间：
2021-01-01 12:54:42
阅读次数：
0
由于之前已经搭建好了，今天是看视频回顾下，然后做下记录。 之前已经搭建好了Yarn集群，现在在Yarn集群上搭建spark。 1、安装spark 下载源码包：wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.0/spark-1.3.0.tgz ...
分类：
其他好文 时间：
2021-01-01 12:18:40
阅读次数：
0
Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo ...
分类：
其他好文 时间：
2020-12-31 11:55:00
阅读次数：
0
