同时打开两个个客户端窗口启动 hive，会产生 java.sql.SQLException 异常。 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unab ...
分类：
数据库 时间：
2020-03-22 23:56:39
阅读次数：
129
一：排序概述 排序时是MapReduce框架最重要的操作之一 MapTask和ReduceTask均会对数据按照key进行排序，该操作是属于Hadoop的默认行为。任何应用程序中的数据均会被排序，不管你是否需要。 默认排序是按照字典顺序排序，实现该排序的方法是快速排序 二：排序分类 （1）全排序 只 ...
分类：
编程语言 时间：
2020-03-22 19:36:50
阅读次数：
86
背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类：
其他好文 时间：
2020-03-21 00:07:30
阅读次数：
68
原文链接： https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C：cloudera(公司) D：distribute H：Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用 ...
分类：
其他好文 时间：
2020-03-21 00:07:13
阅读次数：
91
原文链接： https://www.toutiao.com/i6771018203687551495/ Hive的连接 启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位 首先将Hive变成对外开放 启动hiveserver2 我们查看下 如果杀掉需要用kill -9 P ...
分类：
其他好文 时间：
2020-03-20 23:57:01
阅读次数：
114
HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam ...
分类：
其他好文 时间：
2020-03-20 19:52:48
阅读次数：
56
1、准备环境 centos 7.4 hadoop hadoop-3.2.1 （http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz） jdk 1.8.x 2、配置环境变量 命令：vi / ...
分类：
其他好文 时间：
2020-03-20 13:03:52
阅读次数：
80
HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理。HDFS只是分布式文件管理系统中的一种； HDFS是什么 HDFS是基于java的分布式文件系统，允许您 ...
分类：
其他好文 时间：
2020-03-20 13:01:13
阅读次数：
71
大数据伪分布式搭建 ***对于大数据这块相信大家对linux有一定的认识，所有对创建虚拟机那块就不给予详细的说明了。 基础环境的搭建 1.系统环境 平台:VMware Workstation pro 系统：centos 7 Hadoop版本： Apache Hadoop 3.0.0 本次实验是搭建一 ...
分类：
其他好文 时间：
2020-03-20 12:23:47
阅读次数：
56
