课程里推荐安装jdk1.8，一般的企业普遍也是在使用jdk1.8，所以我这里也是安装的1.8版本 进入oracle官网下载页面 选择合适的版本下载，我这里选的是Windows64位 双击安装包 点击下一步到选择存储路径ps：hadoop开发路径不可以有空格和中文默认安装目录里带有空格所以要换目录 我 ...
1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重 ...
分类：
其他好文 时间：
2020-03-23 15:29:01
阅读次数：
85
ZooKeeper 是一个开源的分布式协调服务,成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并 ...
分类：
其他好文 时间：
2020-03-23 15:28:00
阅读次数：
67
1、关闭磁盘的noatime、nodelalloc 属性 在/etc/fstab中，添加磁盘noatime、nodelalloc 属性，如下： UUID=65a26878-c82e-4296-a134-a686248155f2 /data2 xfs defaults,noatime,nodelall ...
分类：
其他好文 时间：
2020-03-23 15:17:20
阅读次数：
59
157. zookeeper 是什么？ zookeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 google chubby 的开源实现，是 hadoop 和 hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ...
分类：
编程语言 时间：
2020-03-23 00:16:47
阅读次数：
69
同时打开两个个客户端窗口启动 hive，会产生 java.sql.SQLException 异常。 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unab ...
分类：
数据库 时间：
2020-03-22 23:56:39
阅读次数：
129
一：排序概述 排序时是MapReduce框架最重要的操作之一 MapTask和ReduceTask均会对数据按照key进行排序，该操作是属于Hadoop的默认行为。任何应用程序中的数据均会被排序，不管你是否需要。 默认排序是按照字典顺序排序，实现该排序的方法是快速排序 二：排序分类 （1）全排序 只 ...
分类：
编程语言 时间：
2020-03-22 19:36:50
阅读次数：
86
背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类：
其他好文 时间：
2020-03-21 00:07:30
阅读次数：
68
原文链接： https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C：cloudera(公司) D：distribute H：Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用 ...
分类：
其他好文 时间：
2020-03-21 00:07:13
阅读次数：
91
