1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重 ...
分类：
其他好文 时间：
2020-03-23 15:29:01
阅读次数：
85
ZooKeeper 是一个开源的分布式协调服务,成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并 ...
分类：
其他好文 时间：
2020-03-23 15:28:00
阅读次数：
67
1、关闭磁盘的noatime、nodelalloc 属性 在/etc/fstab中，添加磁盘noatime、nodelalloc 属性，如下： UUID=65a26878-c82e-4296-a134-a686248155f2 /data2 xfs defaults,noatime,nodelall ...
分类：
其他好文 时间：
2020-03-23 15:17:20
阅读次数：
59
157. zookeeper 是什么？ zookeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 google chubby 的开源实现，是 hadoop 和 hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ...
分类：
编程语言 时间：
2020-03-23 00:16:47
阅读次数：
69
同时打开两个个客户端窗口启动 hive，会产生 java.sql.SQLException 异常。 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unab ...
分类：
数据库 时间：
2020-03-22 23:56:39
阅读次数：
129
一：排序概述 排序时是MapReduce框架最重要的操作之一 MapTask和ReduceTask均会对数据按照key进行排序，该操作是属于Hadoop的默认行为。任何应用程序中的数据均会被排序，不管你是否需要。 默认排序是按照字典顺序排序，实现该排序的方法是快速排序 二：排序分类 （1）全排序 只 ...
分类：
编程语言 时间：
2020-03-22 19:36:50
阅读次数：
86
第一个异常： no further information：没有更多的信息 往下看 就可以知道这是没有开启集群 连接不上服务器。 相应的所有服务都开启后，test通过 ...
在Hbase使用中，除了进行预分区，rowkey合理的设计外，平时也会对系统的内置参数进行优化 1、 堆内存的优化 HBase-site.xml <!-- regionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver ...
分类：
其他好文 时间：
2020-03-22 16:00:01
阅读次数：
73
Hbase 操作表时，连接超时，或者找不到对应的region Server的解决办法 ...
分类：
其他好文 时间：
2020-03-21 21:30:22
阅读次数：
228
背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
