download JDK 8, extract and add to .bashrc: export JAVA_HOME=/home/bonelee/jdk1.8.0_211export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexpor ...
分类：
编程语言 时间：
2019-04-23 12:58:25
阅读次数：
198
Hive中数据加载失败：inode=:root:supergroup:drwxr-xr-x 在执行hive，数据加载的时候，遇到了一个错误，如下图： 在执行程序的过程中，遇到权限问题很正常，背后原理也不是很懂，但是通过修改配置，问题已经解决了。 解决方法：hadoop 的hdfs-site文件中添加 ...
分类：
其他好文 时间：
2019-04-19 16:10:18
阅读次数：
368
cdh版本：5.14主要参照官方文档：https://www.cloudera.com/documentation/enterprise/5-14-x/topics/sentry.html一.部署sentry服务1.配置：官方建议将hivemetastore的heapsize至少设为10GB：SettheHMSheapsizetoatleast10GB.Thisisrequiredbecauseb
分类：
其他好文 时间：
2019-04-15 19:55:11
阅读次数：
826
一、使用 setrep 命令来设置 二、文件块在磁盘上的路径 三、文件的分割 四、改变副本数后的文件的变化 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html ...
分类：
其他好文 时间：
2019-04-12 00:42:59
阅读次数：
294
<“你也配吃10元的盒饭?”> 作者:yxixhdfqwe 又是一个阳光灿烂的中午,看了一上午的报纸,茶水也顺带喝了不少,肚子早已经咕咕作响了,今天中午吃点什么了,貌似楼下的新开张的盒饭还不错,于是我来到楼下准备买上一盒.菜色还不错,价格有6元,8元,10元,12元,20元的,像哥这样的精英管理人才 ...
分类：
其他好文 时间：
2019-04-03 12:08:57
阅读次数：
173
HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hadoop fs -rmr xxx 命令之后，文件并不是马上被删除，而是会被移动到执行这个操作用户的 .Trash 目录下，等到一定的时间后才会执行真正的删除操作。 如下所示： $ sudo -uiteblog hadoop fs -rmr / ...
分类：
其他好文 时间：
2019-03-31 19:16:47
阅读次数：
288
当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root ...
分类：
其他好文 时间：
2019-03-29 22:18:54
阅读次数：
226
datanode启动不成功，如下所示，我的136,137.138都是datanode，都启动不了。 查看datanode日志文件发现报错： 一个报错Incompatible clusterIDs in /home/hadoop/data/datanode，需要删除core-site.xml中配置的h ...
分类：
其他好文 时间：
2019-03-26 01:34:54
阅读次数：
194
Resilient Distributed Datasets RDD本质上是一组数据的Spark表示，分布在多台机器上，使用API??让您对其进行操作。RDD可以来自任何数据源，例如文本文件，通过JDBC的数据库等。 其定义为： 弹性分布式数据集（RDD）是Spark的基本数据结构。它是一个不可变的 ...
分类：
其他好文 时间：
2019-03-25 01:01:07
阅读次数：
171
一、Yarn集群概述及搭建 1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中需要一个自动化任务调度平台来调度任务，分配资源，这个平台就是Yarn！ 2.Yarn提交任务的流程： 当我们向Yarn集群提交任务后，Yarn通过Re ...
分类：
其他好文 时间：
2019-03-24 09:20:14
阅读次数：
127
