1 异常信息 2 原因 因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录，导致总是出现问题，删除掉core-site.xml中的tmp.dir配置，统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置 ...
分类：
Web程序 时间：
2019-05-30 22:08:22
阅读次数：
510
如果执行hdfs文件操作的时候抛异常 winutils 如何解决： 第一步：把 F:\传智播客大数据离线阶段课程资料\3、大数据离线第三天\解决winutils的问题\hadoop-2.6.0-cdh5.14.0 这个安装包拷贝到一个没有中文没有空格的路径下面去（D:\Develop\hadoop- ...
分类：
编程语言 时间：
2019-05-30 01:27:43
阅读次数：
158
HDFS监控背后那些事儿，构建Hadoop监控共同体 原创： 应用研发部 京东云 2018-12-19 https://mp.weixin.qq.com/s/kulwDgwu-rYf4SvQ1dOwcw ...
分类：
其他好文 时间：
2019-05-29 00:06:37
阅读次数：
107
唯品会HDFS性能挑战和优化实践 原创： 大数据平台 唯技术 4月1日 https://mp.weixin.qq.com/s/LMa99ubgACI4eaDV3G-6gw ...
分类：
其他好文 时间：
2019-05-28 23:56:43
阅读次数：
219
利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input ...
分类：
其他好文 时间：
2019-05-28 22:22:11
阅读次数：
163
问题描述 发现active namenode上的fsimage是4月4日的，而standby namenode上的fsimage是4月21日。说明没有及时同步fsimage，担心后续切换可能会出问题。 定位 根据配置，fsimage至少每个小时就会同步一次，查看两个namenode的日志中相关记录： ...
分类：
其他好文 时间：
2019-05-28 17:12:31
阅读次数：
108
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
分类：
其他好文 时间：
2019-05-28 12:54:25
阅读次数：
145
利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录新建一个名称为input的目录 删除HDFS根目录中的“input” ...
分类：
其他好文 时间：
2019-05-27 13:09:36
阅读次数：
112
1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器，在本地Linux文件系统的“/home/hadoop/” ...
分类：
其他好文 时间：
2019-05-27 11:59:58
阅读次数：
119
1. HDFS 客户端环境准备 1.1 "windows 平台搭建 hadoop 2.8.5" 2. 创建Maven工程 2.1 配置 2.2 创建HDFSClient类 2.2.1 异常处理 “Permission denied” 2.3 HDFSClient类（升级版） 参考资料： "Hadoo ...
分类：
其他好文 时间：
2019-05-26 21:13:46
阅读次数：
158
