使用idea工具 创建的是maven项目，操作linux环境 首先需要配置好Maven环境，如果下载jar包下的慢，可以将镜像站换为阿里云的镜像【配置maven环境参考：...............(待完成)】 准备工作完成即可开始编写代码 1.创建maven项目 2.在pom.xml里面导入依赖 ...
分类：
编程语言 时间：
2020-02-22 15:48:07
阅读次数：
88
1.导入jar包，要使用hadoop的HDFS就要导入hadoop 2.7.7\share\hadoop\common下的3个jar包和lib下的依赖包、hadoop 2.7.7\share\hadoop\hdfs下的3个jar包和lib下的依赖包 2. ls 查看目录下的所有文件和文件夹 4. m ...
分类：
其他好文 时间：
2020-02-22 15:32:40
阅读次数：
58
当前Spark最新版本为Spark 2.4.5。Spark 使用Hadoop’s client libraries 存取HDFS and YARN。下载是流行hadoop版的便宜预包装。用户也可以下载免hadoop的二进制包，通过参数Spark’s classpath 运行spark 用于任何Had ...
分类：
其他好文 时间：
2020-02-22 13:56:26
阅读次数：
182
1. 开启 2. 通过浏览器访问node节点，http://IP:50070 检查 (如果无法访问，将防火墙关闭) 如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，（格式化会重新创建hadoop/tmp），再次启动 3. 操作分布式 ...
分类：
Web程序 时间：
2020-02-22 11:57:30
阅读次数：
81
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统，那么对HDFS的操作就是对文件系统的操作，比如文件的创建、修改、删除；文件夹的创建、修改、删除。Hadoop作者认为大家对linux文件系统的命令很熟悉，于是借鉴了linux文件系统的命令来作为HDFS的操作命令。 （1）查看帮助 ...
分类：
其他好文 时间：
2020-02-21 20:18:33
阅读次数：
125
学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
命令的基本格式： 在HDFS的文件系统中，HDFS只支持绝对路径 hadoop【程序】 fs【菜单】 -help【菜单下的一个子选项】查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹【只能看到第一层的东西】 2.-lsr 递归显示文件信息 hado ...
分类：
其他好文 时间：
2020-02-21 09:49:54
阅读次数：
124
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
背景最近在帮公司下线离线计算集群的机器，逐台decomiss，下到第四台机器时，cdh告警来了，丢失块大于集群的1%，算了一下集群有400多台，下线一台不应该告警，以为下线步骤有问题，点了中止下线，后来看了下其实步骤是没问题的，由于下线的机器配置比较好，所以确实这台机器上存储了集群1%以上的block，于是终止了datanode的decomission，但是集群还是出现了14个missingblo
分类：
其他好文 时间：
2020-02-20 10:27:00
阅读次数：
237
