查看进程 jps 访问hdfs: hadoop-root:50070 hdfs bash命令： hdfs dfs <1> -help: 显示命令的帮助的信息 <2> -mkdir:创建一个新目录 -p -mkdir -p /test1/test2：创建目录，p可以创建不存在的父路径 <3> -ls: ...
分类：
编程语言 时间：
2019-09-19 21:53:21
阅读次数：
133
进入Hue管理界面，打开Oozie Editor： 将打包好的Spark程序上传到HDFS上，拖拽Spark任务，编辑任务属性，选择打包好的Spark程序，设置主函数所在类，设置选项参数： 保存为任务： 执行： ...
分类：
其他好文 时间：
2019-09-19 21:45:07
阅读次数：
81
清理hdfs小文件shell脚本 sh !/bin/bash echo " " echo "BASH_VERSION: $BASH_VERSION" echo "参数说明: " echo "从外部只传递零个参数时，遍历字典，删除 hdfs 对应日期下的文件目录" echo "从外部只传递一个参数时， ...
分类：
系统相关 时间：
2019-09-18 10:29:44
阅读次数：
113
1.显示当前目录结构#显示当前目录结构hadoopfs-ls<path>#递归显示当前目录结构hadoopfs-ls-R<path>#显示根目录下内容hadoopfs-ls/2.创建目录#创建目录hadoopfs-mkdir<path>#递归创建目录hadoopfs-mkdir-p<path>3.删除操作#删除文件hadoopfs-rm<pat
分类：
系统相关 时间：
2019-09-17 17:42:31
阅读次数：
115
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
最近，我在学习搭建hadoop集群，可是搭建完成后当使用start-all.sh启动hadoop的时候，会发现用jps测试的时候一切均显示正常，但通过Hadoop指令向hdfs上传输文件的时候，会报错表示datanode没有正常启动， 在网上找了一些博客讲述是可能防火墙没关，还有就是删除hadoop ...
分类：
其他好文 时间：
2019-09-16 11:55:30
阅读次数：
95
Hive理论1、Hive是什么？一个sql解析引擎，将SQL解析成MR，Hive本质就是MR2、Hive不存数据的，数据实际存在HDFS上，元数据基本上都存在mysql上3、Hive内容是读多写少，不支持数据的改写和删除4、Hive的SQL和传统SQL区别： 可扩展性：用户自定义函数 1）UDF：用 ...
分类：
其他好文 时间：
2019-09-15 17:10:25
阅读次数：
110
secondary namenode NameNode职责是管理元数据信息，DataNode的职责是负责数据具体存储，那么SecondaryNameNode的作用是什么？对很多初学者来说是非常迷惑的。它为什么会出现在HDFS中。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不 ...
分类：
其他好文 时间：
2019-09-14 22:47:38
阅读次数：
139
伪分布式环境： HA环境checkpoint机制 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要 ...
分类：
其他好文 时间：
2019-09-14 22:23:28
阅读次数：
122
