Property列表链接：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 为什么会想着写这个？ 因为我在Deepin上配置Hadoop运行环境出了很多奇妙的问题，其中最恶心的就 ...
分类：
其他好文 时间：
2020-02-11 00:25:45
阅读次数：
71
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
Hive简介 http://www.coin163.com/it/4435084950725826127 Hive的数据类型 https://cloud.tencent.com/developer/article/1165300 把HDFS上的数据导入到Hive中等操作 https://www.cn ...
分类：
Web程序 时间：
2020-02-09 16:14:33
阅读次数：
73
1131 cd /apps/hadoop/hdfs/namenode/ 1132 rm -rf current in_use.lock 1133 cd /apps/hadoop/hdfs/data/ 1134 rm -rf current in_use.lock 1135 cd /hadoop/hd ...
分类：
其他好文 时间：
2020-02-08 11:25:21
阅读次数：
80
1.hadoop集群的启动 cd $HADOOP_HOME //进入hadoop安装目录 sbin/start-dfs.sh //启动hdfs sbin/start-yarn.sh //启动yarn （或start-all.sh） 集群关闭： cd $HADOOP_HOME //进入hadoop安装 ...
分类：
系统相关 时间：
2020-02-07 00:58:00
阅读次数：
114
1、使用 Hadoop 提供的 Shell 命令完成如下操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop” 其中遇到的问题： 解决方法： （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件 ...
分类：
其他好文 时间：
2020-02-06 23:29:09
阅读次数：
154
今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
四、hdfs的安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS ...
分类：
其他好文 时间：
2020-02-05 09:54:39
阅读次数：
101
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
