当前Spark最新版本为Spark 2.4.5。Spark 使用Hadoop’s client libraries 存取HDFS and YARN。下载是流行hadoop版的便宜预包装。用户也可以下载免hadoop的二进制包，通过参数Spark’s classpath 运行spark 用于任何Had ...
分类：
其他好文 时间：
2020-02-22 13:56:26
阅读次数：
182
1. 开启 2. 通过浏览器访问node节点，http://IP:50070 检查 (如果无法访问，将防火墙关闭) 如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，（格式化会重新创建hadoop/tmp），再次启动 3. 操作分布式 ...
分类：
Web程序 时间：
2020-02-22 11:57:30
阅读次数：
81
1.hadoop TextPair组合键定义 package Temperature; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput ...
分类：
其他好文 时间：
2020-02-22 09:13:31
阅读次数：
125
#!/bin/bash #hadoop export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH rea ...
分类：
其他好文 时间：
2020-02-22 00:34:00
阅读次数：
95
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
启动命令 start-all.sh #开启所有进程stop-all.sh #关闭所有进程 单进程启动 hadoop-daemon.sh start namenodehadoop-daemon.sh start datanode hadoop fs shell命令 查看命令帮助 hadoop fs - ...
分类：
其他好文 时间：
2020-02-21 20:43:28
阅读次数：
74
Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统，那么对HDFS的操作就是对文件系统的操作，比如文件的创建、修改、删除；文件夹的创建、修改、删除。Hadoop作者认为大家对linux文件系统的命令很熟悉，于是借鉴了linux文件系统的命令来作为HDFS的操作命令。 （1）查看帮助 ...
分类：
其他好文 时间：
2020-02-21 20:18:33
阅读次数：
125
Spring Boot深度课程系列 04 Spring Boot基本配置 1）容器的相关配置 在Spring Boot中可以内置Tomcat、Jetty、undertow、Netty等容器，当开发者在pom.xml中spring-boot-starter-web依赖后，会默认配置Tomcat容器。如 ...
分类：
编程语言 时间：
2020-02-21 20:15:40
阅读次数：
118
学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix ...
分类：
其他好文 时间：
2020-02-21 14:29:07
阅读次数：
80
