伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙 1.安装java并配置环境变量 [root@node1 ~]# tar -xf jdk-8u144-linux-x64.gz -C /usr/ [root@node1 ~]# ln -sv /usr/jdk1.8.0_144 ...
分类：
其他好文 时间：
2020-02-22 15:33:28
阅读次数：
79
1.导入jar包，要使用hadoop的HDFS就要导入hadoop 2.7.7\share\hadoop\common下的3个jar包和lib下的依赖包、hadoop 2.7.7\share\hadoop\hdfs下的3个jar包和lib下的依赖包 2. ls 查看目录下的所有文件和文件夹 4. m ...
分类：
其他好文 时间：
2020-02-22 15:32:40
阅读次数：
58
Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the ...
分类：
其他好文 时间：
2020-02-22 14:09:44
阅读次数：
86
当前Spark最新版本为Spark 2.4.5。Spark 使用Hadoop’s client libraries 存取HDFS and YARN。下载是流行hadoop版的便宜预包装。用户也可以下载免hadoop的二进制包，通过参数Spark’s classpath 运行spark 用于任何Had ...
分类：
其他好文 时间：
2020-02-22 13:56:26
阅读次数：
182
1. 开启 2. 通过浏览器访问node节点，http://IP:50070 检查 (如果无法访问，将防火墙关闭) 如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，（格式化会重新创建hadoop/tmp），再次启动 3. 操作分布式 ...
分类：
Web程序 时间：
2020-02-22 11:57:30
阅读次数：
81
1.hadoop TextPair组合键定义 package Temperature; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput ...
分类：
其他好文 时间：
2020-02-22 09:13:31
阅读次数：
125
#!/bin/bash #hadoop export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH rea ...
分类：
其他好文 时间：
2020-02-22 00:34:00
阅读次数：
95
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
启动命令 start-all.sh #开启所有进程stop-all.sh #关闭所有进程 单进程启动 hadoop-daemon.sh start namenodehadoop-daemon.sh start datanode hadoop fs shell命令 查看命令帮助 hadoop fs - ...
分类：
其他好文 时间：
2020-02-21 20:43:28
阅读次数：
74
Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统，那么对HDFS的操作就是对文件系统的操作，比如文件的创建、修改、删除；文件夹的创建、修改、删除。Hadoop作者认为大家对linux文件系统的命令很熟悉，于是借鉴了linux文件系统的命令来作为HDFS的操作命令。 （1）查看帮助 ...
分类：
其他好文 时间：
2020-02-21 20:18:33
阅读次数：
125
