1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 答: Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTabl ...
分类：
其他好文 时间：
2021-03-15 10:30:53
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo ...
分类：
其他好文 时间：
2021-03-15 10:30:41
阅读次数：
0
一、编程语言 1、C和C++ 《C Primer Plus》 《C和指针》 《C专家编程》 《C陷阱与缺陷》 《Essential C++》 《C++ Primer》 2、Java 《Java核心技术·卷 I》 《Java核心技术·卷 II》 《Java编程思想》 《深入理解Java虚拟机》 《实战 ...
分类：
其他好文 时间：
2021-03-15 10:30:29
阅读次数：
0
常用命令 基础命令 alias alias name='command1;command2;...' #添加别名 unalias name #删除别名 重定向 标注输入（stdin,默认为键盘输入）/标准输出（stdout,默认为屏幕输出）和标准错误（stderr） IO重定向是改变了输入来源和输出 ...
分类：
系统相关 时间：
2021-03-11 20:36:13
阅读次数：
0
试了好多种，这个方法蛮好用的。有更好的，希望大家多多指教。 Dim ProNo As Integer, ProStr As String ProNo = IsRunning("SSS.exe") If ProNo = 0 Then Shell App.path & "\SSS.exe '" & st ...
分类：
其他好文 时间：
2021-03-09 13:17:05
阅读次数：
0
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa ...
分类：
其他好文 时间：
2021-03-09 12:59:55
阅读次数：
0
hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 ...
分类：
其他好文 时间：
2021-03-06 14:45:39
阅读次数：
0
配置文件 mapred-site.xml 加入以下代码 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服 ...
分类：
其他好文 时间：
2021-03-06 14:37:58
阅读次数：
0
杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
参考：https://blog.csdn.net/vbirdbest/article/details/88189753 安装步骤 1. 修改主机名 sudo scutil --set HostName localhost 2. ssh免密登录 具体配置方法： （1）ssh-keygen -t rsa ...
分类：
系统相关 时间：
2021-03-06 14:17:50
阅读次数：
0
