自1999年成立至今，Apache 软件基金会已成功建立起自己强大的生态圈。其社区涌现了非常多优秀的开源项目，同时有越来越多国内外项目走向这个国际开源社区进行孵化。据悉，目前所有的 Apache 项目都需要经过孵化器孵化，满足一系列质量要求之后才可毕业。从孵化器里毕业的项目，要么独立成为顶级项目，要 ...
分类：
Web程序 时间：
2018-07-28 20:32:28
阅读次数：
202
Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。
分类：
其他好文 时间：
2018-07-26 11:34:55
阅读次数：
203
1、首先配置主机名和各机器域名： （1）Vim /etc/hostname 起名字： 机器编号 用途：(计算，sds, master) 部门：chx 集团名称.com 例子：haoxintest1.master.chx.com （2）vim /etc/hosts 作用：进行域名互通 ip+域名 10 ...
分类：
其他好文 时间：
2018-07-18 01:14:16
阅读次数：
231
1、配置多台机器可以免密登陆： 步骤： (Tip:正常情况下authorized_keys应该同id_rsa.pub) 1）用ssh-keygen命令生成公匙 2）接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。 cat /home/haoxin/.ssh/id_ ...
分类：
其他好文 时间：
2018-07-18 01:11:21
阅读次数：
205
一、HDFS相关 1、启动NameNode sbin/hadoop-daemon.sh start namenode 2、启动DataNode sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode [plai ...
分类：
其他好文 时间：
2018-07-17 14:12:39
阅读次数：
206
现在越来越多的场景，都是Spark跑在Hadoop集群中，所以为了做到资源能够均衡调度，会使用YARN来做为Spark的Cluster Manager，来为Spark的应用程序分配资源。 在执行Spark应用程序前，要启动Hadoop的各种服务。由于已经有了资源管理器，所以不需要启动Spark的Ma ...
分类：
其他好文 时间：
2018-07-16 14:13:23
阅读次数：
209
主要包括以下三部分，本文为第三部分： 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spark对本地文件进行测试学习，可以不用安装上面的hadoop环境，若要结合 ...
分类：
其他好文 时间：
2018-07-15 21:23:54
阅读次数：
169
主要包括以下三部分，本文为第一部分： 一. Scala环境准备 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 因Spark任务大多由Scala编写，因此，首先需要准备Scala环境。 注：楼主实验环境为mac os Scala环境准备 1. 下载 " ...
分类：
其他好文 时间：
2018-07-15 19:47:05
阅读次数：
464
Hadoop集群(伪分布模式)安装 1. 依赖项：jdk(hadoop与java版本兼容性参考 "链接" )、ssh； 执行 若提示： 则需要: a.检查是否安装了openssh，若没有则建议通过 安装(需要先安装brew，安装brew前还需要先安装xcode，安装方法见 "官网" ，官网的方法若超 ...
分类：
其他好文 时间：
2018-07-15 19:27:46
阅读次数：
210
一、备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到 ...
分类：
其他好文 时间：
2018-07-13 22:20:19
阅读次数：
257
