安装需要如下东西： java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致，这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出 ...
hadoop2.0介绍 hadoop2.0 功能： HDFS：hadoop的分布式文件系统 运行架构：主从架构 主：namenode 一个 >管理 为解决单点故障添加助理 助理：secondarynamenode >帮助namenode备份数据 但是接替不了namenode的工作 从：datanod ...
分类：
其他好文 时间：
2018-09-28 12:37:29
阅读次数：
171
搭建HA（高可用）模式的集群参见（http://blog.cheyo.net/92.html） 转自：http://www.it165.net/admin/html/201407/3465.html 社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述Name ...
分类：
其他好文 时间：
2018-09-27 15:33:09
阅读次数：
190
YARN(Yet Another Resource Negotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用，是hadoop2.0中的核心，它类似于一个分布式操作系统，通过它的api编写的应用可以跑在它上面，支持临时和常驻的应用，集群的资源可以得到最大限度的共 ...
分类：
其他好文 时间：
2018-09-24 18:33:36
阅读次数：
217
主要步骤跟Hadoop1.0( "1.0安装地址" )一致，主要在配置这块有更改 安装 下载地址：http://archive.apache.org/dist/hadoop/core/hadoop 2.6.5/ hadoop安装目录创建./tmp目录，./dfs/name，./dfs/data 修改 ...
分类：
其他好文 时间：
2018-09-24 18:28:49
阅读次数：
170
配置 修改 mapred site.xml 修改yarn site.xml 重启 yarn 启动 jobhistory server (配置在哪台，就在哪台机器启动) 停止 jobhistory server 参考资料 【0】Hadoop failed redirect for container ...
分类：
其他好文 时间：
2018-09-24 18:27:53
阅读次数：
224
∑工作快两年了，一直没有个自己的技术博客啥的，感到很惭愧，每次遇到问题都是百度大神的文章，今天是周日，我也想写点我一直学习成长中遇到的问题和 解决方法，今天我就拿这个hadoop2.7.4开刀吧，至少我再这个配置上卡住了很久。拿出来给大家分享一下 这次主要讲的是hadoop2.7.4的安装和一些需要 ...
分类：
其他好文 时间：
2018-09-15 22:27:27
阅读次数：
210
MLlib是Spark提供提供机器学习的库，专为在集群上并行运行的情况而设计。MLlib包含很多机器学习算法，可在Spark支持的所有编程语言中使用。MLlib设计理念是将数据以RDD的形式表示，然后在分布式数据集上调用各种算法。其实，MLlib就是RDD上一系列可供调用的函数的集合。本文主要内容有简介、数据类型、统计、算法。
分类：
其他好文 时间：
2018-09-10 00:53:20
阅读次数：
202
以下的安装说明适用于Mac、Hadoop2.9.0 一、安装前提 支持的平台 GNU/Linux可以作为开发、生产运行环境，在GNU/Linux部署的集群可以支持2000+个节点。 也支持windows平台。 依赖的软件 Java，Hadoop2.7以上版本要求Java版本7以上； 安装了ssh，并 ...
分类：
其他好文 时间：
2018-09-10 00:52:58
阅读次数：
231
1 单机环境搭建 系统环境 配置jdk8 配置spark 从http://spark.apache.org/downloads.html 下载最新版spark预编译包并解压。 2 spark shell sh $ spark shell master local[2] 2018 09 02 16:1 ...
分类：
其他好文 时间：
2018-09-02 20:09:55
阅读次数：
279
