HBase的完全分布式的搭建与部署，以及多master 一：前提准备 1.设置时间同步 2.清空logs，datas 3.格式化集群 bin/hdfs namenode -format 4.重启集群 sbin/start-dfs.sh sbin/start-yarn.sh 5.删除zookeeper ...
分类：
其他好文 时间：
2017-08-22 23:08:14
阅读次数：
228
关于hadoop中yarn的运行原理整理 一：对yarn的理解 1.关于yarn的组成 大约分成主要的四个。 Resourcemanager，Nodemanager，Applicationmaster，container 2.Resourcemanager（RM）的理解 RM是全局资源管理器，负责整 ...
分类：
其他好文 时间：
2017-08-22 23:05:41
阅读次数：
148
引言： create-react-app是Facebook发布的一款全局的命令行工具用来创建一个新的项目。 通常我们开始做一个react web或者 app 项目的时候，都会自己利用 npm 或者 yarn 安装项目所需要的一些依赖，再写 webpack.config.js ,一系列复杂的配置,搭建 ...
分类：
移动开发 时间：
2017-08-21 12:38:12
阅读次数：
606
YARN是什么 YARN在hadoop生态系统中的位置 YARN产生的背景 YARN的基本架构 ResourceManager NodeManager ApplicationMaster container Spark On Yarn 配置和部署 编译时包含yarn 基本配置 在没有配置的前提下试下 ...
分类：
其他好文 时间：
2017-08-21 00:12:55
阅读次数：
185
最近在用Laravel这个PHP框架搭网站，大致了解这个框架的目录结构之后感觉学到了不少东西。 首先安装好包管理器： PHP部分当然用composer，安装在全局目录下方便一点。 前端部分，我没有选择npm而是使用更“先进”的yarn。 可以打开 Laravel的官方文档 以供参考。 我写这文章是为 ...
分类：
Web程序 时间：
2017-08-20 14:54:24
阅读次数：
244
yarn主要是1.0mapreduce的新框架，主要解决了1.0单点故障的问题，yarn主要分为ResourceManager、ApplicationManager、NodeManager、Container。 yarn把1.0的资源管理和调度、应用程序的管理分开，主要由ResourceManage ...
分类：
其他好文 时间：
2017-08-18 20:05:57
阅读次数：
177
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 ...
分类：
其他好文 时间：
2017-08-12 19:44:18
阅读次数：
278
spark-shell不支持yarn cluster，以yarn client方式启动 启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries ...
分类：
移动开发 时间：
2017-08-10 01:31:02
阅读次数：
389
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-09 12:53:05
阅读次数：
232
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-07 10:16:29
阅读次数：
165
