Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘 分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HB ...
分类：
其他好文 时间：
2019-05-08 14:33:06
阅读次数：
131
需求 因之前是做外包项目居多，经常用到相同的组件，之前的办法是在一个项目中写一个组件，其他项目直接将compents下的组件复制，粘贴到项目中使用，缺点是维护起来，改一个项目，其他项目也需要修改，所以，自己研究准备去封装一个组件库， 前言 日常在项目中我们经常直接根据 npm install/ np ...
分类：
其他好文 时间：
2019-05-06 18:52:46
阅读次数：
1191
@ "TOC" 前言 这个伴生类主要功能是创建/配置ApplicationMaster的应用程序，，准备相关的环境与资源。 Github源码地址：https://github.com/apache/spark/blob/master/resource managers/yarn/src/main/s ...
分类：
Web程序 时间：
2019-05-05 13:12:11
阅读次数：
276
官网：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html Hadoop MapReduce Next Generation - Setting up a Single No ...
分类：
其他好文 时间：
2019-05-04 10:10:06
阅读次数：
260
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术：1、熟悉Linux开发环境，熟悉Shell命令2、熟悉Java、python、scala语言（至少一种）3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
分类：
其他好文 时间：
2019-05-03 16:24:53
阅读次数：
132
必备环境：jdk8，git，maven 1、安装nodejs 2、安装yarn 3、检出 jhipster-registry ...
分类：
其他好文 时间：
2019-05-03 09:59:36
阅读次数：
169
1.安装 yarn add moogose 2.启动 3.连接数据库 4.对数据库在命令行进行操作 5.命令行使用： https://baijiahao.baidu.com/s?id=1612042780837847633&wfr=spider&for=pc ...
分类：
数据库 时间：
2019-05-02 21:23:52
阅读次数：
148
1大数据解决的问题？ 海量数据的存储：hadoop->分布式文件系统HDFS 海量数据的计算：hadoop->分布式计算框架MapReduce 2什么是MapReduce? 分布式程序的编程框架，java->ssh ssm ，目的：简化开发！ 是基于hadoop的数据分析应用的核心框架。 mapre ...
分类：
其他好文 时间：
2019-05-02 09:39:18
阅读次数：
137
npm：node的包管理工具，是在命令行做管理。 cnpm：淘宝的npm镜像文件 ，但一般只用于下载，不用于其他操作 npm流程： 切换路径 安装cnpm 安装yarn 查看版本，是否安装成功 创建package.json文件 y快速生成 //下载包 (以gulp代替“包名”) //将包下载到全局 ...
分类：
其他好文 时间：
2019-05-02 00:08:34
阅读次数：
169
技术选型时这个问题总是困扰我，今天看到一篇文章，详细的解释了 npm 和 yarn 在性能，安全，支持性和使用难易度上的区别，看完之后这个问题终于有一个答案： 如果你在意速度和 UI，选 yarn，如果你是个保守派，选 npm 会更加合适。 文章地址：https://stackshare.io/st ...
分类：
其他好文 时间：
2019-05-01 11:50:19
阅读次数：
161
