1. run JMX exporter as a java agent with all the four daemons. For this I have added EXTRA_JAVA_OPTS in hadoop-env.sh and yarn-env.sh : [root@cloud01 ...
分类：
其他好文 时间：
2019-10-10 14:10:59
阅读次数：
808
背景 很多时候我们已经熟悉了框架的运用，但是有时候就是忘了怎么用 所以这里想记下大部分的框架使用方法，方便使用的时候拷贝 一、安装 npm 方式 yarn 方式 二、vuex 用法 1、引入以及安装 2、正常使用 （1）、state （2）、getters （3）、mutations （4）、act ...
分类：
其他好文 时间：
2019-10-09 19:08:18
阅读次数：
88
MapReduce详细工作流程之Map阶段 如上图所示 1. 首先有一个200M的待处理文件 2. 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 3. 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要 ...
分类：
其他好文 时间：
2019-10-08 21:48:32
阅读次数：
129
首先打开dfs与yarn。 主要就是三步走： 一、编写WordcountMapper 二、编写WordcountReducer 三、编写WordcountDriver 多数都是固定写法，会用即可！ 顺便一提：如果在集群上运行： 1.maven install 打包之前的java程序为jar文件并改名 ...
分类：
编程语言 时间：
2019-10-06 18:25:43
阅读次数：
90
配置完装饰器之后以运行yarn start就报错 There might be a problem with the project dependency tree.It is likely not a bug in Create React App, but something you need ...
分类：
其他好文 时间：
2019-10-06 00:08:59
阅读次数：
418
安装 1、 npm install koa-generator -g 2、 Koa2 test-koa2 3、 npm install & npm run dev 看package.json里面已经有nodemon了。没有cross-env，配置环境变量的 1、yarn add cross-env ...
分类：
其他好文 时间：
2019-10-02 10:45:59
阅读次数：
314
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本 ...
分类：
其他好文 时间：
2019-10-02 00:52:57
阅读次数：
138
Spark支持三种集群部署方式(Standalone,Mesos,Yarn),其中Master服务(Spark Standalone,Mesos Master,Yarn ResourceManager)决定哪些应用可以运行，在那个节点上运行，以及什么时候运行。Slave服务（Yarn NodeMan... ...
分类：
其他好文 时间：
2019-10-01 13:36:44
阅读次数：
84
