本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例 ...
分类：
其他好文 时间：
2019-04-30 23:44:35
阅读次数：
195
op.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.conta ...
分类：
其他好文 时间：
2019-04-29 21:23:09
阅读次数：
272
通过完成一个 todo 应用展示 Node.js + MySQL 增删改查的功能。这里后台使用 Koa 及其相应的一些中间件作为 server 提供服务。 初始化项目 $ mkdir node crud && cd $_ $ yarn init y && npx gi ...
分类：
数据库 时间：
2019-04-27 00:24:02
阅读次数：
249
gulp-uglify：压缩js大小，只支持es5 安装： cnpm: cnpm i gulp-uglify -D yarn: yarn add gulp-uglify -D 使用： 代码实现1：压缩js文件夹下的index.js文件输出到dist文件夹下面（注意要压缩的js文件中此处只能使用es5 ...
分类：
Web程序 时间：
2019-04-25 01:27:31
阅读次数：
291
gulp自动化构建工具： 把前端开发常见的处理（“搬砖”）程序，通过一个工具模块管理起来，只需配置一次，达到自动处理目的，简化开发，提高效率!！ 安装： 1.全局安装(全局安装一个gulp命令) A.下载安装： cnpm：cnpm i gulp -g 如果cnpm安装有问题：可使用yarn安装 ya ...
分类：
其他好文 时间：
2019-04-25 01:03:04
阅读次数：
178
上图是spark框架概要图，spark一些重要概念先简要介绍一下：clustermanager：资源管理集群，比如standalone、yarn；application：用户编写的应用程序；Driver：application中的main函数，创建的SparkContext负责与clustermanager通信，进行资源的申请、任务的分配与监控。一般认为SparkContext就是Driver；w
分类：
其他好文 时间：
2019-04-20 17:02:21
阅读次数：
151
Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结， ...
分类：
其他好文 时间：
2019-04-20 09:42:49
阅读次数：
881
一些名词概念 以yarn-cluster模式为例 Spark-submit提交源码解析 yarn的调度流程 https://www.cnblogs.com/shengyang17/p/10321228.html RDD中的数据变成一个个分区的数据，一个个分区变成任务 RDD（对数据计算逻辑的 抽象， ...
分类：
其他好文 时间：
2019-04-19 00:49:07
阅读次数：
133
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注：本文基于root用户操作 一、安装环境准备 操作系统 centos7.5 hdc-data1：192.168.163.5 ...
分类：
其他好文 时间：
2019-04-18 20:13:45
阅读次数：
188
