注释： mr job执行流程 mr on yarn架构 yarn架构设计 这三种叫法是同一个问题 1.用户向yarn提交应用程序(job)，其中包括applicationMaster程序、启动applicationMaster命令等 2.RM为该job分配第一个容器，并与对应的NM通信，要求它在这个 ...
分类：
其他好文 时间：
2019-02-28 10:33:49
阅读次数：
177
///"{'jsonParam' : " + jsonText + "}" /* Dictionary<string, object> tmp = (Dictionary<string, object>)jsonParam; Employee ee = JsonConvert.Deserialize ...
分类：
Web程序 时间：
2019-02-27 21:57:56
阅读次数：
527
问题说明： 一般来说，我编写Spark,MapReduce程序都是会在本地IDEA中进行，开发。本地跑通了，才会把代码放到集群上去跑。 当我在运行一个简单的Spark Job 的时候，控制台出现如下的错误： java.io.IOException: Could not locate executab ...
分类：
编程语言 时间：
2019-02-27 15:56:15
阅读次数：
415
1/ 创建jobphp artisan make:job SendReminderEmail --queued2/ 设定运行时间 失败次数 3/ 数据处理 4/ 开启本地redis 设置queue.php 队列配置 5/ 监听 php artisan queue:listen --queue="队列 ...
分类：
其他好文 时间：
2019-02-26 11:44:04
阅读次数：
178
一、准备系统环境：Windows Server 2008Python2.7.14.msidatax.tar.gz二、安装Python 打开cmd，输入python回车进行测试DataX解压datax.tar.gz到指定文件夹。三、配置JOB到D:\datax\job创建*.json文件，配置需要进行 ...
分类：
其他好文 时间：
2019-02-26 10:33:22
阅读次数：
998
今天更新完程序，重启apache的时候，第一遍正常重启，1分钟之后第二次重启的时候报错了。 执行service httpd restart之后： 报错： Job for httpd.service failed. See 'systemctl status httpd.service' and 'j ...
分类：
Web程序 时间：
2019-02-25 20:11:46
阅读次数：
1207
Spring quartz的Job中如何获取Spring上下文
分类：
编程语言 时间：
2019-02-25 15:17:43
阅读次数：
155
一、本地安装 安装完成后，localhost:8080 1.找密码粘贴 2.等待插件安装 3.创建自由风格 4.添加构建-->执行windows批处理 E: cd E:\... python xxx.py 保存 5.回到首页，立即构建，可查看控制台输出 # 执行本地代码 二、执行git上的代码 1. ...
分类：
其他好文 时间：
2019-02-24 21:40:36
阅读次数：
177
本文主要介绍fio是如何运行的，并且以单线程、单job为例 fio的入口在fio.c中的main函数,下面列出了main函数，此处只出示了一些调用的关键函数 在main函数中主要调用了两个关键函数，parse_options，顾名思义，就是分析options，也就是fio的参数，而fio_backe ...
分类：
其他好文 时间：
2019-02-24 00:22:00
阅读次数：
275
Spark-RDD 模型 以及运行原理 数据：在内存中计算，数组、list、set spark：RDD是弹性分布性数据集合，并且是基于分区的只读记录。 RDD：操作类型（转换-Transformaction 和 行动-Action） 转换：Transformaction：根据原有的RDD创建一个新的 ...
分类：
其他好文 时间：
2019-02-23 11:02:09
阅读次数：
134
