背景
公司数据处理具有两个计算框架，单机框架和MR框架。目前我已经抽象出一套API interface, 供业务计算开发人员使用。并分别在两个计算框架下实现了API的执行调度。应用开发人员有时间需要通过上传override的配置文件，来调整业务计算参数。单机框架易于实现，但在MR框架里，需要解决override的配置文件的分发问题。
实现
1. 通过命令行传入配置文件路径；
2...
分类：
系统相关 时间：
2015-06-11 22:57:23
阅读次数：
172
1.利用EXPLAIN 语句，查看是否用到索引：EXPLAIN SELECT * FROM tb1_name WHERE 1= 02.下面的WHERE 子句说明了怎样进行这项工作。第一行中，优化程序将简化表达式4/2 为值2，然后使用my_col 上的索引快速地找到小于2 的值。而在第二个表达式中，...
分类：
数据库 时间：
2015-06-11 19:05:49
阅读次数：
139
输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身，而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分，有三个作用:
验证作业的输入是否规范...
分类：
其他好文 时间：
2015-06-10 22:34:49
阅读次数：
207
Description:The best friends Mr. Li and Mr. Liu are touring in beautiful country M.M has n cities and m two-way roads in total. Each road connects two...
分类：
编程语言 时间：
2015-06-10 20:43:41
阅读次数：
185
【申明：本文仅限于自我归纳总结和相互交流，有纰漏还望各位指出。 联系邮箱：Mr_chenping@163.com】
题目：
最大公约数问题
题目分析：
编程之美上的经典算法
算法实现：
#include
int gcd(int x, int y)
{
return ((!y) ? x: gcd(y, x%y));
}
int main(int argc, c...
分类：
编程语言 时间：
2015-06-10 14:17:21
阅读次数：
130
【申明：本文仅限于自我归纳总结和相互交流，有纰漏还望各位指出。 联系邮箱：Mr_chenping@163.com】
题目：
ip合法性检查
题目分析：
(1) 字符串只含有数字和'.'
(2) 长度在7-15之间(0.0.0.0--255.255.255.255)
(3) 每个数字在0-255之间
(4) '.'号不能超过3个,且不能连续
算法实现：
#inc...
分类：
编程语言 时间：
2015-06-10 14:16:13
阅读次数：
159
【申明：本文仅限于自我归纳总结和相互交流，有纰漏还望各位指出。 联系邮箱：Mr_chenping@163.com】
题目：
寻找数组中的最大值和最小值
题目分析：
1、时间复杂度0(1)
算法实现：
#include
void get_array_max_and_min(int *array, int array_size, int *max, int *min...
分类：
编程语言 时间：
2015-06-10 14:16:03
阅读次数：
117
【申明：本文仅限于自我归纳总结和相互交流，有纰漏还望各位指出。 联系邮箱：Mr_chenping@163.com】
题目：
c++ 各种排序算法实现
题目分析：
具体排序原理参考相关算法书籍
算法实现：
#include
static void swap(int *a, int *b)
{
int tmp;
tmp = *a;
*a = *b;...
分类：
编程语言 时间：
2015-06-10 14:13:38
阅读次数：
155
1. 进入网页管理->设置2. 在"页面定制CSS代码"中添加如下css样式，当然你可以改为自己喜欢的样式#back-to-top { background-color: #00CD00; bottom: 0; box-shadow: 0 0 6px #00CD00; col...
分类：
其他好文 时间：
2015-06-10 10:13:40
阅读次数：
206
使用Maven构建Hadoop Web项目，此项目是一个样例Demo，方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目。该Demo提供了两个样例：
查看HDFS文件夹内容及其子文件/夹；
运行WordCount MR任务；项目下载地址：Maven构建Hadoop Web项目
系统软件版本
Spring4.1.3
Hibernate4.3.1
Struts2.3.1
hadoop2...
分类：
Web程序 时间：
2015-06-09 23:47:28
阅读次数：
255
