MultiPleOutputs原理
MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR
job运行之后，用脚本对目录下的数据...
分类：
其他好文 时间：
2015-03-30 18:53:36
阅读次数：
172
Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣...
分类：
其他好文 时间：
2015-03-30 18:08:59
阅读次数：
145
多种自定义文件格式的文件输入处理
MultipleInputs可以让MR支持多种输入格式
比如我们有两种文件格式，那么我们就要有两套Record Class,RecordReader和InputFormat
InputFormat(extends FileInputFormat)--->RecordReader(extends RecordReader)--->RecordClass(imp...
分类：
其他好文 时间：
2015-03-30 09:34:13
阅读次数：
148
原文链接:The Clean Architecture译者:zimoguo
校对者:Mr.Simple
在过去的几年中,我们已经看到了关于系统框架的一些想法 :
Hexagonal Architecture(六角架构)(a.k.a. Ports and Adapters) 这种架构是由Alistair Cockburn提出的，并由Steve
Freeman和N...
分类：
其他好文 时间：
2015-03-30 09:16:06
阅读次数：
222
HQL操作1、Distribute by distribute by col按照col列把数据分散到不同的reduce sort sort by col 按照col列把数据排序 select col,co2 from table_name distribute by col1 sort by col...
分类：
其他好文 时间：
2015-03-29 23:34:18
阅读次数：
311
题意：现有n个点m条边的无向图，每条边都有一种颜色，然后有q次询问，x y询问点x到点y共有几种颜色的边将他们连起来（不同颜色的边不能混在一起，要分开看）
思路：二维并查集，每种颜色维护一个并查集，查询时看某一种颜色下两个点是否有共同的father。...
分类：
其他好文 时间：
2015-03-29 18:08:21
阅读次数：
209
%%% Perlin Noise
%%% Wood_texture
clc;
clear all;
close all;
addpath('E:\PhotoShop Algortihm\Image Processing\PS Algorithm');
Image=imread('9.jpg');
Image=double(Image);
[row,col,layer]=size(Image...
分类：
其他好文 时间：
2015-03-28 18:46:40
阅读次数：
226
"text/javascript">
//Create TR
var nName = new Array("Tony","Mika","Neo","Oi","Kim","Park","Mr Lee","Tasky","Saco","Novel");
var nSex = new Array("男性","女性","保密");
var i = 1;
function CreateTB(){
...
分类：
Web程序 时间：
2015-03-21 12:41:37
阅读次数：
218
众所周知，多行文本框Textarea是不可以自己随便调整的，如下图，如果要调整，则要写很多的脚本：
这个也好，因为很多情况下，我们不需要开放给用户调整文本框，往往只是需要设置col与row属性，固定其大小就可以的。
可是，谷歌浏览器，对于，一个普通的：
却是可以如下图，轻易调整的：
这样会拖乱我们页面布局的，有时候调试不知道怎么回事，还以为样式没有写好，
你可以认为这...
分类：
Web程序 时间：
2015-03-21 11:17:16
阅读次数：
173
可以直接使用一维数组来模拟二维数组，下面的代码就是在此基础上，用一个二级指针指向一维数组的相应地方，详见代码#include #include int main(){ int row,col,i,j,n=0; row=col=3;//malloc连续内存的二维数组 int **ar...
分类：
编程语言 时间：
2015-03-21 09:45:07
阅读次数：
253
