一 Words 1 ought to 应该v 2 occupation 职业n,占用v eg. He is a teacher by occupation but a philosopher by inclination倾向，爱好.他的职业是教师，但他的本心是成为哲学家。 3 job satisfa...
分类：
其他好文 时间：
2014-08-04 08:17:06
阅读次数：
324
package com.laiwang.algo.antispam.event.job;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.had...
分类：
系统相关 时间：
2014-08-04 01:52:26
阅读次数：
413
这篇文章主要介绍Hadoop的系统配置类Configuration。接着上一篇文章介绍，上一篇文章中Hadoop Job的main方法为：public static void main(String[] args) throws Exception { int res = ToolRunne...
分类：
其他好文 时间：
2014-08-03 22:57:36
阅读次数：
435
这篇文章大致介绍Hadoop Job的程序是如何启动的。通常用Java编写的Hadoop MapReduce程序是通过一个main方法作为程序的整个入口，如下：public static void main(String[] args) throws Exception { int res ...
分类：
其他好文 时间：
2014-08-03 20:30:45
阅读次数：
307
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
前几天用的结构体，结构体内还包含有结构体指针和数组以及指向字符串的指针，发现自己对这方面的东西还很容易犯错，故现在讲其中容易出错的地方写出来，分享给大家也方便自己日后查看。
typedef struct {
char name[50];
char job[50];
int age;
int people_id;
} peopleInfo;
typedef struct...
分类：
其他好文 时间：
2014-08-03 15:21:35
阅读次数：
190
工作原理：使用如下map和reduce：（特别注意输入输出类型， 其中IntPair为自定义类型）public static class Map extends Mapperpublic static class Reduce extends Reducer 在map阶段，使用job.setInpu...
分类：
其他好文 时间：
2014-08-03 12:36:55
阅读次数：
240
