1. 统计行数、单词数与字符数2. 单词认为是任何其中不包含空格、制表符或换行符的字符序列#include #include #define IN 1#define OUT 0main(){ int nl,nw,nc,input,state; nl = nw = nc = 0; s...
分类：
其他好文 时间：
2015-05-12 13:21:22
阅读次数：
161
在上一次单词计数的基础上做如下改动： 使用 自定义 ?分组策略，将首字母相同的单词发送给同一个task计数 自定义?CustomStreamGrouping package com.zhch.v4;
import backtype.storm.generated.GlobalStreamId...
分类：
其他好文 时间：
2015-05-03 23:58:03
阅读次数：
344
在上一次单词计数的基础上做如下改动： 使用?Direct Grouping 分组策略，将首字母相同的单词发送给同一个task计数 数据源spout package com.zhch.v3;
import backtype.storm.spout.SpoutOutputCollector;
impor...
分类：
其他好文 时间：
2015-05-03 22:10:54
阅读次数：
311
在上一次单词计数的基础上做如下改动： 1. 使用可靠的消息处理机制 2. 配置?worker 、executor、task 数量 3. 使用集群模式提交 数据源spout package com.zhch.v2;
import backtype.storm.spout.SpoutOutputCo...
分类：
其他好文 时间：
2015-05-03 19:12:59
阅读次数：
173
public class WordCountApp { // 可以指定目录,目录下如果有二级目录的话,是不会执行的,只会执行一级目录. private static final String INPUT_PATH = "hdfs://hadoop1:9000/abd";// 输入路径 ...
分类：
移动开发 时间：
2015-04-21 01:42:11
阅读次数：
199
原题地址：http://acm.hdu.edu.cn/showproblem.php?pid=2072【Problem Description】lily的好朋友xiaoou333最近很空，他想了一件没有什么意义的事情，就是统计一篇文章里不同单词的总数。下面你的任务是帮助xiaoou333解决这个问题...
分类：
其他好文 时间：
2015-03-15 13:48:57
阅读次数：
101
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“Hello World”，该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计数主要完成的功能：统计一系列文本文件中每个单词出现的次数，如下图所示。本blog将通过分析WordCount源码来帮助大家摸清MapReduce程序的基本结构和运行机制。开发环境硬件环境：Centos...
分类：
其他好文 时间：
2015-03-04 09:48:48
阅读次数：
189
还是使用之前的单词计数的例子
自定义Mapper类import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache....
分类：
编程语言 时间：
2015-02-11 18:43:55
阅读次数：
132
当遇到有特殊的业务需求时，需要对hadoop的作业进行分区处理
那么我们可以通过自定义的分区类来实现
还是通过单词计数的例子，JMapper和JReducer的代码不变，只是在JSubmit中改变了设置默认分区的代码，见代码：
//1.3分区
//设置自定义分区类
job.setPartitionerClass(JPartitioner.class);
//设置分区个数--这...
分类：
其他好文 时间：
2015-02-11 18:41:26
阅读次数：
129
P.14单词计数例#include#define IN 1#define OUT 0/*IN和OUT分别表示在单词内和单词外*//*使用define可使程序更明晰，在复杂程序中尤其明显*/main(){ int c,nc=0,nl=0,nw=0,state; //state即单词内、外的状态...
分类：
其他好文 时间：
2015-01-28 06:11:33
阅读次数：
136
