WordCount程序的目标是统计几个文件中每个单词出现的次数，是官方提供的示例程序，这里使用的hadoop的版本为hadoop-1.2.1。
1）、首先编写代码，将WordCount.java文件放到wordcount_classes文件夹中，代码如下：
import java.io.IOException;
import java.util.*;
import org.apache.ha...
分类：
其他好文 时间：
2015-04-08 18:02:41
阅读次数：
178
问题导读：1.什么是sbt？2.sbt项目环境如何建立？3.如何使用sbt编译打包scala?sbt介绍sbt是一个代码编译工具，是scala界的mvn，可以编译scala，java等，需要java1.6以上。sbt项目环境建立sbt编译需要固定的目录格式，并且需要联网，sbt会将依赖的jar包下载...
分类：
其他好文 时间：
2015-04-07 15:28:49
阅读次数：
160
写在前面：WordCount的功能是统计输入文件中每个单词出现的次数。基本解决思路就是将文本内容切分成单词，将其中相同的单词聚集在一起，统计其数量作为该单词的出现次数输出。1.MapReduce之wordcount的计算模型1.1 WordCount的Map过程假设有两个输入文本文件，输入数据经过默...
分类：
其他好文 时间：
2015-04-06 16:55:43
阅读次数：
150
一、新建文本文件wordcount.txt,并上传至hdfs服务器上
[hadoop@cloud01 HDFSdemo]$ hadoop fs -cat /wc/wordcount.txt
hello world
hello China
hello wenjie
hello USA
hello China
hello China
hello Japan
[hadoop@c...
分类：
其他好文 时间：
2015-04-04 00:02:00
阅读次数：
314
hadoop 2.6 WordCount 新特性 命令航运行
分类：
其他好文 时间：
2015-03-21 16:58:16
阅读次数：
173
原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！Apache
Pig的前世今生ApachePig如何自定义UDF函数？Apache
Pig5行代码怎么实现Hadoop的WordCount？Apache
Pig入门学习文档（一）ApachePig学习..
分类：
Web程序 时间：
2015-03-19 06:30:50
阅读次数：
204
--https://github.com/slimandslam/pig-hive-wordcount/blob/master/wordcount.hqlDROP TABLE myinput;DROP TABLE wordcount;CREATE TABLE myinput (line STRING...
分类：
其他好文 时间：
2015-03-18 15:18:57
阅读次数：
116
我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html为了方面配置，...
分类：
系统相关 时间：
2015-03-14 12:18:41
阅读次数：
219
1.概述 在上篇博客中，我们搭建了《配置高可用Hadoop平台》，接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事，必先利其器。是的，没错；我们开发需要有开发工具（IDE）；本篇文章，我打算讲解如何搭建和使用开发环境，以及编写和讲解WordCount这个例子，给即将在Ha....
分类：
其他好文 时间：
2015-03-13 16:00:40
阅读次数：
157
几乎因为安装配置hadoop的事弄了三四天，昨天unbuntu莫名其妙的崩溃了。好在今天及其顺利都弄好了，虽然经过了很多烦恼的问题挫折，不过他们是有意义的。
第一次配置是用hadoop2.52的版本，可能是配置文件的问题，当时没有发现，但是看到做wordcount那个例子时遇到bin/hdfs dfs -put etc/hadoop input这条命令时总会出现 No such file or di...
分类：
其他好文 时间：
2015-03-11 21:47:06
阅读次数：
149
