Linux下为UTF-8编码，javac编译gbk编码的java文件时，容易出现“错误: 编码UTF8的不可映射字符” 解决方法是添加encoding 参数：javac -encoding gbk WordCount.java Windows下为GBK编码，javac编译utf-8编码的java文件 ...
分类：
编程语言 时间：
2017-09-23 20:27:27
阅读次数：
285
关闭访问墙 service iptables stop hadoop dfs -mkdir input hadoop dfs -copyFromLocal conf/* input hadoop jar hadoop-examples-1.2.1.jar wordcount input output ...
分类：
其他好文 时间：
2017-09-22 12:09:32
阅读次数：
159
仔细看还是不太难的！ package demo2; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; im ...
分类：
其他好文 时间：
2017-09-21 23:27:08
阅读次数：
243
import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;impor ...
分类：
其他好文 时间：
2017-09-20 14:27:24
阅读次数：
142
首先，我在网上找了一个WordCount的源码，在源码上进行修改 原文博主：波涛汹涌 原文链接：http://blog.sina.com.cn/s/blog_51335a000101ouzf.html 原文代码： 原文的代码实现读取文件，统计所有出现过的单词（不重复），并统计打印每个单词出现的次数。 ...
分类：
其他好文 时间：
2017-09-19 16:47:13
阅读次数：
227
借鉴的代码及地址：http://www.cnblogs.com/zxr63/p/5304505.html 编译时报错： [Error] stdafx.h: No such file or directory 百度到的解释是：默认情况下，VS会生成一个“stdafx.h”头文件，用来包含C、C++、W ...
分类：
其他好文 时间：
2017-09-17 23:31:56
阅读次数：
230
看了好多c#的菜鸟教程不如自己开始动手打代码，最终实现了功能一，参考了网上的wordcount代码发现无论是c++还是c#大部分采用的是哈希表的方法实现的，本来还想仅用循环实现遍历句子中的所有字符，即发现" "就total++，但是考虑到功能二的单词数变得很多，这样做时间相对来说会慢一点，因此选择了 ...
Spark/SBT项目开发: 下载Scala SDK 下载SBT 配置IDEA SBT：（如果不配置，就会重新下载SBT, 非常慢，因为以前我已经下过了，所以要配置为过去使用的SBT） 新建立SBT项目： 导入Spark jars： 创建WordCount: 配置运行参数： 运行结果： ...
分类：
其他好文 时间：
2017-09-17 13:48:05
阅读次数：
156
原创，转发请注明出处。 MapReduce是hadoop这只大象的核心，Hadoop 中，数据处理核心就是 MapReduce 程序设计模型。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出 ...
分类：
编程语言 时间：
2017-09-17 11:33:03
阅读次数：
257
