1.测试温度数据下载：(稍后补充下载地址)2.将数据上传到hdfs中3.测试代码为：MinTemperatureimportorg.apache.hadoop.fs.Path;
importorg.apache.hadoop.io.IntWritable;
importorg.apache.hadoop.io.Text;
importorg.apache.hadoop.mapreduce.Job;
importorg.apache.hadoop.ma..
分类：
其他好文 时间：
2016-04-23 07:42:39
阅读次数：
167
使用 Hadoop Mapreduce 进行数据处理 1. 综述 使用HDP（下载: http://zh.hortonworks.com/products/releases/hdp-2-3/#install）搭建环境，进行分布式数据处理。 项目文件下载，解压文件后将看到项目文件夹。该程序将读取 cl ...
分类：
其他好文 时间：
2016-04-14 19:32:24
阅读次数：
325
[zznu@master file]$ hadoop jar ~/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /inputfile output16/04/11 22:31:02 ...
分类：
其他好文 时间：
2016-04-12 14:11:01
阅读次数：
182
有时候你可能想要用不同的方法从input data中读取数据。那么你就需要创建一个自己的InputFormat类。 InputFormat是一个只有两个函数的接口。 1 public interface InputFormat<K, V> { 2 InputSplit[] getSplits(Job ...
分类：
其他好文 时间：
2016-04-12 00:27:57
阅读次数：
225
在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误： 这个错误在Hadoop mapreduce bug的信息页面（https://issues.apache.org/jira/browse/MAPREDUCE-5655）已经解决了，且影响的版本是Hadoop2.2、H ...
spark与hadoop对比 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是J ...
分类：
其他好文 时间：
2016-04-05 15:32:35
阅读次数：
692
Mapreduce初析
Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。
重点就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段...
分类：
其他好文 时间：
2016-03-18 14:47:52
阅读次数：
298
一. 什么是Spark？
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需...
分类：
其他好文 时间：
2016-03-18 14:46:44
阅读次数：
318
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBa
分类：
系统相关 时间：
2016-03-15 18:42:01
阅读次数：
250
本文由 伯乐在线 - 古月水语 翻译，顾星竹 校稿。未经许可，禁止转载！ 来源：http://blog.jobbole.com/97150/ Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API，
分类：
其他好文 时间：
2016-02-28 12:19:15
阅读次数：
172
