第四章Mongodb聚合函数插入 测试数据for(var j=1;jdb.集合名.mapReduce( map, reduce, options )第二种统计方式--命令统计1.命令如下：注意：out参数out:"Person_Name" 代表会创建一个临时表Person_Name 然后再从临时表中...
分类：
数据库 时间：
2014-10-22 12:30:43
阅读次数：
335
上篇文章本人简单的介绍了Storm的起源，今天本人又继续学习了Storm的基本的一些知识，基本了解了他的基本用法，还好，不算太难，如果大家了解了Hadoop的MapReduce模型的话，看这个也是非常类似的。在了解Storm的原型时，首先了解一些概念。
1.Tuple(元组)，作为消息传递的基本单元，元组中的字段可以是任何类型的对象。元组会用于后面提到的Bolt方法的execute方法。
2....
分类：
其他好文 时间：
2014-10-22 11:10:34
阅读次数：
212
1、 当我们编写好MapReduce程序，点击Run on Hadoop的时候，Eclipse控制台输出如下内容： 这个信息告诉我们没有找到log4j.properties文件。如果没有这个文件，程序运行出错的时候，就没有打印日志，因此我们会很难...
分类：
系统相关 时间：
2014-10-21 23:22:47
阅读次数：
501
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
1、将mapred-site.xml文件拷贝一份到项目中 <configuration>
????<property>
????????<name>mapreduce.framework.name</name>
????????????<value>yarn</value>
????</property>
??...
分类：
系统相关 时间：
2014-10-20 23:31:12
阅读次数：
402
转自：http://blog.csdn.net/opennaive/article/details/75141461. MapReduce是干啥的因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。Hadoop实际上就是谷歌三宝的开源实现，H...
分类：
其他好文 时间：
2014-10-20 21:00:06
阅读次数：
258
业务逻辑其实很简单，输入两个文件，一个作为基础数据(学生信息文件),一个是分数信息文件。学生信息文件：存放学生数据：包括学号，学生名称分数信息数据：存放学生的分数信息：包括学号，学科，分数。我们将通过M/R实现根据学号，进行数据关联，最终结果为：学生名称，学科，..
分类：
其他好文 时间：
2014-10-20 02:16:39
阅读次数：
155
package chapter1;
import java.io.IOException;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.Date;
import org.apache.hadoop.conf.Configuration;
impo...
分类：
其他好文 时间：
2014-10-19 23:25:14
阅读次数：
399
jobtracker变成了ResourceManager和ApplicationMaster;
tasktraker变成了nodeManager
applicationMaster是一个可变更的部分，用户可以对不同的编程模型些自己的applicationMaster...
分类：
其他好文 时间：
2014-10-19 23:18:52
阅读次数：
196
接上篇3.Combiner操作前面讲完Map操作，总结一下就是：一个大文件，分成split1~5，对应于Map1~5，每一个Map处理一个split，每一个split的每一行，会用每一个Map的map方法去处理，经过上面操作，最终输出了5个中间结果。对于这5个中间结果的每一个来说，都有很多行，每一行...
分类：
其他好文 时间：
2014-10-19 18:28:49
阅读次数：
186
