大數據項目挺嚇人的，尤其是如果包含了設置和管理Hadoop集群。如果你更習慣於SQL，而不是MapReduce，但是發現關係型資料庫不符合分析需求，Google BigQuery值得一看。Google BigQuery提供了大數據分析入門級方法。 BigQuery減少了分析大型數據集面臨的一些實現挑...
分类：
其他好文 时间：
2015-02-02 17:52:28
阅读次数：
220
试验环境:本地:Window-MyEclipse集群:Vmware 11+ 6台 Centos 6.5Hadoop版本: 2.4.0(配置为自动HA)试验背景:在正常测试MapReduce(下简称MR)程序4次之后,进行一次新的MR程序,MyEclipse的控制台信息卡住不动了,我通过远程连接Nam...
分类：
其他好文 时间：
2015-02-01 20:21:49
阅读次数：
153
默认情况下，一个 mapreduce job 只有一个 reducer ，真实应用中，作业都把它设置成一个较大的数字，否则由于所有的中间数据都会放到一个 reducer 任务中，造成性能瓶颈。 reducer 最优个数与集群中可用的 reduce...
分类：
其他好文 时间：
2015-02-01 19:15:39
阅读次数：
324
背景MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce主要有以下几阶段：1.Map:把一个操作Map到集合中的每一个文档2.Shu..
分类：
数据库 时间：
2015-02-01 07:19:46
阅读次数：
201
package com;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class MaxTempera...
分类：
其他好文 时间：
2015-02-01 02:01:40
阅读次数：
269
package com;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapr...
分类：
其他好文 时间：
2015-02-01 01:59:25
阅读次数：
229
背景 MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。 MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce主要有以下几阶段： 1. Map:把一个操作M.....
分类：
数据库 时间：
2015-02-01 00:36:01
阅读次数：
251
package com;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapr...
分类：
移动开发 时间：
2015-01-31 20:39:01
阅读次数：
152
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
