atitit. 统计功能框架的最佳实践(1)---- on hibernate criteria
1. 关键字 1
2. 统计功能框架普通有有些条件选项...一个日期选项..一个日期类型(日,周,月份,年等)
1
3. 元数据的位置,不需要绑定class 1
4. 设置聚合字段... @reduce(" sum(timLen) "),@reduce(" Avg(timLen) ...
分类：
系统相关 时间：
2014-09-29 00:18:26
阅读次数：
447
hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图，就能了解shuffle所处的位置。图中的partitions、copy phase、sort phase所代表的就是shu.....
分类：
其他好文 时间：
2014-09-28 14:30:12
阅读次数：
368
传入函数要理解“函数本身也可以作为参数传入”，可以从Python内建的map/reduce函数入手。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。...
分类：
编程语言 时间：
2014-09-28 01:51:30
阅读次数：
223
Spark概述
当前，MapReduce编程模型已经成为主流的分布式编程模型，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷，如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年，社区出现了优化改进M...
分类：
其他好文 时间：
2014-09-27 18:23:00
阅读次数：
573
最近学习map-reduce原理以及map-reduce编程，于是顺带着学习下Java编程，对于Java常用的数据结构和类集，我总结到mind图中，便于理清相互之间的关系
package leiji;
import java.util.ArrayList;
import java.util.List;
import java.util.Collectio...
分类：
编程语言 时间：
2014-09-26 19:23:08
阅读次数：
280
Reduce代码就是做加和统计，package org.freebird.reducer;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapredu...
分类：
其他好文 时间：
2014-09-26 02:02:58
阅读次数：
146
分布式计算被誉为高端的东东，我想也是每个程序员都想涉足的领域了。前一段时间项目中遇到了大数据计算的问题，一般计算时间都要2~3小时，甚至一整天的。我想能不能利用多台机器分布式计算，减少计算时间呢？当前分布式计算框架主要有hadoop, google的map/reduce，或一些其它的框架。但这些东东...
分类：
编程语言 时间：
2014-09-25 14:29:29
阅读次数：
381
一、MapReduce简介1.1 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，其执行流程如图1。这两个....
分类：
其他好文 时间：
2014-09-23 22:14:05
阅读次数：
368
Hadoop中shuffle阶段流程分析MapReduce longteng9个月前 (12-23)399浏览0评论宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combin...
分类：
其他好文 时间：
2014-09-23 20:42:45
阅读次数：
252
mongoDB的map reduce使用
示例：
res = db.runCommand({
mapreduce:'liveEpgUserVisits',
map:function() {
emit({provice:this.provice}, {"data":[{"mac":this.mac}],visit:this.visitNum, use...
分类：
数据库 时间：
2014-09-23 19:55:17
阅读次数：
268
