mongodb、redis、memcached区别：
1、tps方面：
redis和memcache差不多，要大于mongodb
2、操作数据方面：
redis提供string、hash、list、set、zset等结构，并支持mapReduce
memcached结构单一,但可以缓存图片、音频、视频等
mongodb提供丰富的查询表达式
3、内存方面：
...
分类：
数据库 时间：
2015-01-27 01:56:34
阅读次数：
273
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2015-01-26 21:03:29
阅读次数：
214
我们都知道Hadoop主要用于离线计算，它由两部分构成：HDFS和MapReduce，其中HDFS负责文件的存储，MapReduce负责对数据的计算，在执行MapReduce程序的时候。需要制定输入的文件uri、输出的文件uri。一般情况下这两个地址都是存放在HDFS上的。MapReduce计算过程又分成两个阶段：map阶段和reduce阶段，其中map阶段是负责将输入文件进行划分，划分的结果是一...
分类：
其他好文 时间：
2015-01-26 19:20:09
阅读次数：
179
package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap...
分类：
其他好文 时间：
2015-01-26 00:03:24
阅读次数：
331
一. 配置hadoop插件
1. 安装插件
将hadoop-eclipse-plugin-1.1.2.jar复制到eclipse/plugins目录下，重启eclipse
2. 打开MapReduce视图
window -> open perspective -> other 选择Map/Reduce 图标是一个蓝色的象
3. 添加一个MapReduce环境
在eclipse下端，控制...
1、 什么是Hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
2、 Hive的工作流程图
3、 使用场...
分类：
其他好文 时间：
2015-01-24 15:55:45
阅读次数：
209
Hadoop 平台优化
1. 概述
随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：
（1） Namenode/jobtracker单点故障。 Hadoo...
分类：
其他好文 时间：
2015-01-24 14:33:15
阅读次数：
172
MongDB的MapReduce相当于MySQL中的“group by”，所以在MongoDB上使用Map/Reduce进行并行“统计”很容易。 使用MapReduce要实现两个函数Map函数和Reduce函数，Map函数调用emit(key,value),遍历collection中的所有记录，.....
分类：
数据库 时间：
2015-01-24 11:32:46
阅读次数：
170
本文发表于本人博客。今天接着上次【Hadoop mapreduce自定义排序WritableComparable】文章写，按照顺序那么这次应该是讲解自定义分组如何实现，关于操作顺序在这里不多说了，需要了解的可以看看我在博客园的评论，现在开始。 首先我们查看下Job这个类，发现有setGrouping...
分类：
其他好文 时间：
2015-01-23 22:57:59
阅读次数：
258
经过前年的初次接触，现在已大约能理解整个体系啦。MAPREDUCE都改成YARN啦。不过，还得继续往前走，再能实用。。。HIVE,HBASE,ZOOKEEPER，，思路如下：安装系统，配置网络及计算机名配置SSH登陆安装及JAVA及配置JAVE_HOME，配置HADOOP基础，在WEB下查看端口及测...
分类：
其他好文 时间：
2015-01-22 19:42:28
阅读次数：
214
