本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是helloyou，hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>，分别是<0,helloyou><10,hel..
分类：
其他好文 时间：
2014-05-03 01:51:40
阅读次数：
382
Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager起什么作用呢？
读写过程的容错是怎么做的？数据块是如何复制的？数据块的恢复机制？本文都有涉及。...
分类：
其他好文 时间：
2014-05-02 23:22:14
阅读次数：
450
1.首先下载log4e插件，放入myeclipse10的安装目录D:\Program Files (x86)\myEclipse10\MyEclipse Blue Edition 10\dropins下，新建文件夹log4e，将下载的log4e的插件放入，新建log4e.link文件，写入path=D:/Program Files (x86)/myEclipse10/MyEclipse Blue ...
分类：
其他好文 时间：
2014-05-02 23:17:55
阅读次数：
349
引言最近在一个项目中，在用户列表中需要对给没有签名样本的个别用户上传签名的样本，就想到博客园中上传图片使用弹出框方式，博客园具体怎么实现的不知道，只是如果自己来弄，想到两个插件的结合使用，在弹出框中使用uploadify插件进行上传，每次都会报错很是无语，最后找到解决方案，这里记录一下，算是对工作中...
分类：
Web程序 时间：
2014-05-02 21:38:09
阅读次数：
583
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
上一篇中，使用客户端jJSAjaxFileUploader插件实现单文件异步上传，本篇实现多文件异步上传。本篇源码在github,先看效果：●
上传文件显示进度条。 ● 停止上传按钮和关闭缩略图按钮。 ● 限制上传文件的类型。 ● 限制上传文件的尺寸。 ●同时上传多个文...
分类：
Web程序 时间：
2014-05-02 13:11:17
阅读次数：
611
前段时间做了几个关于图片、文件上传的Demo，使用客户端Query-File-Upload插件和服务端Badkload组件实现多文件异步上传，比如"MVC文件上传04-使用客户端jQuery-File-Upload插件和服务端Backload组件实现多文件异步上传",就Demo而言，效果还算不错，但...
分类：
Web程序 时间：
2014-05-02 12:49:41
阅读次数：
565
Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos
6.5 x64， Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 hado...
分类：
Web程序 时间：
2014-05-02 12:17:15
阅读次数：
1290
Eclipse插件的安装和使用1.
在线更新（http://blog.csdn.net/charlies_fu/article/details/5638068）打开eclipse工具，选择HELP---Install
new software----输入网址，如我们这里要安装hibernate to...
分类：
其他好文 时间：
2014-05-02 01:14:07
阅读次数：
321
