在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类：
其他好文 时间：
2014-07-22 23:01:32
阅读次数：
405
在学习设计模式中的原型模式中遇到了浅复制和深复制这两个陌生的面孔。它们到底是什么意思？浅和深到底是什么意思？还是需要来仔细研究一下的
首先，了解一下原型模式：用原型实例制定创建对象的种类，并且通过拷贝这些原型创建新的对象。通俗的将其实就是复制。
若收到复制，并不陌生，但是怎么用，我们又该如何用才能达到更加灵活的复制呢？
1.首先要...
分类：
其他好文 时间：
2014-07-22 23:00:14
阅读次数：
280
在上篇博文中我们一起了解了抽象类，那么什么是接口呢？下面给大家简单介绍一下：
所谓接口，就是把隐式公共方法和属性组合起来，以封装特定功能的一个集合。一旦类实现了接口，类就可以支持接口所指定的所有属性和成员。声明接口在语法上与声明抽象类完全相同，但不允许提供接口中任何成员的执行方式，因此接口不能实例化，不能有构造方法和字段，不能有修饰符，如public等。在实现接口的类中必须实现接...
分类：
其他好文 时间：
2014-05-02 23:48:14
阅读次数：
397
Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager起什么作用呢？
读写过程的容错是怎么做的？数据块是如何复制的？数据块的恢复机制？本文都有涉及。...
分类：
其他好文 时间：
2014-05-02 23:22:14
阅读次数：
450
很早之前，就听说过三层结构了。当时只知道 三层结构 是把 系统的 界面 跟 数据库操作等不相关的程序分别开来。原来这么简单的实现，确实传说中的 三层结构啊。
首先，先来看一下是哪三层。表示层（UI，User Interface），业务逻辑层（BLL BusinessLogicLayer），数据访问层（DAL Data Access Layer）。三层的划分是物理上的划分。
表示层（UI），这...
分类：
其他好文 时间：
2014-05-02 23:09:09
阅读次数：
369
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
直接就上代码了：-module(shop).-export([cost/1,total/1]).cost(orange)
-> 5;cost(newspaper) -> 8;cost(apples) -> 2;cost(pears) ->
9;cost(milk) -> 7....
分类：
其他好文 时间：
2014-05-02 12:58:19
阅读次数：
280
Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos
6.5 x64， Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 hado...
分类：
Web程序 时间：
2014-05-02 12:17:15
阅读次数：
1290
老师最近留了道作业题，让算从0开始第100000个质数，并且看谁的算法快，我大概写了一下，下面的算法在core2，2g的电脑上需要算27秒，你们有更好的吗？...
分类：
其他好文 时间：
2014-05-01 18:36:35
阅读次数：
286
本文主要针对广告检索领域的查询重写应用，根据查询-广告点击二部图，在MapReduce框架上实现SimRank++算法，关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为：
算法主要步骤如下：
Step1: 计算权值矩阵，并获取最大Query编号和最大广告编号；
Step2:...
分类：
其他好文 时间：
2014-05-01 08:21:53
阅读次数：
527
