在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类：
其他好文 时间：
2014-07-22 23:01:32
阅读次数：
405
如果要编写定制的Apache模块，最总需要编译成Apache包。
命令如下：
% ./buildconf
% ./configure --prefix=/usr/local/apache
> --with-layout=Apache --enable-modules=most --enable-mods-shared=all > --with-mpm=prefork
% make
#mak...
分类：
其他好文 时间：
2014-07-22 22:59:34
阅读次数：
243
Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager起什么作用呢？
读写过程的容错是怎么做的？数据块是如何复制的？数据块的恢复机制？本文都有涉及。...
分类：
其他好文 时间：
2014-05-02 23:22:14
阅读次数：
450
1、导入jar包
2、拷贝修改配置文件struts.xml，web.xml
将struts.xml文件拷贝到src目录下，改为如下配置
xml version= "1.0" encoding = "UTF-8" ?>
DOCTYPE struts PUBLIC
"-//Apache Software Foundation//DTD
Struts Con...
分类：
其他好文 时间：
2014-05-02 22:45:20
阅读次数：
335
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos
6.5 x64， Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 hado...
分类：
Web程序 时间：
2014-05-02 12:17:15
阅读次数：
1290
1、具体错误如下
usage: java org.apache.catalina.startup.Catalina [ -config {pathname} ] [ -nonaming ] { -help | start | stop }
2014-5-1 23:17:23 org.apache.catalina.core.AprLifecycleListener init
信息: Loade...
分类：
其他好文 时间：
2014-05-02 05:12:30
阅读次数：
257
1、具体报错如下
2014-5-1 23:02:38 org.apache.catalina.core.StandardWrapperValve invoke
严重: Servlet.service() for servlet [jsp] in context with path [/UploadFile] threw exception [An exception occurred proce...
分类：
其他好文 时间：
2014-05-02 04:53:03
阅读次数：
325
1、具体报错如下
usage: java org.apache.catalina.startup.Catalina [ -config {pathname} ] [ -nonaming ] { -help | start | stop }
2014-5-1 23:10:21 org.apache.catalina.core.AprLifecycleListener init
信息: Loade...
分类：
其他好文 时间：
2014-05-02 02:17:00
阅读次数：
353
本文主要针对广告检索领域的查询重写应用，根据查询-广告点击二部图，在MapReduce框架上实现SimRank++算法，关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为：
算法主要步骤如下：
Step1: 计算权值矩阵，并获取最大Query编号和最大广告编号；
Step2:...
分类：
其他好文 时间：
2014-05-01 08:21:53
阅读次数：
527
