码迷,mamicode.com
首页 >  
搜索关键字:maven hadoop    ( 33538个结果
Emacs用JDEE编写Android程序
前文介绍了如何用Maven构建Android工程,现在进一步介绍如何使用JDEE编写程序。Ubuntu 14.04 Android 使用Maven二 创建自己的Maven工程如何安装JDEE可以参考之前的文章:Emacs 24.3 配置JDEE首先要安装一个m2jdee的插件,能够根据maven的pom.xml中的配置生成jdee所需的prj.el文件。获取该项目:git clone git@gi...
分类:移动开发   时间:2014-07-22 22:59:56    阅读次数:438
使用公司自己的maven服务器时,本地 maven 的配置方法
使用公司的maven服务器,可以加速jar包的下载。如果要使用公司的maven服务器,需要对本地maven配置文件conf/settings.xml做相应修改,具体改法有两种。一、mirror 方式思路是利用 mirror 配置支持通配符号,于是可以指定所有的 repository 都去找公司的r....
分类:其他好文   时间:2014-05-10 19:56:57    阅读次数:686
Hadoop初学指南(5)--MapReduce入门
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:其他好文   时间:2014-05-03 01:53:48    阅读次数:519
Hadoop初学指南(6)--MapReduce的简单实例及分析
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:其他好文   时间:2014-05-03 01:51:40    阅读次数:382
HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢? 读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:其他好文   时间:2014-05-02 23:22:14    阅读次数:450
Ubuntu14下Hadoop开发<1> 基础环境安装
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类:其他好文   时间:2014-05-02 19:56:21    阅读次数:367
通过secondary namenode恢复崩溃的namenode
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:其他好文   时间:2014-05-02 14:44:28    阅读次数:517
Hadoop web监控界面设置安全机制
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:Web程序   时间:2014-05-02 12:17:15    阅读次数:1290
快速入門系列-spring和quartz
檔案說明pom.xml-maven設定Main.class主程式StoreOrderSyncTask.class-一個需要固定執行的Task,裡面只有一個方法Spring-Quartz.xml-設定要固定執行的Task,和執行的時間pom.xml<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSc..
分类:编程语言   时间:2014-05-02 03:52:19    阅读次数:339
用hadoop实现SimRank++算法(1)----权值转移矩阵的计算
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。 SimRank++的矩阵形式的计算公式为: 算法主要步骤如下: Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号; Step2:...
分类:其他好文   时间:2014-05-01 08:21:53    阅读次数:527
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!