码迷,mamicode.com
首页 >  
搜索关键字:hadoop 环境搭建    ( 22808个结果
hive基本操作
Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。 Hive支持的数据类型有 1整形: Tinyint  1字节整型 Smallint  2字节整型 Bigint   8字节整型   2.布尔型 Boolean   3浮点型  Float Double   4字符串类型 String   5.符合类型 ...
分类:其他好文   时间:2014-07-22 23:03:34    阅读次数:393
入职体验--linux学习体会
相信的力量: LAMP环境搭建的过程中,按照同样一篇博客的指导,当我相信自己一定弄不出来的时候,弄了一天都不行。我就在想,问题出在哪里,为什么一遍一遍的重做、总是失败?于是我想到了,一开始我就认为自己做不到,所以我根本就没有静下心来好好的去做,所以,我就开始转变自己的想法了。当我改变想法,相信自己一定弄得出来的时候,一个小时就搞定了。尽管这一个小时是有前面的一天的基础,但是若我始终不相信自己,恐怕就不是这一个小时能够搞定的了。 当你相信自己的时候,你就会沿着这个相信去关注你要关注的东西,自然的,就会漏掉不该...
分类:系统相关   时间:2014-07-22 23:02:14    阅读次数:384
微信公众平台搭建与开发(二)开发模式的搭建和关键词回复
在第一部分我们介绍了编辑模式,但是编辑模式有较大局限性,下面我们主要开始介绍开发模式,这一部门先简单介绍下开发模式的环境搭建和关键词回复。 开发模式首先要有一个虚拟主机,本人使用的是新浪开发者平台的虚拟主机,使用云豆计算流量,若成为新浪开发者用户基本上就可以免费使用了,本人注册用户所赠送的云豆不知道能用多久。当然国内比较大就是百度开发者平台,注册后发现部署还没有新浪的方便,并且在BAE3.0以后...
分类:微信   时间:2014-07-22 23:01:53    阅读次数:556
Hadoop AWS Word Count 例子
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序:import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...
分类:其他好文   时间:2014-07-22 23:01:32    阅读次数:405
PaaS平台– Google App Engine的开源实现AppScale环境搭建
搭建环境介绍:硬件平台:HP Z800 工作站  内存:24GB      硬盘:1TB虚拟化环境:XenServer 6.2.0VM1:Ubuntu 12.04 amd64 server | IP:192.168.137.50VM2:Ubuntu 12.04 amd64 server | IP:192.168.137.51VM3:Ubuntu 12.04 amd64 server | IP:19...
分类:移动开发   时间:2014-07-22 22:59:34    阅读次数:461
hadoop wordCount运行
本文以康哥的博客为基础进行修改和补充,详见:http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop mapreduce 过程粗略的分为两个阶段: 1.map; 2.redurce(copy, sor...
分类:其他好文   时间:2014-05-02 00:06:57    阅读次数:553
win7下android开发环境搭建(win7 64位)
一、安装 JDK 下载JDK最新版本,下载地址如下: http://www.oracle.com/technetwork/java/javase/downloads/index.html 二、下载并安装 Eclipse http://www.eclipse.org/downloads/
分类:移动开发   时间:2014-05-01 21:03:30    阅读次数:560
用hadoop实现SimRank++算法(1)----权值转移矩阵的计算
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。 SimRank++的矩阵形式的计算公式为: 算法主要步骤如下: Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号; Step2:...
分类:其他好文   时间:2014-05-01 08:21:53    阅读次数:527
Struts2 开发环境搭建
一.开发环境        eclipse+tomcat+struts-2.2.3        eclipse下载地址:http://www.eclipse.org/downloads/        tomcat下载地址:http://tomcat.apache.org/download-70.cgi        struts下载地址:http://struts.apac...
分类:其他好文   时间:2014-04-30 22:45:39    阅读次数:404
flare-spork: 自己维护的Pig on Spark项目
很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。 flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。 目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。 Github...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:360
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!