Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。
Hive支持的数据类型有
1整形：
Tinyint 1字节整型
Smallint 2字节整型
Bigint 8字节整型
2.布尔型
Boolean
3浮点型
Float
Double
4字符串类型
String
5.符合类型
...
分类：
其他好文 时间：
2014-07-22 23:03:34
阅读次数：
393
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类：
其他好文 时间：
2014-07-22 23:01:32
阅读次数：
405
Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos
6.5 x64， Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 hado...
分类：
Web程序 时间：
2014-05-02 12:17:15
阅读次数：
1290
本文以康哥的博客为基础进行修改和补充，详见：http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop
mapreduce 过程粗略的分为两个阶段： 1.map; 2.redurce(copy, sor...
分类：
其他好文 时间：
2014-05-02 00:06:57
阅读次数：
553
安装ccs_setup_5.1.1.00028.exe后（无论是自己装eclipse还是在原来的基础上安装eclipse的插件），ccs5的应用无法打开，错误为：An
error has occurred.See the log file .\workspace\.metadata\.log.本现象...
分类：
其他好文 时间：
2014-05-01 20:57:36
阅读次数：
888
VMware也用了一年了，一直好好的，今天突然出现启动不了VMware里的linux系统了，Authorization
Service问题，在windows系统里查看服务，找到VMware Authorization Service，点启动，弹出无法启动VMware
Authorization Se...
分类：
Windows程序 时间：
2014-05-01 19:04:13
阅读次数：
2955
一、Hadoop概述
hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce 则构建在分布式文件系
统之上，对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中，MapReduce 底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单...
分类：
其他好文 时间：
2014-05-01 18:34:41
阅读次数：
382
本文主要针对广告检索领域的查询重写应用，根据查询-广告点击二部图，在MapReduce框架上实现SimRank++算法，关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为：
算法主要步骤如下：
Step1: 计算权值矩阵，并获取最大Query编号和最大广告编号；
Step2:...
分类：
其他好文 时间：
2014-05-01 08:21:53
阅读次数：
527
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类：
编程语言 时间：
2014-04-30 22:27:39
阅读次数：
499
很早以前有个Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。
flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。
目前项目在Github上，地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。
Github...
分类：
其他好文 时间：
2014-04-30 22:15:39
阅读次数：
360
