由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:
其他好文 时间:
2014-06-06 23:38:29
阅读次数:
494
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4662MU
PuzzleTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K
(Java/Others)Total Submi...
分类:
其他好文 时间:
2014-06-06 23:12:39
阅读次数:
250
这里介绍一下hadoop的组成,
hadoop主要由两部分组成,,一个是hdfs,还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类:
其他好文 时间:
2014-06-06 19:27:24
阅读次数:
322
Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类:
其他好文 时间:
2014-06-06 14:08:15
阅读次数:
421
相比Java的MapReduce
api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据结构,一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作,包括在MapReduce中被忽视的连接Join操作。Hadoop版本:2.2.0Pig...
分类:
其他好文 时间:
2014-06-05 20:08:13
阅读次数:
373
package
com.sogou.web.selector.updana.wapPc;import
org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.Text...
分类:
其他好文 时间:
2014-06-05 19:23:04
阅读次数:
335
http://acm.fzu.edu.cn/problem.php?pid=1202二分图最大匹配,问哪些边是必要的,O(n^3)的方法删边的时候把连接关系也要删掉,如果在此基础上无法找到增广路,加入答案,恢复连接关系,如果能找到,连接关系不用恢复(因为要n对匹配,这组匹配新的了剩下的要留给别的组)...
分类:
其他好文 时间:
2014-06-05 19:14:40
阅读次数:
350
为了装hadoop,先要装hadoop.然后用wubi装ubuntu
10.10,接着开始装hadoop,但是装hadoop要先装ssh等一系列软件,用命令apt-get install
openssh-server发现没有相应软件,接着更新源,即使网上说的速度最快的源163也无效,然后查了下好像1...
分类:
其他好文 时间:
2014-06-05 17:41:25
阅读次数:
237
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类:
其他好文 时间:
2014-06-04 14:40:40
阅读次数:
254
题目地址:http://acm.hdu.edu.cn/showproblem.php?pid=4831
题目大概意思就是有多个风景区和休息区,每个风景区有热度,休息区的热度与最接近的分景区的热度相同,题目要求求出小于等于给定热度值的风景区和休息区的个数。显然如果直接暴力的话,复杂度为O(TKN...
分类:
其他好文 时间:
2014-06-02 18:03:59
阅读次数:
282