Hadoop学习笔记(2) ——解读Hello World 上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。 OK，我们先来看一下当时在命令行里输入的内容： $mkdir input $cd i....
分类：
其他好文 时间：
2014-07-22 23:27:57
阅读次数：
401
我在写hadoop的时候，在mapper里定义了一个public static int rownums = 0.但我在main里对这个变量进行了赋值。结果在循环的过程中，根本没有任何输出，因为我是用这个变量来控制循环的，所以我猜想可能是不能改变这个值，于是我直接在初始定义的时候直接赋上正确的值，所以...
分类：
编程语言 时间：
2014-07-22 23:03:12
阅读次数：
253
package cn.lmj.mapreduce;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritabl...
分类：
其他好文 时间：
2014-07-22 22:40:15
阅读次数：
170
Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，...
分类：
其他好文 时间：
2014-07-22 22:39:54
阅读次数：
270
用Eclipse远程连接hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode="system":hadoop:supergroup:rwx-wx-wx错误，解决方法： ????...
分类：
系统相关 时间：
2014-07-22 22:37:34
阅读次数：
283
进到8088页面后，怎么看不到mapreudce的执行状态，有哪里需要配置的解决办法：在$HADOOP_HOME/conf/mapred-site.xml 在原来的配置文件基础之上添加： mapreduce.framework.name yarn mapre...
分类：
其他好文 时间：
2014-07-22 22:36:15
阅读次数：
211
我用的是cdh4.5版本：配置文件：$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类：
其他好文 时间：
2014-07-22 22:35:55
阅读次数：
204
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
一：搭建JStorm环境（三个机器组成的集群）1. 搭建Zookeeper集群2. 安装java1.7和python 2.6，因为JStorm是由大量的java和python编写。3. 安装JStorm-0.9.3.1。4. JStorm需要tomcat来展现UI，所以需要安装tomcat。二：写完TopK_on_JStorm的第一个版本（项目地址），整个项目提供一个简单的topk计算流程，由并发度为1的ScoreProduceSpout提供随机数数据（id，score），并发度为4的ComputeBolt...
分类：
Web程序 时间：
2014-07-22 14:47:04
阅读次数：
279
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0...
分类：
其他好文 时间：
2014-07-22 14:38:19
阅读次数：
179
