我在写hadoop的时候，在mapper里定义了一个public static int rownums = 0.但我在main里对这个变量进行了赋值。结果在循环的过程中，根本没有任何输出，因为我是用这个变量来控制循环的，所以我猜想可能是不能改变这个值，于是我直接在初始定义的时候直接赋上正确的值，所以...
分类：
编程语言 时间：
2014-07-22 23:03:12
阅读次数：
253
PathhdfsPath=newPath(args[0]);Configurationconf=newConfiguration();FileSystemfs=FileSystem.get(hdfsPath.toUri(),conf);CompressionCodecFactoryfactory=n...
分类：
其他好文 时间：
2014-07-22 22:41:55
阅读次数：
192
package cn.lmj.mapreduce;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritabl...
分类：
其他好文 时间：
2014-07-22 22:40:15
阅读次数：
170
Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，...
分类：
其他好文 时间：
2014-07-22 22:39:54
阅读次数：
270
1、下载phantomjs
http://phantomjs.org/
2、执行
新建phantomjs.bat，记得改文件夹路径
里面内容为：
D:\java\phantomjs\phantomjs.exe D:\java\phantomjs\code\server.js 8080
3、新建server.js文件，放在code文件夹下，主要code文件夹也是新建的，下面是se...
分类：
Web程序 时间：
2014-07-22 22:38:56
阅读次数：
453
用Eclipse远程连接hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode="system":hadoop:supergroup:rwx-wx-wx错误，解决方法： ????...
分类：
系统相关 时间：
2014-07-22 22:37:34
阅读次数：
283
进到8088页面后，怎么看不到mapreudce的执行状态，有哪里需要配置的解决办法：在$HADOOP_HOME/conf/mapred-site.xml 在原来的配置文件基础之上添加： mapreduce.framework.name yarn mapre...
分类：
其他好文 时间：
2014-07-22 22:36:15
阅读次数：
211
我用的是cdh4.5版本：配置文件：$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类：
其他好文 时间：
2014-07-22 22:35:55
阅读次数：
204
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0...
分类：
其他好文 时间：
2014-07-22 14:38:19
阅读次数：
179
