从《Hadoop权威指南》选取了一个小案例,在Hadoop集群环境中运行。1、新建JAVA类,保存书中源代码。[huser@master bin]$ vi 
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
                            
                            
                                分类:
其他好文   时间:
2014-05-14 03:52:36   
                                阅读次数:
457
                             
                    
                        
                            
                            
                                在模式规则中,目标和依赖文件都是一系列的文件,那么我们如何书写一个命令来完成从不同的依赖文件生成相应的目标?因为每次解析模式规则时,都会是不同的目标和依赖文件。
自动化变量就是完成这个功能的。所谓自动化变量就是把模式中所定义的一些列的文件自动地挨个取出,直至所有的符合模式的文件都取完。这种自动化变量只应该出现在规则的命令中,下面是所有自动化变量及其说明:
$@:
表示规则中的目标文件集。在模...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 23:50:40   
                                阅读次数:
373
                             
                    
                        
                            
                            
                                在2014年4月7日,Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明):
1 支持HDFS访问控制列表(ACL,Access Control Lists) 
     这个特性解决了在一定情况下,文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征,如果你熟悉Linux的文件访问机...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 09:03:36   
                                阅读次数:
326
                             
                    
                        
                            
                            
                                一个Hadoop集群拥有多个并行的计算机,用以存储和
Hadoop强调代码向数据迁移...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 06:54:15   
                                阅读次数:
366
                             
                    
                        
                            
                            
                                UC正式推广官方技术博客,隐藏多年的浏览器技术开始陆续对外发布。...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 06:49:04   
                                阅读次数:
199
                             
                    
                        
                            
                            
                                #!/bin/bash
if [ $# -ne 2 -a $# -ne 1 ] ;then
        echo "usage: `basename $0 ` [n] input file "
        echo
        exit
fi
if [ $# -eq 1 ];then
        I_TOP=10
        I_FILE=$1
fi...
                            
                            
                                分类:
系统相关   时间:
2014-05-13 06:21:24   
                                阅读次数:
454
                             
                    
                        
                            
                            
                                hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 05:40:21   
                                阅读次数:
460
                             
                    
                        
                            
                            
                                安装HBase 0.94.6-cdh4.3.0
设定HBase的配置文件,由于安装的是cdh版,各版本直接匹配,互相依赖的jar包也都正确,只需要配置下hbase的环境变量和配置文件即可。
1.配置hbase-env.sh,添加JAVA_HOME环境变量
[html] view
 plaincopy
export JAVA_HOME=/us...
                            
                            
                                分类:
其他好文   时间:
2014-05-12 22:36:14   
                                阅读次数:
504
                             
                    
                        
                            
                            
                                本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce 
Cookbook》中的示例代码。1、安装AntAnt项目主页:http://ant.apache.org/下载二进制安装包,例如apache-ant-1.9.4-bin.tar.gz,上传到Hadoop集群环...
                            
                            
                                分类:
其他好文   时间:
2014-05-12 20:44:36   
                                阅读次数:
398
                             
                    
                        
                            
                            
                                import java.io.IOException;import 
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import 
org.apache.hadoop.io.IntWritable;import...
                            
                            
                                分类:
其他好文   时间:
2014-05-12 19:55:27   
                                阅读次数:
326