码迷,mamicode.com
首页 > 其他好文 > 详细

访问hdfs里的文件

时间:2018-11-13 02:38:04      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:utils   util   new   port   端口   public   str   .com   baidu   

准备工作:

  给hdfs里上传一份用于测试的文件 

  [root@master ~]# cat hello.txt
  hello 1
  hello 2
  hello 3
  hello 4

  [root@master ~]# hadoop fs -put ./hello.txt /
  [root@master ~]# hadoop fs -ls /
  Found 1 items
  -rw-r--r-- 2 root supergroup 32 2018-11-12 22:42 /hello.txt

 

  java依赖的库:

  1.common
    hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar
  2.common依赖的jar
    hadoop-2.7.3\share\hadoop\common\lib下的所有
  3.hdf
    hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar

 

代码:

  利用JDK的URL类

import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import java.io.InputStream;
import java.net.URL;

public class TestHDFS {
    public static void main(String[] args) throws Exception{
//        URL url = new URL("http://www.baidu.com");
        //URL这个类是Java的,他默认只认识HTTP协议,这里需要设置一下,让他认识HDFS协议
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
        //这里的地址和端口,相当与hdfs里的根目录, 然后在拼上要访问的文件在hdfs里的路径
        URL url = new URL("hdfs://192.168.0.104:9000/hello.txt");
        InputStream in = url.openStream();
        IOUtils.copyBytes(in, System.out, 4096, true);
    }
}

 

  

    

访问hdfs里的文件

标签:utils   util   new   port   端口   public   str   .com   baidu   

原文地址:https://www.cnblogs.com/413xiaol/p/9949814.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!