创建文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.ha ...
分类：
编程语言 时间：
2019-11-29 14:25:55
阅读次数：
80
<! vscode markdown toc "安装" "配置" "概念" "hadoop常用shell命令" "使用java操作hadoop" <! vscode markdown toc config numbering=false autoSave=false /vscode markdown ...
分类：
编程语言 时间：
2018-12-28 22:22:04
阅读次数：
213
1.复习Linux hadoop hdfs MapReduce基础知识 2.java操作HDFS文件 ...
分类：
其他好文 时间：
2018-07-16 18:32:20
阅读次数：
220
代码在GitHub上。 包括如下几种样例代码： https://github.com/quchunhui/tod-train-1.0/tree/master/hadoop/src/main/java/hdfs ...
分类：
编程语言 时间：
2018-05-30 19:18:35
阅读次数：
174
Java操作HDFS开发环境搭建在之前我们已经介绍了如何在Linux上进行HDFS伪分布式环境的搭建，也介绍了hdfs中一些常用的命令。但是要如何在代码层面进行操作呢？这是本节将要介绍的内容：1.首先使用IDEA创建一个maven工程：maven默认是不支持cdh的仓库的，需要在pom.xml中配置cdh的仓库，如下：<repositories><repository>&l
分类：
编程语言 时间：
2018-03-25 18:08:19
阅读次数：
507
命令行管理HDFS JAVA操作HDFS maven依赖： 上传&下载示例： 参考： HDFS文件管理：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html API文档：https ...
分类：
其他好文 时间：
2017-12-16 23:12:45
阅读次数：
222
Windows下使用Eclipse工具操作Sqoop1.4.6对象 Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出，Windows下使用Eclipse工具操作时，需要先搭建好Hadoop的开发环境 参照Java操作HDFS对象的pom.xml配置，添加配置 使用MySQL进行数据 ...
分类：
编程语言 时间：
2017-06-06 18:51:29
阅读次数：
301
使用hadoop工具将数据分析出来以后，须要做入库处理或者存到缓存中。不然就没了意义 一下是使用javaAPI操作hdfs存入缓存的代码： <span style="font-family:Microsoft YaHei;font-size:14px;">public class InterestT ...
分类：
数据库 时间：
2017-04-12 15:09:55
阅读次数：
179
HDFS的java操作hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件7.1搭建开发环境1、引入依赖<dependency><groupId>org.apache.hadoop</groupId><arti..
分类：
其他好文 时间：
2017-04-01 22:15:01
阅读次数：
209
环境：window7+eclipse+vmware虚拟机+搭建好的hadoop环境（master、slave01、slave02） 内容：主要是在windows环境下，利用eclipse如何来操作hdfs，如上传文件、删除文件、创建文件夹、查看节点信息等。 eclipse开发环境的搭建，请参考：ht
分类：
编程语言 时间：
2016-03-15 18:57:55
阅读次数：
346
