一、HDFS权限问题：默认情况下，HDFS的权限认证是开启的，通过在hdfs-site.xml中设置dfs.permissions为true或者false来开启、关闭。所以当客户端进入hdfs的用户没有权限时，是无法对hdfs进行操作的。这时候可通过下面几种方式绕开认证。1、在java代码中设置hadoop用户为rootSystem.setProperty("HADOOP_USER_NAME","
分类：
其他好文 时间：
2019-10-14 14:36:23
阅读次数：
132
[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second
分类：
其他好文 时间：
2019-10-14 13:04:16
阅读次数：
120
1. HBase基本介绍 a. 介绍 Hbase是一个nosql的列式存储的数据库。实际来源于Google发表的论文bigtable。构建在hdfs基础之上。 b. Hbase的特点 2. Hbase和hadoop的关系 a. hdfs b. Hbase 总结：紧耦合关系，Hbase依赖于hdfs ...
分类：
其他好文 时间：
2019-10-14 01:39:31
阅读次数：
120
package project.etl.core.util; import java.io.FileNotFoundException;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org ...
分类：
编程语言 时间：
2019-10-13 12:52:49
阅读次数：
78
配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf 将 flume-conf.properties.template 重新命名为 hdfs.properties # 组装 agenta1.sources = s1a1. ...
分类：
Web程序 时间：
2019-10-12 11:26:24
阅读次数：
252
HBase用途： 基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。HBase简介： HBase是一个分布式的、多版本的、面向列的开源数据库 1）利用Hadoop HDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的 ...
分类：
其他好文 时间：
2019-10-10 00:04:15
阅读次数：
135
一、概述 1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2.可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs 二、实现步骤 1. 准备sqoop安装包，官网地址：http://sqoop.apache.org 2. 配置jdk ...
分类：
其他好文 时间：
2019-10-09 19:38:03
阅读次数：
122
1 //文件名更改 2 @Test 3 public void testRename() throws IOException, InterruptedException, URISyntaxException { 4 5 //获取文件系统 6 Configuration configuration... ...
分类：
其他好文 时间：
2019-10-08 16:09:32
阅读次数：
225
一、命令行接口 默认操作的是hdfs hadoop dfsadmin -safemode leave/enter 离开或进入安全模式 hadoop fs -copyFromLocal localfrom hdfsdest 从本地文件系统复制文件到hdfs hadoop fs -ls 可以通过指定UR ...
分类：
其他好文 时间：
2019-10-07 21:34:37
阅读次数：
97
hbase的读写过程: hbase的架构: Hbase真实数据hbase真实数据存储在hdfs上，通过配置文件的hbase.rootdir属性可知，文件在/user/hbase/下hdfs dfs -ls /user/hbaseFound 8 itemsdrwxr-xr-x - root super ...
分类：
其他好文 时间：
2019-10-06 23:22:20
阅读次数：
178
