HBase特点 1）海量存储 Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。 2）列式存储 这里的列式存储其实说的是列族存储，Hbase ...
分类：
其他好文 时间：
2019-11-29 19:53:24
阅读次数：
85
创建文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.ha ...
分类：
编程语言 时间：
2019-11-29 14:25:55
阅读次数：
80
1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ ...
分类：
其他好文 时间：
2019-11-28 13:20:10
阅读次数：
89
一、写过程 ①准备客户端（构建客户端对象）和服务端（启动NN和DN） ②客户端向服务端发送上传请求 ③服务器端接收客户端的请求，并检查请求的合法性（路径是否存在，权限是否够等） ④如果合法，响应客户端可以上传，否则无法上传 ⑤在上传时，数据以block的形式传输，写入到DN所在的机器。客户端请求上传 ...
分类：
其他好文 时间：
2019-11-27 01:10:43
阅读次数：
69
一、NN的工作机制 ①作用：负责HDFS上元数据的管理，负责接收和处理客户端的请求，负责和DN通信，执行HDFS上的管理操作 ②说明：NN是一个java进程，负责元数据的管理，当NN启动时，需要将HDFS上的所有元数据信息加载到内存中（从磁盘中读取上集群停止时持久化到磁盘中的元数据信息） ③应该避免 ...
分类：
其他好文 时间：
2019-11-27 01:01:07
阅读次数：
82
1、hdfs是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式，就是一个虚拟的目录结构2、文件存储到hdfs集群中去的时候是被切分成block的3、文件的block存放在若干台datanode节点上4、hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理5、每一 ...
分类：
其他好文 时间：
2019-11-25 20:52:22
阅读次数：
77
FileSystem init() throws URISyntaxException, IOException, InterruptedException { Configuration conf=new Configuration(); conf.set("fs.defaultFS","hdfs ...
分类：
其他好文 时间：
2019-11-25 18:36:13
阅读次数：
79
环境信息 虚拟机：Centos 7 、 Hive版本：1.2.1 异常信息 异常处理 正常根据提示，使用 hdfs dfsadmin safemode leave 即可 但是我遇到了特殊情况，我使用命令hdfs dfsadmin safemode leave,不生效，幸亏看到一篇文章说可能虚拟机磁盘 ...
分类：
其他好文 时间：
2019-11-25 00:08:59
阅读次数：
101
2019-11-24 20:24:56 1.产生密钥对： 可以看到.ssh目录下多了两个文件 2.将每台机器的公钥复制给其他机器。 3.此时再次开启Hadoop就不需要输入4次密码了 将文件放到HDFS分布式文件系统中 ...
分类：
其他好文 时间：
2019-11-24 23:55:29
阅读次数：
170
