（一）HDFS简介及其基本概念 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HD ...
分类：
其他好文 时间：
2020-02-15 18:47:15
阅读次数：
65
HBase简介对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价硬件上，并可提供数10亿行X数百万列的大数据存储、管理能力，以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigt
分类：
其他好文 时间：
2020-01-09 01:19:12
阅读次数：
108
HBase是大数据中的数据库，是一种列级存储的数据库，支持秒级查询，下面安装记录一下，基于centos6，后面查看用。 安装hadoop hbase存储的数据在hadoop中，因此需要先安装hadoop，可以安装伪分布式就可以，用作学习用，参考 https://www.cnblogs.com/you ...
分类：
其他好文 时间：
2020-01-02 00:04:07
阅读次数：
121
一、为什么namenode持久化 namenode通过内存存储hdfs集群的元数据（目录结构 文件信息 块对应关系），如果内存出现问题，那么会数据丢失，需要通过持久化，把内存中的数据定期的存储在硬盘中，进而保证namenode的数据安全。 二、持久化的原理 1、FSImage (某一时刻 namen ...
分类：
其他好文 时间：
2019-12-29 18:48:03
阅读次数：
133
1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 [root@master hive]# cd apache-hive-2.3.3-bin/conf/ #创建文件 [root@master conf]# to ...
分类：
其他好文 时间：
2019-12-11 00:31:50
阅读次数：
164
在hadoop中安装jdk软件以后出现如下问题： 错误描述 [xxx@localhost jdk1.8.0_181]$ ./bin/jps Exception in thread "main" java.lang.NullPointerException at sun.jvmstat.perfdat ...
分类：
其他好文 时间：
2019-12-04 19:47:07
阅读次数：
125
gzip，bzip2，lzo，snappy是hadoop中比较常见的文件压缩格式，可以节省很多硬盘存储，博主阅读了“剑仙ex”的: Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景很受启发，但这位仁兄没有做成表格进行对比，本文将会对这4种压缩格式优缺点，使用场景做一个 ...
分类：
移动开发 时间：
2019-11-28 20:57:51
阅读次数：
162
zk是干什么的？？？？？分布式服务架构，解决统一命名，状态同步，集群管理，分布式应用配置项管理为了减轻分布式应用程序所承担的协调任务,比如hadoop中多个NameNode节点，怎么管理与节点间信息同步，Hbase中master与slaver之间状态同步。怎么干的？？？既然是为了减轻协调任务，产生了角色，有老大leader，跟随的follower，观察的observerleader，负责投票的发起
分类：
其他好文 时间：
2019-11-22 15:29:36
阅读次数：
79
Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。 Cloudera Impala也支持这些文件格式。 在建表时使用STORED AS (TextFile|RCFile|S ...
分类：
其他好文 时间：
2019-11-18 18:42:00
阅读次数：
109
关于 Apache Calcite 的简单介绍可以参考 Apache Calcite：Hadoop 中新型大数据查询引擎 这篇文章，Calcite 一开始设计的目标就是 one size fits all，它希望能为不同计算存储引擎提供统一的 SQL 查询引擎，当然 Calcite 并不仅仅是一个简 ...
分类：
Web程序 时间：
2019-11-05 01:00:45
阅读次数：
104
