HBase简介对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价硬件上，并可提供数10亿行X数百万列的大数据存储、管理能力，以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigt
分类：
其他好文 时间：
2020-01-09 01:19:12
阅读次数：
108
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的... ...
分类：
其他好文 时间：
2020-01-09 00:58:47
阅读次数：
95
+ HDFS 写文件 + 网络拓扑 节点距离计算 + HDFS读流程 + NN和2NN工作机制 + Fsimage和Edits解析 + CheckPoint时间设置 + NameNode故障后的数据恢复 HDFS 数据流 HDFS 写文件 1）客户端通过Distributed FileSystem模 ...
分类：
其他好文 时间：
2020-01-08 18:45:59
阅读次数：
95
原文链接： 组件端口及说明 CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的 ...
分类：
其他好文 时间：
2020-01-07 19:56:27
阅读次数：
135
写流程： 正常： 1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法 namenode内完成几项判断 返回客户端 2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock 返回列表 然后开始写 3. ...
分类：
其他好文 时间：
2020-01-06 14:42:27
阅读次数：
67
一.HAWQ的历史与现状 想法和原型系统（2011）：GOH阶段（Greenplum Database On HDFS）。 HAWQ 1.0 Alpha（2012）：多个国外大型客户试用，当时客户性能测试是Hive的数百倍。促进了HAWQ 1.0作为正式产品发布。 HAWQ 1.0 GA（2013年 ...
分类：
其他好文 时间：
2020-01-06 14:20:04
阅读次数：
106
1.HDFS简单版集群搭建相关配置文件 1.core-site.xml文件 1 <property> 2 <name>fs.defaultFS</name> 3 <value>hdfs://hadoop2:9000</value> 4 </property> 5 6 <property> 7 <na ...
分类：
其他好文 时间：
2020-01-05 11:26:45
阅读次数：
76
分布式存储的应用场景相对于其存储接口，现在流行分为三种: 对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展，如七牛、又拍、Swift、S3 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Blo ...
分类：
其他好文 时间：
2020-01-04 14:09:04
阅读次数：
87
一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系 ...
分类：
其他好文 时间：
2020-01-04 12:52:32
阅读次数：
105
Hadoop Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。 YAR ...
分类：
其他好文 时间：
2020-01-03 23:16:37
阅读次数：
82
