如何对hbase用的好，怎么定义把hbase用的好？在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。优化方向为:（1）HDFS相关配置优化，（2）HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），（3）列族设计优化，（4）客户端优化等，其中第四点（4）客户端优化在前面已经通过超时机制、重试机制讲过，参
分类：
其他好文 时间：
2019-04-04 13:07:15
阅读次数：
167
1、datanode无法启动 问题描述：使用命令 hadoop-daemons.sh start datanode ，没有报错信息，但jps时没有启动datanode 解决方式：查看日志 logs/hadoop-centos-datanode*.log 可能出现的问题： 在集群多次重新格式化HDFS ...
分类：
其他好文 时间：
2019-04-03 09:24:30
阅读次数：
212
1.Sql导入数据方式：（1）软件选择导入，分隔符类型，直接导入 （2）写入代码导入 2、Hadoop下载安装：官网下载安装 3、HDFS HDFS的可靠性：创建了多份数据备份，放置在了其他计算机节点中，读取速度也很快。 结构：NameNode（元数据 内存）和DataNodes（文件内容 磁盘） ...
分类：
其他好文 时间：
2019-04-02 14:19:00
阅读次数：
327
第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实... ...
分类：
其他好文 时间：
2019-04-02 09:20:50
阅读次数：
267
目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 Hadoop2.x新特性 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 ...
分类：
其他好文 时间：
2019-04-01 15:44:42
阅读次数：
172
HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hadoop fs -rmr xxx 命令之后，文件并不是马上被删除，而是会被移动到执行这个操作用户的 .Trash 目录下，等到一定的时间后才会执行真正的删除操作。 如下所示： $ sudo -uiteblog hadoop fs -rmr / ...
分类：
其他好文 时间：
2019-03-31 19:16:47
阅读次数：
288
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
1． Hadoop安装包目录结构 bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。 etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-si ...
分类：
其他好文 时间：
2019-03-30 14:59:29
阅读次数：
183
最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。 通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。 第一步：备份hdfs-site.xml配置文件 第二步：添加数据磁盘、格式化，并挂载到/data2目录 第三 ...
分类：
其他好文 时间：
2019-03-30 10:55:15
阅读次数：
217
在实际应用中，hdfs block块的大小设置为多少合适呢？为什么有的是64M，有的是128M、256M、512呢？ ...
分类：
其他好文 时间：
2019-03-30 01:27:43
阅读次数：
263
