[toc] 集群规划 hdfs结构分析 1.NameNode 名称节点 master 管理其他节点。需要配置ssh免密管理 2.DateNode 数据节点 3.SecondaryNameNode 辅助名称节点 |主机名|ip|作用| | | | | |s101|192.168.255.101|Nam ...
分类：
其他好文 时间：
2019-12-09 21:13:14
阅读次数：
105
1 <!--?xml version="1.0" encoding="UTF-8"?--> hbase hbck -repair 强制修复 如果ok就可以 2 不ok，找到hdfs上对应的该表位置，删除，之后在使用hbase hbck -repair 解决过程： 第一次，使用了方法二，然后解决了问题 ...
分类：
其他好文 时间：
2019-12-08 01:26:29
阅读次数：
128
1 详细异常 2 解决方案 权限问题 sudo -hdfs /mnt/software/hbase-1.2.0-cdh5.16.1/bin/start-hbase.sh 指定特定权限用户 启动集群 ...
分类：
数据库 时间：
2019-12-08 01:10:34
阅读次数：
278
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo ...
分类：
其他好文 时间：
2019-12-07 20:56:20
阅读次数：
159
1、Hdfs的HA高可用：保证Hdfs高可用，其实就是保证namenode的高可用，保证namenode的高可用的机制有两个，editlog共享机制+ZKFC。ZKFC就是ZookeeperFailOverController，即zookeeper故障转移控制器。 2、nameNode的高可用机制： ...
分类：
其他好文 时间：
2019-12-06 09:15:11
阅读次数：
93
我们知道，一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述：A typical schema has between 1 and 3 column families per table. HBase tables should not be ...
分类：
其他好文 时间：
2019-12-05 13:27:11
阅读次数：
113
1、概述 hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？分布式文件系统未出现的时候，一个文件只能存储在个服务器上，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗 hdfs的 ...
分类：
其他好文 时间：
2019-12-05 01:35:40
阅读次数：
140
先stop-all.sh 删除hdfs-site.xml中的这两个目录 然后删除core-site.xml 中的这个目录 然后格式化hdfs hdfs namenode -format 即可启动成功 注意：顺序不要错，很多人namnode起不来都是顺序错了 ...
分类：
其他好文 时间：
2019-12-04 19:59:58
阅读次数：
108
1、Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；（也就是说对存储在HDFS中的数据进行分析和管理，我们不想使用手工，我们建立一个工具把，那么这个工具就可以是hive） 2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED ...
分类：
其他好文 时间：
2019-12-04 10:35:57
阅读次数：
88
（1）列出HDFS下的文件 hadoop dfs -ls <目录> （2）上传文件 将Linux系统本地文件上传到HDFS中 hadoop dfs -put <本地文件> <HDFS文件> （3）下载文件 将HDFS 中的文件下载到Linux系统本地目录 hadoop dfs -get <HDFS文 ...
分类：
其他好文 时间：
2019-12-03 21:45:49
阅读次数：
82
