1、预分区设计 附：splits.txt 2、rowkey设计 3、HBase优化 ...
分类：
其他好文 时间：
2018-12-15 23:56:29
阅读次数：
263
动态上下线集群的一些配置： 1、namenode中 hdfs-site.xml 配置 dfs.hosts所对应的文件中列出了所有可以连接到namenode的datanode， 如果为空则所有的都可以连入， dfs.hosts.exclude所对应的文件中列出了禁止连接namenode的datanod ...
分类：
其他好文 时间：
2018-12-10 13:56:58
阅读次数：
256
当我们在hdfs上操作文件的时候，有时候会报错 ，出现namenode in safemode namenode处于安全模式的原因： 1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。 2、HDFS集群即使启动正 ...
分类：
其他好文 时间：
2018-11-29 23:23:40
阅读次数：
571
hadoop集群之Datenode无法启动解决办法 我们在启动hadoop集群的时候，通过jps查看进程，发现namenode RM和Secondary NameNode都有，但datanode没有启动，然后 datanode的启动日志如下 原因： 是多次format Namenode导致的Name ...
分类：
其他好文 时间：
2018-11-28 20:36:12
阅读次数：
279
1.client端向namenode请求上传文件，查看文件是否存在，是否有权限往hdfs写入 2.如果文件不存在，权限OK就根据副本数N（例如2个），根据网络拓扑选择N个离client端最近的datanode返回client。 （把文件切块，一个一个block块的请求namenode，返回最优的da ...
分类：
Web程序 时间：
2018-11-23 23:52:49
阅读次数：
244
File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). 这是由于 hadoop 的hdfs系统 中datanode没有与 namenode 连接页产生的，所以 ...
分类：
其他好文 时间：
2018-11-22 00:30:16
阅读次数：
464
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.问题现象Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制...DataNode(ip-172-31-10-118)日志文件NameNode连接抑制...DataNode(ip-172-31-5-
分类：
其他好文 时间：
2018-11-20 19:29:18
阅读次数：
251
```
# _*_ coding=utf-8 _*_ import sys
import os hosts = {}
cmd1 = '''
curl -i -X PUT "http://%s:50070/webhdfs/v1%s?op=CREATE&user.name=op&overwrite=tr... ...
分类：
Web程序 时间：
2018-11-20 11:42:20
阅读次数：
480
bayaim_bayaim_hadoop2_hdfs_20181107 HDFS 原理：上传数据要分块（128M）分块存储分布式文件系统 先启动HDFS 1. sbin/start-dfs.sh 一直输入：yes 电脑密码: root/dba_2018 再启动YARN 2. sbin/start-y ...
分类：
其他好文 时间：
2018-11-19 11:10:57
阅读次数：
170
实践扩容， travelrecord表定义为10个分片，尝试将10个分片中的2个分片转移到第二台MySQL上 1--定义10个分片<table name="travelrecord_t" dataNode="dn1-10" rule="auto-sharding-long_t" /><dataNod ...
分类：
其他好文 时间：
2018-11-19 11:10:03
阅读次数：
253
