解决方式： hdfs dfsadmin -safemode leave 关闭安全模式即可 报错如下 ： Logging initialized using configuration in jar:file:/opt/modules/apache-hive-3.0.0-bin/lib/hive-co ...
分类：
Web程序 时间：
2018-07-02 21:30:55
阅读次数：
252
分布式系统的一个优势就是动态可伸缩性，如果增删节点需要重启那肯定是不行的。后来研究了一下，发现的确是不需要重启的。以spark和hadoop为例：不用重启集群，直接在新增的节点上分别启动以下进程即可：一、hadoop增加datanode节点因为1.x版本和2.x版本有比较大的差异，我这里是以2.7为例。在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和log
分类：
其他好文 时间：
2018-07-02 12:34:16
阅读次数：
180
部署hbase全分布式时，出现以下错误：主机的hbase启动了，但是从机的没启动[root@centos7-01 my.shells]# start-hbase.sh Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS i... ...
分类：
其他好文 时间：
2018-06-29 15:05:45
阅读次数：
195
所使用的hadoop为hadoop-2.5.1_x64.tar.gz 解压hadoop-2.5.1.tar.gz: # tar -zxvf hadoop-2.5.1_x64.tar.gz # mv hadoop-2.5.1 /home/ # cd /home/ # vi /home/hadoop-2 ...
分类：
其他好文 时间：
2018-06-24 00:44:00
阅读次数：
166
由于目前的生产环境 namenode ha都只是配置了一块磁盘，如果磁盘坏了，估计就game over了。所以想着怎样做namenode的元数据容错。后来查阅hdfs的相关配置，发现一个恰好可以解决该问题的配置: <property> <name>dfs.namenode.name.dir</nam ...
分类：
其他好文 时间：
2018-06-24 00:38:09
阅读次数：
169
组员管理写入分布式：分布在不同的节点。 Hadoop是项目总裁，主要有分布式存储（HDFS）， Master是大脑，slave是执行 DataNode负责存储，TaskTracker负责运行 nameNode是索引，DataNode是存储， 接口 ******* ****************** ...
分类：
其他好文 时间：
2018-06-23 17:11:25
阅读次数：
173
1.hadoop是一份分布式的基础架构（分服务器部署） 2.优点：可扩展 3.NameNode：名称节点，管理文件系统 DataNode：数据节点，文件系统的工作者 4.HDFS：不适合低延迟的数据访问，不适合大量的小文件。默认128MB 5.主要的是ResourceManger和NodeManag ...
分类：
其他好文 时间：
2018-06-23 13:19:20
阅读次数：
123
根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。 方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行 ...
分类：
其他好文 时间：
2018-06-22 01:07:25
阅读次数：
188
一、GFS Google File System就是HDFS的前身 HDFS 参照了GFS的设计理念，大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver\ 1.设计目标： 多个客户端可以在不需 ...
分类：
其他好文 时间：
2018-06-20 19:01:09
阅读次数：
382
Hadoop集群搭建（完全分布式） 这里设置了NameNode的地址，是在ruixuan.com这台主机上，设置hadoop的临时目录，自己指定。 replication的是副本数，意思是一个文件需要在HDFS分布式文件系统中保存几分，建议 DataNode的数量应大于等于replication。 ...
分类：
其他好文 时间：
2018-06-20 12:50:56
阅读次数：
179
