#### 大数据课程第二天 HDFS配置集群的原理分析 ssh免密登陆 通过工具生成公私钥对 公钥发送远程主机 修改slave文件 HDFS的集群搭建 ssh免密登陆 清除mac地址的影响 设置网络 安装hadoop,jdk NameNode持久化[了解] 什么是NameNode的持久化 FSIma ...
分类：
其他好文 时间：
2019-01-26 18:01:48
阅读次数：
194
[TOC] Hadoop伪分布式的搭建 0x00事先准备 准备jdk和Hadoop的安装包。建议删掉自带的Java，~~要不然后面配置环境变量会有坑~~ 然后删除涉及jdk的几个包 之后将jdk和Hadoop上传到机子中就可以正式开始搭建了 0x01 ssh配置 同样是使用rpm查看是否安装ssh ...
分类：
其他好文 时间：
2019-01-25 21:06:53
阅读次数：
213
HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待
分类：
其他好文 时间：
2019-01-25 19:21:51
阅读次数：
208
搭建大数据hadoop环境，遇到很多问题，这里记录一部分，以备以后查看。 【遇到问题】、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 网上查阅资料，建议检查hadoo ...
分类：
其他好文 时间：
2019-01-24 11:07:03
阅读次数：
141
搭建大数据hadoop完全分布式环境，遇到很多问题，这里记录一部分，以备以后查看。 1、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 本文网址：https://www ...
分类：
其他好文 时间：
2019-01-24 11:01:41
阅读次数：
161
1、环境介绍 服务器：CentOS 6.8 其中：2 台 namenode、3 台 datanode JDK：jdk-8u191-linux-x64.tar.gz hadoop：hadoop-3.1.1.tar.gz 节点信息： 2、配置hosts ...
分类：
其他好文 时间：
2019-01-24 00:33:28
阅读次数：
197
Mongo DB 提供了集群以及分片策略，这样满足了我们大部分的场景要求。 集群搭建 先说下集群的构架， 可以从下图看到，每个APP 都是把数据写到Primary 中， 然后Primary在把数据复制给secondary中。从图中我们可以看到，只有Primary才有读写的权利，secondary 只 ...
分类：
数据库 时间：
2019-01-22 23:06:25
阅读次数：
351
HDFS HDFS读写过程 写（上传） NameNode：Master主管管理者，管理HDFS的名称空间、配置副本策略、管理数据块Block的映射信息、处理客户端读写请求； DataNode：Slave，执行NN下达的命令，存储实际的数据块、执行数据块的读写操作； Client：①文件切分，将文件切 ...
分类：
其他好文 时间：
2019-01-20 22:02:33
阅读次数：
201
1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：N ...
分类：
其他好文 时间：
2019-01-18 12:57:14
阅读次数：
229
Hadoop组成 HDFS（Hadoop Distributed File System）架构概述 NameNode目录--主刀医生(nn)； DataNode（dn)数据； Secondary NameCode（2nn）助手； YARN框架 常驻 + 临时 ResourceManager（RM) ...
分类：
其他好文 时间：
2019-01-17 19:52:08
阅读次数：
225
