Hadoop HA架构搭建 共七台服务器，节点角色分配如下： 192.168.133.21 （BFLN-01）：namenode zookeeper journalnadeDFSZKFailoverController192.168.133.23 （BFLN-02）：namenoderesource... ...
分类：
其他好文 时间：
2020-02-23 18:36:02
阅读次数：
91
hadoop+spark集群搭建 本次实验环境：两台hadoop+两台spark组成集群 环境准备： 1. 两个主机实现ssh无密钥认证，包括本机与本机的免密钥认证: ssh-keygren ：生成一对密钥 ssh-copy-id : 把公钥发给对方服务器 2. 集群间需实现时间同步：... ...
分类：
其他好文 时间：
2020-02-23 18:34:33
阅读次数：
90
近来无事恰逢找实习，了解一下Nginx，实践一下，于是又操起了老本行，之前本科毕设装的双系统也用不上了，故删掉，把空间都匀给G盘（学习资料，用驱动精灵），打开虚拟机，新建了一个CentOS7虚拟机，下了个Xshell，打算依样画葫芦。 想起本科的时候就搞过这事，当时想进实验室跟着老师做hadoop，... ...
分类：
系统相关 时间：
2020-02-23 18:31:02
阅读次数：
107
序言 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。 MapReduce产生背景 如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这个文件一行,然后把那个 ...
分类：
其他好文 时间：
2020-02-23 11:52:43
阅读次数：
68
一、HDFS的简介及优缺点 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS ...
分类：
其他好文 时间：
2020-02-23 11:48:58
阅读次数：
77
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
序言 hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？分布式文件系统未出现的时候，一个文件只能存储在个服务器上，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗？ hdfs的出 ...
分类：
其他好文 时间：
2020-02-23 11:16:39
阅读次数：
47
1.准备 开发环境：eclipse 依赖包：hadoop-2.7.7.tar.gz安装包 share/hadoop/下 common、hdfs中的jar包 2.连接HDFS服务器 /** * 连接HDFS服务器 */ @Test public void connectHDFS() { //做一个配置 ...
分类：
编程语言 时间：
2020-02-22 20:13:06
阅读次数：
92
架构图（HA模型没有SNN节点） 用vm规划了8台机器，用到了7台，SNN节点没用 NN DN SN ZKFC ZK JNN RM NM node1 * * node2 * * node3 node4 * * node5 * * node6 * * * * node7 * * * * node8 * ...
分类：
其他好文 时间：
2020-02-22 15:50:37
阅读次数：
107
集群搭建之前需要做好NN节点到其他所有节点的免密认证，关闭所有服务器的selinux和防火墙 架构图 1.更改所有服务器的主机名和hosts文件对应关系 [root@localhost ~]# hostnamectl set-hostname node1 [root@localhost ~]# ca ...
分类：
其他好文 时间：
2020-02-22 15:34:20
阅读次数：
85
