zk集群的一些基本概念zookeeper集群搭建:zk集群,主从节点,心跳机制(选举模式)配置数据文件myid1/2/3对应server.1/2/3通过zkCli.sh-server[ip]:[port]命令检测集群是否配置成功和其他大多数集群结构一样,zookeeper集群也是主从结构。搭建集群时,机器数量最低也是三台,因为小于三台就无法进行选举。选举就是当集群中的master节点挂掉之后,剩余
分类:
其他好文 时间:
2018-04-24 13:56:32
阅读次数:
174
本文由 网易云 发布。 上一篇文章介绍了如何搭建Hadoop伪分布式集群,本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显,但能够为新手们提供 一个参考,让像我一样的小白们对Hadoop的环境能够有一定的了解。 本文由 网易云 发布。 上一篇文章介绍了如何搭建Hadoop伪分布式集群,本篇将 ...
分类:
其他好文 时间:
2018-04-24 13:53:37
阅读次数:
233
一、Hadoop基础1、伪分布式模型(单节点)1.1配置centos7默认JDK1.7的环境变量[root@master1~]#vim/etc/profile.d/java.shiexportJAVA_HOME=/usr[root@master1~]#source/etc/profile.d/java.sh安装jdk-devl包:[root@master1~]#yuminstalljava-1.7
分类:
其他好文 时间:
2018-04-22 18:09:47
阅读次数:
174
1、需要6个redis实例 2、创建redis-cluster,拷贝6份,安装生成得bin 3、修改配置文件 打开cluster-enabled yes前面得注释 port 分别为7001,7002,7003,7004,7005,7006 bind 改为当前IP protected-mode 是Re ...
分类:
数据库 时间:
2018-04-22 16:03:42
阅读次数:
158
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统。如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoop教程。 本教程基于原生 Hadoop 2,在 Hadoop 2 ...
分类:
其他好文 时间:
2018-04-18 19:13:15
阅读次数:
197
一、HDFS伪分布式环境搭建 Hadoop的三种运行模式(启动模式) -格式化文件系统 -格式化文件系统 HDFS公开了文件系统名称空间,允许用户将数据存储在文件中,就好比我们平时使用操作系统中的文件系统一样,用户无需关心底层是如何存储数据的。而在底层,一个文件会被分成一个或多个数据块,这些数据库块 ...
分类:
其他好文 时间:
2018-04-17 11:46:48
阅读次数:
198
(一)、HDFS shell操作 1.2查看文件系统的根目录 1.3.将刚刚创建的文件拷贝到文件系统的根目录下: 1.4.查看文件内容: 1.5创建目录 1.6递归创建目录 1.7查看递归目录 1.8复制文件 1.9从系统中拿出文件 2.0删除文件 2.1删除目录 以上就是最为常用的一些操作命令了, ...
分类:
其他好文 时间:
2018-04-17 11:31:04
阅读次数:
166
Hadoop单节点模式安装 官方教程:http://hadoop.apache.org/docs/r2.7.3/ 本文基于:Ubuntu 16.04、Hadoop-2.7.3 一、概述 本文参考官方文档介绍Hadoop单节点模式(本地模式及伪分布式模式)安装(Setting up a Single ...
分类:
其他好文 时间:
2018-04-16 16:21:17
阅读次数:
156
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要 ...
分类:
其他好文 时间:
2018-04-14 15:33:06
阅读次数:
197
Hbase安装模式介绍 单机模式1> Hbase不使用HDFS,仅使用本地文件系统2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器集群 ...
分类:
其他好文 时间:
2018-04-13 16:16:50
阅读次数:
180