搭建之前先了解一下MongoDB分片群集主要有如下三个组件: Shard:分片服务器,用于存储实际的数据块,实际生产环境中一个shard server 角色可以由几台服务器组成一个Peplica Set 承担,防止主机单点故障。 Config Server:配置服务器,存储了整个分片群集的配置信息, ...
分类:
数据库 时间:
2018-09-15 12:20:02
阅读次数:
247
Hadoop及HBase集群部署 一、 集群环境 1. 系统版本 虚拟机:内存 16G CPU 双核心 系统: CentOS 7 64位 系统下载地址: http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos ...
分类:
其他好文 时间:
2018-09-07 21:09:41
阅读次数:
144
1. 集群规划:192.167.1.252 palo252 Namenode+Datanode192.167.1.253 palo253 YarnManager+Datanode+SecondaryNameNode192.167.1.254 palo254 Datanode 2. 设定固定IP地址v ...
分类:
其他好文 时间:
2018-09-02 21:50:57
阅读次数:
160
第一步:准备n台linux服务器 我这里使用的是3台CentOS6.5版本的linux虚拟机,1个namenode节点 + 2个datanode 节点。 第二步:给3台虚拟机分配IP并修改hosts文件 主机名:hdp-01 对应的ip地址:192.168.33.61 主机名:hdp-02 对应的i ...
分类:
其他好文 时间:
2018-08-15 01:24:26
阅读次数:
161
一、软件准备 1、基础docker镜像:ubuntu,目前最新的版本是18 2、需准备的环境软件包: 二、ubuntu镜像准备 1、获取官方的镜像: 2、因官方镜像中的apt源是国外资源,后续扩展安装软件包时较麻烦。先修改为国内源: (1)启动ubuntu容器,并进入容器中的apt配置目录 (2)先 ...
分类:
其他好文 时间:
2018-08-14 22:03:31
阅读次数:
542
“java架构史上最全技能图谱分为上下两篇,这是java架构史上最全图谱下篇,包含:
大数据以及性能、设计模式、UML、中间件、分布式集群、负载均衡、通讯协议、架构设计等技术图谱等章节。
如果需要上篇内容:数结构算法、java进阶、web开发、框架与工具四大篇章技能图谱,请查看java架构史上最全图谱上篇(历史文章查看)。
本文作者,陈睿 BAT优知学院创始人,一线大厂资深CTO,免费提供系统的互联网技术进阶干货资料和系列课程,以及定期的线下项目实战。
分类:
编程语言 时间:
2018-08-13 18:08:34
阅读次数:
189
java架构师最全技能图谱上篇,包含:数结构算法、java进阶、web开发、框架与工具四大技能图谱。
下篇将包含大数据以及性能、设计模式、UML、中间件、分布式集群、负载均衡、通讯协议、架构设计等技术图谱等章节
本文作者,陈睿 优知学院创始人,免费提供系统的互联网产品技术进阶干货资料和课程,以及定期的线下实战活动。
分类:
编程语言 时间:
2018-08-13 18:07:29
阅读次数:
235
1. 环境 主机名 ip 角色 hdp01 192.168.184.61 ResourceManager/NameNode/SecondaryNameNode hdp02 192.168.184.62 NodeManager/DataNode hdp03 192.168.184.63 NodeMan ...
分类:
其他好文 时间:
2018-08-13 16:57:52
阅读次数:
163
在学习zk伪分布式集群对的时候,第一次注意到克隆虚拟机后修改eth的ip地址,发现ip不是自己修改的ip,进而在询问下发现,当我们第一次登陆查看我们克隆的虚拟机ip时:我们看到的ip不是eth0的ip,而是eth1的ip。 而究其原因是因为在克隆后出现网卡MAC地址和原系统MAC地址一样,在局域网内 ...
分类:
系统相关 时间:
2018-08-12 10:30:10
阅读次数:
278
Spark官方文档翻译,有问题请及时指正,谢谢。 Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的,分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python ...
分类:
其他好文 时间:
2018-08-09 12:09:38
阅读次数:
218