第130讲：Hadoop集群管理工具DataBlockScanner实战详解学习笔记DataBlockScanner在datanode上运行的block扫描器，定期检测当前datanode节点上所有的block，从而在客户端读到有问题的块前及时检测和修复有问题的块。它有所有维护的块的列表，通过对块的...
分类：
其他好文 时间：
2015-11-15 17:50:38
阅读次数：
175
第126讲：Hadoop集群管理之Datanode目录元数据结构详解学习笔记namenode是管理hdfs文件系统的元数据datanode是负责当前节点上的数据的管理，具体目录内容是在初始阶段自动创建的。在用hdfsdfsnamenodeformat时并没有对datanode进行format。在da...
分类：
其他好文 时间：
2015-11-14 22:00:30
阅读次数：
391
第124讲：Hadoop集群管理之fsimage和edits工作机制内幕详解学习笔记客户端对hdfs进行写文件时会首先被记录在edits文件中。edits修改时元数据也会更新。每次hdfs更新时edits先更新后客户端才会看到最新信息。fsimage:是namenode中关于元数据的镜像，一般称为检...
分类：
其他好文 时间：
2015-11-14 19:23:49
阅读次数：
288
ES通过设置【节点的名字】和【集群的名字】，就能自动的组织相同集群名字的节点加入到集群中，并使很多的技术对用户透明化。如果用户想要管理查看集群的状态，可以通过一些REST API来实现。其他的ES文档翻译参考：Elasticsearch文档总结REST API用途ES提供了很多全面的API，大致可以...
分类：
其他好文 时间：
2015-11-11 23:54:24
阅读次数：
276
我是想把/etc/hosts文件分发到10.205.10.11至20机器上安装命令sudoyum-yinstallclustersshpdshpdsh-rcmd-sshpdsh-rcmd-rshmusshpdcp-wssh:root@srv[11-20]/etc/hosts/etc/pdsh软件包还包括一个pdcp命令，可以将文件拷贝到一组机器上，用法如下:pdsh-w[SSH_OR_RSH]:[USERNAME]@n..
分类：
其他好文 时间：
2015-11-10 19:35:01
阅读次数：
223
Kubernetes是Google开 源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器 技术的mini-PaaS平台。本文旨在梳理Kub...
分类：
Web程序 时间：
2015-11-10 12:34:41
阅读次数：
303
ZooKeeper简介ZooKeeper是分布式服务框架，主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等等。ZooKeeper是Apache的子项目，之前是Hadoop项目的一部分，使用Java实现，最新的版本可以通过官网ht...
分类：
其他好文 时间：
2015-11-05 18:14:13
阅读次数：
339
keepalived原理、keepalived+LVS_DR及keepalived+Nginx的实现一．keepalived和其工作原理：keepalived是一个类似于Layer2,4,7交换机制的软件。是Linux集群管理中保证集群高可用的一个服务软件，其功能是用来防止单点故障。keepalived的工作原理：keepalived是基于VRRP协议实现..
分类：
其他好文 时间：
2015-10-28 01:39:55
阅读次数：
408
第一章：RD/OP 实际上在写同一个分布式系统1、每个应用都是集群的一部分，每个RD都有一套自己的集群管理方式有的设计得非常简单：一个配置文件，读取一下数据库的ip和端口有的设计得非常复杂：使用zookeeper这样的名字服务，自己做监控，自己部署代码，自己做服务发现等RD的视角很少考虑运维的问题，...
分类：
其他好文 时间：
2015-10-26 01:51:23
阅读次数：
221
