分布式计算，数据尽量在本地计算，减少网络I/O如果操作之间相互关系不大，则尽量采用分布式计算。spark采用分布式计算中的master-slave模型，master对应含有master进程的节点，slave对应含有worker进程的节点。Client 负责提交应用，driver负责控制应用的执行。基...
分类：
其他好文 时间：
2015-07-01 23:28:09
阅读次数：
196
导读内容：
1.如何通过web查看hdfs集群状态
2.如何通过web查看运行在在主节点master上ResourceManager状态
3.如何通过web查看运行在在slave节点NodeManager资源状态
4.JobHistory 可以查看什么信息
分类：
Web程序 时间：
2015-07-01 15:39:47
阅读次数：
167
在部分12580项目中，我引入了haproxy做为软负载。主要为一些非关键性的业务提供服务。架构比较简单。两台web前段，通过haproxy调用后端的两台mysql（slave），主要用于搜索。不写入数据。自从上线后，开发人员就偶尔反馈说，有时打开web页面查询数据，报错如下：HTTPStatus500-..
分类：
数据库 时间：
2015-07-01 06:20:23
阅读次数：
174
replication on mysql:
Master/Slave.
Master server is the production MySQL instance.
Slave server is the java host (123.57.39.*).
First we need to install MySQL server and client on the java host(...
分类：
数据库 时间：
2015-06-30 14:59:06
阅读次数：
119
复制的介绍： 根据日志定义的模式不一样，可以分为:Statement(SBR)模式，Row（RBR）格式或者是MIXED格式，记录最小的单位是一个Event，binlog日志前4个字节是一个magic number,接下来19个字节记录Format desc evnet:FDE。MySQL5.6版本...
分类：
数据库 时间：
2015-06-29 21:55:15
阅读次数：
199
Mesos 的 配置项 可以通过启动时候传递参数或者配置目录下文件的方式给出（推荐方式，一目了然）。
分为三种类型：通用项（master 和 slave 都支持），只有 master 支持的，以及只有 slave 支持的。
通用项
--ip=VALUE 监听的 IP 地址--firewall_rules=VALUE endpoint 防火墙规则，VALUE 可以是
JSON...
分类：
其他好文 时间：
2015-06-29 17:05:12
阅读次数：
498
一. 主从复制原理mysql主从同步过程主要依赖bin-log,主要分为以下三个步骤： 1. master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； 2. slave将master的binary log event...
分类：
数据库 时间：
2015-06-27 21:15:13
阅读次数：
179
Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
hdfs只是其中一种。适用于一次写入、多次查询的情况，不支持并发写情况，小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数...
分类：
其他好文 时间：
2015-06-27 16:31:09
阅读次数：
100
浅析RabbitMQ集群1.1基础安装角色IP地址主机名MQ版本Master192.168.103.83rabbit-jxs-103833.5.2-1slave192.168.103.84rabbit-jxs-103843.5.2-11)配置yum源(Master/slave同时配置)yum-yinstallepel-release1)安装erlang(Master/slave同时配置)Yum–yinstallerlanghttp://www.r..
分类：
其他好文 时间：
2015-06-27 00:04:37
阅读次数：
237
该问题的一般是由relaylog没有在配置文件定义所致。1、问题描述：mysql>startslave;ERROR1872(HY000):Slavefailedtoinitializerelayloginfostructurefromtherepositorymysql>systemperror1872MySQLerrorcode1872(ER_SLAVE_RLI_INIT_REPOSITORY):Slavefailedtoinitializer..
分类：
其他好文 时间：
2015-06-26 13:14:37
阅读次数：
144
