1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW...
分类：
其他好文 时间：
2014-12-11 23:56:29
阅读次数：
255
由于官方版本的Hadoop是32位，若在64位Linux上安装，则必须先重新在64位环境下编译Hadoop源代码。本环境采用编译后的hadoop2.5.1 。
安装参考博客：
1 http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/...
分类：
系统相关 时间：
2014-12-11 22:16:02
阅读次数：
430
Ceph配置参数（一）
Ceph配置参数（二）
8、MONITOR CONFIG REFERENCE
http://ceph.com/docs/master/rados/configuration/mon-config-ref/
客户端在读写数据前，都比去和monitor取得联系，获得cluster map，结合CRUSH算法计算得到对象的位置。
（1...
分类：
其他好文 时间：
2014-12-11 20:58:57
阅读次数：
908
HeartBeat + DRBD以及MySQL replication是很多企业比较普遍使用的方式。对于数据的完整性和一致性的问题，这两种架构需要考虑2个重要的参数innodb_flush_log_at_trx_commit以及sync_binlog参数。本文主要参考了MySQL 5.6 Reference Manual列出对这2个参数的具体描述。 1、Heartbeat + DRBD or re...
分类：
数据库 时间：
2014-12-11 12:20:50
阅读次数：
251
LVS的三种包转发方式 LVS提供了三种包转发方式：NAT(网络地址映射)、IP Tunneling(IP隧道)、Direct Routing(直接路由) 不同的转发模式决定了不同的cluster的网络结构，下面对三种转发方式分别介始：1、NAT(网络地址映射)： NAT方...
分类：
其他好文 时间：
2014-12-11 10:10:53
阅读次数：
247
新到一家公司上班,对服务器状况不是很熟悉。昨天Boss让我调查两台服务器是否满足事务复制的条件。于是直接在服务器上尝试新建发布，结果就出现了标题的错信息：SQL Server 复制需要有实际的服务器名称才能连接到服务器.请指定实际的服务器名称“AAA”。(Replication.Utilities)...
分类：
数据库 时间：
2014-12-11 10:04:55
阅读次数：
171
1.引言使用Mysql的replication机制实现主从同步时，其是由三个线程实现了，主库一个I/O线程，从库一个I/O线程和一个SQL线程。配置时主库需要开始bin-log参数，即在配置文件中添加log-bin = /data/3307/mysql-bin该行，但是当我们需要实现级联同步时，即以...
分类：
数据库 时间：
2014-12-11 10:01:12
阅读次数：
361
1. 前言 该篇中测试的机器发生了变更，在第一篇中设置的ApacheDocumentRoot "d:/deployment"修改为了DocumentRoot d:/cluster 。这个不影响实际操作，just换了台电脑。 在第一篇中讲了apache整合tomcat的，该篇中将阐述tomc...
分类：
其他好文 时间：
2014-12-10 10:28:32
阅读次数：
295
Redis 官网：http://redis.io/ 中文：http://www.redis.cn/topics/replication.html http://www.redis.cn/ Redis on Wndows: MS Open Tech team开发了windows版的redis，地址：h...
分类：
其他好文 时间：
2014-12-09 11:57:16
阅读次数：
152
Scale On: 在原有服务器的基础上进行升级或者直接换一台新的性能更高的服务器。Scale Out: 横向扩展，将多台服务器并发向外响应客户端的请求。优点：成本低，扩展架构比较简单。Cluster: 集群，即一组冗余的计算机，每台计算机实现相同的功能，用于负荷分担和实现高可用。LB: Load ...
分类：
其他好文 时间：
2014-12-09 01:51:09
阅读次数：
205
