本篇随笔记录如何导入google-cluster-data-2011-1-2的job_events和task_events到MySQL1. 下载数据download_job_events:import urllib2url = 'https://commondatastorage.googlea.....
分类：
数据库 时间：
2014-12-12 10:02:43
阅读次数：
249
1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW...
分类：
其他好文 时间：
2014-12-11 23:56:29
阅读次数：
255
由于官方版本的Hadoop是32位，若在64位Linux上安装，则必须先重新在64位环境下编译Hadoop源代码。本环境采用编译后的hadoop2.5.1 。
安装参考博客：
1 http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/...
分类：
系统相关 时间：
2014-12-11 22:16:02
阅读次数：
430
Ceph配置参数（一）
Ceph配置参数（二）
8、MONITOR CONFIG REFERENCE
http://ceph.com/docs/master/rados/configuration/mon-config-ref/
客户端在读写数据前，都比去和monitor取得联系，获得cluster map，结合CRUSH算法计算得到对象的位置。
（1...
分类：
其他好文 时间：
2014-12-11 20:58:57
阅读次数：
908
LVS的三种包转发方式 LVS提供了三种包转发方式：NAT(网络地址映射)、IP Tunneling(IP隧道)、Direct Routing(直接路由) 不同的转发模式决定了不同的cluster的网络结构，下面对三种转发方式分别介始：1、NAT(网络地址映射)： NAT方...
分类：
其他好文 时间：
2014-12-11 10:10:53
阅读次数：
247
1. 前言 该篇中测试的机器发生了变更，在第一篇中设置的ApacheDocumentRoot "d:/deployment"修改为了DocumentRoot d:/cluster 。这个不影响实际操作，just换了台电脑。 在第一篇中讲了apache整合tomcat的，该篇中将阐述tomc...
分类：
其他好文 时间：
2014-12-10 10:28:32
阅读次数：
295
Scale On: 在原有服务器的基础上进行升级或者直接换一台新的性能更高的服务器。Scale Out: 横向扩展，将多台服务器并发向外响应客户端的请求。优点：成本低，扩展架构比较简单。Cluster: 集群，即一组冗余的计算机，每台计算机实现相同的功能，用于负荷分担和实现高可用。LB: Load ...
分类：
其他好文 时间：
2014-12-09 01:51:09
阅读次数：
205
一、准备1、准备服务器建立有2个节点的MySQLCLuster体系，使用6台服务器建立Haproxy+mysqlcluster(MySQL集群)体系节点配置说明节点对应的IP和端口Haproxy负载均衡(1个)centos6.31.1.1.11管理节点(1个)centos6.31.1.1.30SQL节点(2个)centos6.31.1.1.211.1.1.22数据节点(2个)cent..
分类：
数据库 时间：
2014-12-07 06:43:56
阅读次数：
356
jboss 集群搭建，我曾尝试用jboss7.1版本的做集群，没有成功，后来就用jboss5.1的做了，下面是我做的一些主要的流程和需要修改的地方，供大家参考。有问题，请留言吧。
1、下载相关软件，需要下载三个文件，需要用的是jboss-5.1.0.GA(jboss 安装程序) ，mod_cluster-1.0.10.GA-windows-x86-ssl(mod_cluster这个版本已经带...
分类：
其他好文 时间：
2014-12-06 11:27:59
阅读次数：
321
