近年来的大数据应用特别热，特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境，而大家手头一般没有多余的机器部署master和多个slave节点，就只能在VMware上多安装几个虚拟机来模拟集群的搭建，但是安装好一台虚拟机后，我想大部分的人都不想再耗时再重...
分类：
其他好文 时间：
2014-08-02 01:49:52
阅读次数：
267
1、构建Spark Application运行环境；在Driver Program中新建SparkContext（包含sparkcontext的程序称为Driver Program）；Spark Application运行的表现方式为：在集群上运行着一组独立的executor进程，这些进程由spar...
分类：
其他好文 时间：
2014-08-02 01:34:22
阅读次数：
292
命令行管理和维护RHCS集群1、启动RHCS集群RHCS集群的核心进程有cman和rgmanager，要启动集群，一次在集群的每个节点上执行如下命令：servicecmanstartservicergmanagerstart执行着两个命令是有先后顺序的，要先启动cman，然后再启动rgmanager。[root@web1~]#servicecmanstar..
分类：
其他好文 时间：
2014-08-01 20:12:12
阅读次数：
754
1:创建MariaDB.repo#vim/etc/yum.repos.d/MariaDB.repo#MariaDB10.0CentOSrepositorylist-created2013-08-2313:08UTC#http://mariadb.org/mariadb/repositories/[mariadb]name=MariaDBbaseurl=http://yum.mariadb.org/10.0/centos6-amd64gpgkey=https://yum.mariadb.org/RPM-GP..
分类：
数据库 时间：
2014-08-01 20:10:23
阅读次数：
562
1.启动Config Server的数据库实例
2.启动Mongos实例
3.添加分片到集群中
4.对数据库启用分片
5.对集合启用分片...
分类：
数据库 时间：
2014-08-01 16:13:01
阅读次数：
377
第二步：安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件，如下图所示：点击“Next”进入下一步： 我们选择“Custom”进入下一步；2.选择所有的功能，如下所示： 点击”Next”进入如下图所示界面： ...
分类：
其他好文 时间：
2014-08-01 15:56:51
阅读次数：
243
syndic是saltstack用来做集群部署的，一般结构如图：syndic是一个特殊的minion，syndic类继承于minion类，syndic可以看作一个代理，只做数据传递。CentOS上安装master的时候就已经安装了Syndic。设置的时候只需将TopMaster的order_mast...
分类：
其他好文 时间：
2014-08-01 15:39:31
阅读次数：
277
HadoopHA的实现方式上图大致架构包括：1、利用共享存储来在两个NN间同步edits信息。以前的HDFS是sharenothingbutNN，现在NN又sharestorage，这样其实是转移了单点故障的位置，但中高端的存储设备内部都有各种RAID以及冗余硬件包括电源以及网卡等，比服务器的可靠性还是略有提高..
分类：
其他好文 时间：
2014-07-31 21:09:38
阅读次数：
394
Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置
单节点：一个broker的集群单节点：多个broker的集群多节点：多broker集群
一、单节点单broker实例的配置
1.首先启动zookeeper服务
Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例，用下面这个命令即可，首先进入Kafka的安装...
分类：
其他好文 时间：
2014-07-31 20:59:27
阅读次数：
334
上一篇笔记中更新了在集合中的删除，更新，查询等操作。这次尝试一下SequoiaDB的集群操作。包括复制组的创建和删除，复制组的启动和停止，在复制组中添加、删除、启动、停止节点，获取复制组中的主从节点等。
import java.util.ArrayList;
import java.util.List;
import org.bson.BSONObject;
import org.bson.B...
分类：
数据库 时间：
2014-07-31 17:15:56
阅读次数：
403
