Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount，这个需要涉及Kafka集群的搭建，还是说越仔细越好。
分类：
其他好文 时间：
2014-08-02 23:13:04
阅读次数：
267
这个是非集群模式，以后可能还会写集群的情况今天折腾了好久才把这个跑起来，静态资源归Apache加载不用请求Tomcat了，这样以后就方便做集群了，用的是JK的方式，据说还有其他的方式，这个没有详细去研究，今天就先把自己的过程说一遍方便以后查看。首先需要一个mod_jk-1.2.31-httpd-2....
分类：
其他好文 时间：
2014-08-02 18:06:43
阅读次数：
243
作为个人学习笔记分享，有任何问题欢迎交流!
Fuel HA组成
OpenStack生产环境推荐使用HA，以避免单点故障，下图为Fuel HA设计图，HA要求有3个控制节点。
1）Pacemaker Cluster ：Pacemaker Cluster 由Pacemaker和Corosync组成，Pacemaker是一个集群资源管理器。它利用你喜欢的集群基础构件（O...
分类：
其他好文 时间：
2014-08-02 12:49:53
阅读次数：
373
Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类：
其他好文 时间：
2014-08-02 07:45:03
阅读次数：
366
一、主从复制架构简介 通过前面几篇的介绍中，我们都是在单机上使用Redis进行相关的实践操作，从本篇起，我们将初步探索一下Redis的集群，而集群中最经典的架构便是主从复制架构。那么，我们首先来了解一下神马是主从复制架构？1.1 源于关系数据库的读写分离 随着网站业务的不断发展，用户量的不断增加.....
分类：
数据库 时间：
2014-08-02 04:19:26
阅读次数：
337
近年来的大数据应用特别热，特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境，而大家手头一般没有多余的机器部署master和多个slave节点，就只能在VMware上多安装几个虚拟机来模拟集群的搭建，但是安装好一台虚拟机后，我想大部分的人都不想再耗时再重...
分类：
其他好文 时间：
2014-08-02 01:49:52
阅读次数：
267
1、构建Spark Application运行环境；在Driver Program中新建SparkContext（包含sparkcontext的程序称为Driver Program）；Spark Application运行的表现方式为：在集群上运行着一组独立的executor进程，这些进程由spar...
分类：
其他好文 时间：
2014-08-02 01:34:22
阅读次数：
292
命令行管理和维护RHCS集群1、启动RHCS集群RHCS集群的核心进程有cman和rgmanager，要启动集群，一次在集群的每个节点上执行如下命令：servicecmanstartservicergmanagerstart执行着两个命令是有先后顺序的，要先启动cman，然后再启动rgmanager。[root@web1~]#servicecmanstar..
分类：
其他好文 时间：
2014-08-01 20:12:12
阅读次数：
754
1:创建MariaDB.repo#vim/etc/yum.repos.d/MariaDB.repo#MariaDB10.0CentOSrepositorylist-created2013-08-2313:08UTC#http://mariadb.org/mariadb/repositories/[mariadb]name=MariaDBbaseurl=http://yum.mariadb.org/10.0/centos6-amd64gpgkey=https://yum.mariadb.org/RPM-GP..
分类：
数据库 时间：
2014-08-01 20:10:23
阅读次数：
562
1.启动Config Server的数据库实例
2.启动Mongos实例
3.添加分片到集群中
4.对数据库启用分片
5.对集合启用分片...
分类：
数据库 时间：
2014-08-01 16:13:01
阅读次数：
377
