记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
为了减少服务器的压力，我们可以增加缓存机制，一般缓存的都是一些基本不会发生变化的数据。浏览器缓存：系统登录后的基本信息，存储在页面框架上，减少服务器的请求次数。服务器缓存： 动态页面静态化（framker实现），定期刷新生成（定期建立索引） 通过Apache与Tomcat做负载均衡 对于需要访...
分类：
其他好文 时间：
2014-07-15 23:34:55
阅读次数：
248
集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
最近在给一个客户部署基于微软TFS的软件生命周期管理平台时，客户要求数据库层实现高可用性，减少因数据库服务器故障影响软件开发进展。客户现有域是一台搭建在Windows Server 2008上的级别为Windows 2008的企业域。为了符合客户企业域的安全规定，需要在部署数据库高可用性期间使用最低...
分类：
数据库 时间：
2014-07-14 14:33:47
阅读次数：
470
目的提供游戏前端的高可用性上线步骤1、给10.10.0.35节点各分配一个LVS专用网段的IP：x.x.x.xvi/etc/sysconfig/network-scripts/ifcfg-eth1:1DEVICE="eth1:1"BOOTPROTO="none"ONBOOT="yes"IPADDR=x.x.x.xNETMASK=255.255.255.0TYPE="Ethernet"2、在x.x.x.x上操作如下：echo"fro..
分类：
其他好文 时间：
2014-07-14 12:21:27
阅读次数：
277
1.先在所有数据库服务器上安装mysql-cluster包管理机：192.168.1.6数据节点：192.168.1.31192.168.1.32sql节点：192.168.1.33192.168.1.1112.在管理节点上配置[root@mysql~]#vim/etc/config.ini[ndbddefault]//数据节点公共配置
noofreplicas=2//数据备份数
datamemory=300M//..
分类：
数据库 时间：
2014-07-14 11:40:15
阅读次数：
349
此篇博文意旨有两点：其一、为什么选择Nginx+Tomcat做负载均衡？其二、怎样实现Nginx+Tomcat的实践操作及相关下载、安装、配置，以及session共享问题。...
分类：
其他好文 时间：
2014-07-14 11:04:09
阅读次数：
423
又是期末又是实训TA的事耽搁了好久……先把写好的放上博客吧前文：用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控使用额外的文件假如你跑的j...
分类：
编程语言 时间：
2014-07-14 10:59:55
阅读次数：
335
hadoop的安装不难，但是需要做不少的准备工作。
一、JDK
需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。
之后，需要设置ssh为密钥认证登录。如果没有这一步，那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对，然...
分类：
其他好文 时间：
2014-07-13 18:12:08
阅读次数：
278
