记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
为了减少服务器的压力，我们可以增加缓存机制，一般缓存的都是一些基本不会发生变化的数据。浏览器缓存：系统登录后的基本信息，存储在页面框架上，减少服务器的请求次数。服务器缓存： 动态页面静态化（framker实现），定期刷新生成（定期建立索引） 通过Apache与Tomcat做负载均衡 对于需要访...
分类：
其他好文 时间：
2014-07-15 23:34:55
阅读次数：
248
集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
你用过那些LVS,并讲述LVS各个模式的特点和区别？【送二分】dr模式用得比较多吧，这个模式效率最好。因为他的原理是把收到的包改了下hw地址就丢给交换机了这样就造成两个大缺点1是所有负载机器都要在同一个ip段才能响应，所以在idc上架的时候，为了方便扩容一开始就要预留好同ip..
分类：
其他好文 时间：
2014-07-14 12:22:43
阅读次数：
384
目的提供游戏前端的高可用性上线步骤1、给10.10.0.35节点各分配一个LVS专用网段的IP：x.x.x.xvi/etc/sysconfig/network-scripts/ifcfg-eth1:1DEVICE="eth1:1"BOOTPROTO="none"ONBOOT="yes"IPADDR=x.x.x.xNETMASK=255.255.255.0TYPE="Ethernet"2、在x.x.x.x上操作如下：echo"fro..
分类：
其他好文 时间：
2014-07-14 12:21:27
阅读次数：
277
1.先在所有数据库服务器上安装mysql-cluster包管理机：192.168.1.6数据节点：192.168.1.31192.168.1.32sql节点：192.168.1.33192.168.1.1112.在管理节点上配置[root@mysql~]#vim/etc/config.ini[ndbddefault]//数据节点公共配置
noofreplicas=2//数据备份数
datamemory=300M//..
分类：
数据库 时间：
2014-07-14 11:40:15
阅读次数：
349
此篇博文意旨有两点：其一、为什么选择Nginx+Tomcat做负载均衡？其二、怎样实现Nginx+Tomcat的实践操作及相关下载、安装、配置，以及session共享问题。...
分类：
其他好文 时间：
2014-07-14 11:04:09
阅读次数：
423
又是期末又是实训TA的事耽搁了好久……先把写好的放上博客吧前文：用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控使用额外的文件假如你跑的j...
分类：
编程语言 时间：
2014-07-14 10:59:55
阅读次数：
335
hadoop的安装不难，但是需要做不少的准备工作。
一、JDK
需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。
之后，需要设置ssh为密钥认证登录。如果没有这一步，那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对，然...
分类：
其他好文 时间：
2014-07-13 18:12:08
阅读次数：
278
环境192.168.1.219为keepalived和lvs的VIP地址192.168.1.222为keepalived的主并安装ipvsadm192.168.1.221为keepalived的从并安装ipvsadm192.168.1.218为nginxweb服务器192.168.1.220为nginxweb服务器在192.168.1.222下载keepalived和ipvsadmmkdir/root/repocd/root/repowgethtt..
分类：
其他好文 时间：
2014-07-13 14:54:07
阅读次数：
536
