从《Hadoop权威指南》选取了一个小案例,在Hadoop集群环境中运行。1、新建JAVA类,保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类:
其他好文 时间:
2014-05-14 03:52:36
阅读次数:
457
linux高可用集群的种类很多,比如常见的heartbeat,corosync,rhcs,keepalived,这些集群软件的出现为我们的业务生产环境提供了高可用的保证,本文将简单介绍一下用heartbeat的v2版本来处理一个简单的http高可用集群的搭建。
在实现http高可用集群之前,首先至少需要2台主机,并且需要做3点基本的准备工作:
1.设置节点名称,并且集群...
分类:
系统相关 时间:
2014-05-13 23:11:46
阅读次数:
518
最近看着公司的项目是在太悲剧了看不下去了。各种供跨库调用各种卡,想换一种思路模式,找了很久感觉mongDB非关系型数据库比较合适也比较好玩。开始学习首先第一步
c# 链接mongDB集群
一 了解mongdb
一 学习部署
二 部署集群
三 C#链接mongdb 完成测试
mongdb 是作为非关系型数据库,数据存储在内存中,由于目前我我们公司全部采用sqlserve...
分类:
数据库 时间:
2014-05-13 08:46:05
阅读次数:
279
一个Hadoop集群拥有多个并行的计算机,用以存储和
Hadoop强调代码向数据迁移...
分类:
其他好文 时间:
2014-05-13 06:54:15
阅读次数:
366
超大规模数据中心TCO(总拥有成本)优化是另一个重要驱动因素。“横向扩展”的概念基本上是在一个集群中采用一系列统一的硬件元件,将应用负载分解成具有相同处理功能的子任务,然后在基础的硬件元件上执行这些功能。通过复制统一的硬件元素,即可为持续增加的应用负载如系统吞吐量、相关数据组大小等等几乎所有与基础设施资源扩展相关的方方面面提供支持。横向扩展的架构...
分类:
其他好文 时间:
2014-05-13 06:39:55
阅读次数:
365
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页:http://ant.apache.org/下载二进制安装包,例如apache-ant-1.9.4-bin.tar.gz,上传到Hadoop集群环...
分类:
其他好文 时间:
2014-05-12 20:44:36
阅读次数:
398
分布式存储当下互联网飞速发展,海量并发所产生的数据量以几何方式增长,随着信息链接方式日益多样化,数据存储的结构也发生了变化,在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战,比如:数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类:
其他好文 时间:
2014-05-12 04:08:32
阅读次数:
493
使用外部用户系统的配置安装openfire,启动服务控制台,进入管理界面。首次进入管理,会自动进入配置界面,配置很简单。注意一点,在选择数据库时,使用“外部数据库”,openfire支持常用的数据库,包括mysql、oracle、mssql等。我使用的是mysql,这样openfire就会自动在指定...
分类:
其他好文 时间:
2014-05-11 22:49:29
阅读次数:
343
一、CoroSynccorosync最初只是用来演示OpenAIS集群框架接口规范的一个应用,可以说corosync是OpenAIS的一部分,然而后面的发展超越了官方最初的设想,越来越多的厂商尝试使用corosync作为集群解决方案。如Redhat的RHCS集群套件就是基于corosync实现。corosync只提供了messagela..
分类:
其他好文 时间:
2014-05-11 19:43:46
阅读次数:
532
接续接上篇缓存时代来临为蓝本,继续改造我们的百万级站点架构,这次我们拿之前存储静态内容的nfs开刀,众所周知nfs的多台集群节点下可能由于多重原因(磁盘io,网络带宽,并发场景),不适合做文件共享系统的基础结构.互联网站点中,存在大量图片或其他静态内容,并且这些内容一般在1M之..
分类:
其他好文 时间:
2014-05-11 19:16:07
阅读次数:
674