随着移动互联网的发展,大量的非结构化数据随之产生,不仅对数据库存储大数据提出了新的要求,同时对于查询数据和进行大数据分析也提出了苛刻的要求,这些显然是单服务器处理能力无法满足的,自然建立一个集群是不可避免的。集群的复杂性大家众所周知,而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类:
数据库 时间:
2014-07-12 13:00:54
阅读次数:
267
开发的应用采用F5负载均衡交换机,F5将请求转发给5台hp unix服务器,每台服务器有多个webserver实例,对外提供web服务和socket等接口服务。之初,曾有个小小的疑问为何不采用开源的apache、Nginx软件负载,F5设备动辄几十万,价格昂贵?自己一个比较幼稚的问题,后续明白:F5...
分类:
其他好文 时间:
2014-07-12 00:51:39
阅读次数:
427
网站突然让禁止ip访问,于是就通过配置Apache达到了想要的效果。 我们网站用的是Apache+tomcat集群,所以需要配置虚拟主机,虚拟主机我在这里就不说了,不明白的上网搜搜吧,这里只说禁止ip访问的配置,打开虚拟主机的配置文件httpd-vhosts.conf,我的路径是"d:/Apa...
分类:
其他好文 时间:
2014-07-11 23:54:45
阅读次数:
324
本节主要从整体角度介绍Kafka的设计思想,其中的每个理念都可以深入研究,以后我可能会发专题文章做深入介绍,在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容:
Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制
一、kafka由来
由于对JMS日常管理的过度开支和...
分类:
其他好文 时间:
2014-07-11 00:59:04
阅读次数:
246
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?
首先让我们看几个基本的消息系统术语:
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumers.
Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker....
分类:
其他好文 时间:
2014-07-11 00:01:24
阅读次数:
197
上篇以一个 demo 示例介绍了 Eureka 的 Application Service 客户端角色。今天我们继续了解 Eureka 的 Application Client 客户端,以一个简单的交互示例,介绍 Application Client 是如何使用 Eureka 获取 Application Service 实例并发送请求的。...
分类:
移动开发 时间:
2014-07-10 21:41:59
阅读次数:
365
Eureka 服务器架起来了(关于架设步骤参考博客《Linux 下 Eureka 服务器的部署》),现在如何把我们要负载均衡的服务器(也就是从 Application Client 接收请求并返回一个响应的 Application Service)注册到 Eureka?本文以一个示例介绍 Eureka Application Service 客户端的 Eureka 生命周期(包括启动时的注册、侍服示例、关闭时的取消注册)情况,相信读完本文之后,读者可以对 Eureka 的 Application Servi...
分类:
移动开发 时间:
2014-07-10 17:37:23
阅读次数:
731
说明:以下内容参考了抚琴煮酒的《构建高可用Linux服务器》第六章内容.搭建负载均衡高可用环境相对简单,主要是要理解其中原理。此文描述了三种负载均衡器的优缺点,以便在实际的生产应用中,按需求取舍。目前,在线上环境中应用较多的负载均衡器硬件有F5 BIG-IP,软件有LVS,Nginx及HAProxy...
分类:
其他好文 时间:
2014-07-10 15:57:24
阅读次数:
238
LVSIP:Eth0:192.168.100.115Eth1:192.168.100.215Vi/etc/init.d./lvs#!/bin/sh# # lvsStart lvs # # chkconfig: 2345 08 92 # description: Starts, stops and ....
分类:
其他好文 时间:
2014-07-10 15:54:54
阅读次数:
284
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持,MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个Data...
分类:
其他好文 时间:
2014-07-10 15:36:19
阅读次数:
204