作者在工作中遇到了类似流式数据实时接入的业务场景，所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具，文中的图片来自淘宝数据仓库团队交流过程中的sildes，也参考了一些相关文档。
业务背景
TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点（基于Hbase）。
目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据...
分类：
其他好文 时间：
2014-05-22 10:58:59
阅读次数：
334
WindowsAzure目前在全球有八大数据中心(美国西部，美国东部，美国中北部，美国中南部，北欧，西欧，东亚，南亚)。还有中国南北两个数据中心。每个数据中心都由若干个"容器"组成，"容器"的内部是集群(cluster)和机架(rack)。每一个容器都有特定的服务，比如计算和存储，SQLDatab..
keepalived是一款c语言写的实现在linux系统上实现负载均衡和高可用的软件。它遵从于GNU是一款优秀的开源软件。一：两个关键词的解释1：负载均衡keepalived内置了对ipvs函数的调用支持。可以直接在keepalived中按照语法配置ipvs然后keepalived就可以实现对ipvs的配置。2：高可用..
分类：
其他好文 时间：
2014-05-21 01:27:15
阅读次数：
1962
1环境说明前端两台haproxy+keepalived互为主从，提供高可用；另外基于不同域名访问不同的虚拟ip实现负载均衡1.1环境描述服务器A(主、从)：eth0:10.241.51.245eth1:192.168.1.9服务器B(从、主)：eth2:10.241.51.246eth1:192.168.1.10服务器C(web01)：eth0:10.241.51.247服务器D(..
分类：
其他好文 时间：
2014-05-21 00:26:07
阅读次数：
567
高可用性可以在以下几个层面实现：1应用层高可用性：如实现mysql、oracle数据库应用程序的群集，主要是判断mysql、oracle应用程序是否停止运行。2操作系统高可用性：如windows的故障转移群集（windowsfailoverclusteringWFC）。3虚拟化层的高可用性：如vspherehighavailability..
分类：
其他好文 时间：
2014-05-20 20:31:18
阅读次数：
477
生产环境网站离不开负载均衡、高可用性这样的字眼，不用解释便知道其中的意义与重要性。高可用性可以用keepalived实现，负载均衡可以用lvs或者nginx实现，二者的区别是lvs基于网络层，nginx基于应用层或者基于浏览器。lvs有3中实现方式，分别是nat、dr、tunel（隧道），三者大..
分类：
其他好文 时间：
2014-05-20 19:09:43
阅读次数：
469
目前，corosync功能和特性已经非常完善了，所以pacmaker独立出来之后通常都将pacmaker和corosync结合来使用，corosync并没有通用的资源管理器，因此要借助pacmaker来实现常用的资源管理器：·cman：rgmanager·crm：crm的资源约束有：·location：资源对节点的偏好·colocation..
分类：
其他好文 时间：
2014-05-20 18:10:07
阅读次数：
1453
一、lvs组件介绍lvs的组件由两部分组成：工作在内核空间的ipvs模块和工作在用户空间ipvsadm工具。其中ipvsadm是规则生成工具，而ipvs是一个使规则生效的工具。二、ipvsadm详解
分类：
其他好文 时间：
2014-05-20 17:57:55
阅读次数：
276
一、LVS简介LVS是LinuxVirtualServer的简称，也就是Linux虚拟服务器,是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux..
分类：
其他好文 时间：
2014-05-20 17:33:26
阅读次数：
369
1.sunny2038的专栏 http://blog.csdn.net/sunny2038作者建立了一个学习系列，讲得很详细，有很多的基本的图像处理实例。2. https://github.com/abidrahmank/OpenCV2-Python 很多实例！正在看。...
分类：
编程语言 时间：
2014-05-20 17:10:21
阅读次数：
597
