1 Lustre概述Lustre是面向集群的存储架构，它是基于Linux平台的开源集群（并行）文件系统，提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能，能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Scale-Out存储架构，借助强...
分类：
其他好文 时间：
2014-06-29 00:39:13
阅读次数：
253
阿里云的负载均衡产品叫SLB，七层负载均衡用的是LVS+Tengine，四层负载均衡用的是LVS。昨天七层SLB出现了波动，我们后来改用了四层SLB。使用后意外地发现，用户请求的响应内容TCP出包走的是云服务器的公网网卡。
分类：
其他好文 时间：
2014-06-28 22:12:17
阅读次数：
350
在这介绍的Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在，被称为Trunking和Etherchannel技术，在Linu...
分类：
系统相关 时间：
2014-06-28 14:59:17
阅读次数：
312
一、控制Hive中Map和reduce的数量Hive中的sql查询会生成执行计划，执行计划以MapReduce的方式执行，那么结合数据和集群的大小，map和reduce的数量就会影响到sql执行的效率。除了要控制Hive生成的Job的数量，也要控制map和reduce的数量。1、map的数量，通常情...
分类：
其他好文 时间：
2014-06-23 07:48:43
阅读次数：
288
mysql集群ndb和drdb那个比较好一些，我数据日访问量500w数据，数据达到T级别http://zhidao.baidu.com/link?url=dbpH5rI2o-XcscD8beSZrDvQxyG4vkUYFIRf58ARc-vKuuSA3ACvBYM3ewnazqqFEyeB2ZRPC...
分类：
数据库 时间：
2014-06-20 23:06:12
阅读次数：
294
MongoDB社区版本和企业版本差异主要体现在安全认证、系统认证等方面，具体信息参考下表：版本特性社区版本企业版本JSON数据模型、自由模式支持支持水平扩展的自动分片功能支持支持内置副本以及高可用性支持支持完整的、可扩展的索引支撑支持支持丰富的文档查询功能支持支持快速的文档内更新支持支持聚合框架和M...
分类：
数据库 时间：
2014-06-20 20:16:34
阅读次数：
269
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。概念:kafka依赖的项：1.硬件上，kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩，5.kafka对事务处理比...
分类：
其他好文 时间：
2014-06-20 18:18:45
阅读次数：
329
一、HAProxy简介 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上，完全可以支持数以万计的并发...
分类：
其他好文 时间：
2014-06-20 15:54:21
阅读次数：
196
在大规模互联网应用中，负载均衡设备是必不可少的一个节点，源于互联网应用的高并发和大流量的冲击压力，我们通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）。一、负载均衡的作用负载均衡设备的任务就是作为应用服务器流量的入口，首先挑选最合适的一台服务器，然后将客户端的请求...
分类：
Web程序 时间：
2014-06-20 15:05:00
阅读次数：
228
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
