1、前言 Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems(Eucalyptus)是一种开源的软件基础结构,用来通过计算集群或工作站群实现弹性的、实用的云计算。它最初是美国加利福尼亚....
搭建mongodb分片http://gong1208.iteye.com/blog/1622078Sharding分片概念这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在sharding的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB的数据...
分类:
数据库 时间:
2014-09-25 21:39:07
阅读次数:
294
尽管IP分片看起来是是透明的,但有一点让人不想使用它:即使只丢失一片数据也要重传整个数据报。为什么会发生这种情况呢? 因为IP层本身没有超时重传的机制——由更高层来负责超时和重传(TCP有超时和重传机制,但UDP没有。一些UDP应用程序本身也执行超时和重传)。当来自TCP报文段的某一片丢失后,TC....
分类:
其他好文 时间:
2014-09-24 21:32:27
阅读次数:
244
EC全称是elastic communication,是基于c#实现的Socket网络通讯服务容器,支持windows .Net和mono。通过EC容器可以让开发人员在不了解Socket网络通讯知识和不进行任何配置的情况即可把逻辑应用部署到一个网络通讯服务中。EC的目标让开发人员在编写传统S...
分类:
其他好文 时间:
2014-09-23 16:10:14
阅读次数:
211
EC全称是elastic communication,是基于c#实现的Socket网络通讯服务容器,支持windows .Net和mono。通过EC容器可以让开发人员在不了解Socket网络通讯知识和不进行任何配置的情况即可把逻辑应用部署到一...
分类:
其他好文 时间:
2014-09-22 23:42:34
阅读次数:
421
节选自《大数据日知录:架构与算法》十四章,书籍目录在此 对于海量待挖掘数据,在分布式计算环境下,首先面临的问题就是如何将数据比较均匀地分配到不同的服务器上。对于非图数据来说,这个问题解决起来往往比较直观,因为记录之间独立无关联,所以对数据切分算法没有特别约束,只要机器负载尽可能均衡即可。由于图数据记录之间的强耦合性,如果数据分片不合理,不仅会造成机器之间负载不均衡,还会大量增加机器之...
分类:
数据库 时间:
2014-09-20 08:51:47
阅读次数:
401
1、UDP首部
2、UDP分片
在第二章,讲链路层是,提到过以太网,刨除数据帧帧头,最多传输的长度为1500,也就是说,如果一个ip数据报,长度大于1500,则需要分片。
分片方法:
在ip头中3位标志,13位片偏移,这俩东西就是用来分片的。3位标志中:一个更多的片标识,除了最后一个分片,其它分片都要有这个标识,还有一个不分片标识,如果置上,则即便I...
分类:
其他好文 时间:
2014-09-18 16:32:31
阅读次数:
293
最近研究分布式数据库架构,发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。 一、 多分片(水平切分)返回结果合并(排序) ??????????1、Select + None Aggregate Function的有序...
分类:
数据库 时间:
2014-09-18 11:42:34
阅读次数:
293
Apache SolrCloud安装 SolrCloud通过ZooKeeper集群来进行协调,使一个索引进行分片,各个分片可以分布在不同的物理节点上,多个物理分片组成一个完成的索引Collection。SolrCloud自动支持Solr Replication,可以同...
分类:
其他好文 时间:
2014-09-17 17:02:32
阅读次数:
248
在网页中直接上传大文件一直是个比较头疼的问题,主要面临的问题一般包括两类:一是上传时间长中途一旦出错会导致前功尽弃;二是服务端配置复杂,要考虑接收超大表单和超时问题,如果是托管主机没准还改不了配置,默认只能接收小于4MB的附件。比较理想的方案是能够把大文件分片..
分类:
Web程序 时间:
2014-09-15 11:25:09
阅读次数:
196