今天突然停电使mongodb分片集群造成这种错误，暂时不知道怎么解决，如果有人知道请回复我，现在把记录下来，等后期处理。FriAug810:49:52.165[initandlisten]connectionacceptedfrom172.16.0.115:59542#2(2connectionsnowopen)FriAug810:49:52.954[initandlisten]connectionacc..
分类：
数据库 时间：
2014-08-08 16:30:07
阅读次数：
492
分片技术其实就是一个分布式的过程，但是mongodb的负载和其他的负载有所不同，在整个mongodb分布式的集群中一共有如下角色：mongos：mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，负责和客户端直接交互config：数据和片的对应关..
分类：
数据库 时间：
2014-08-07 07:32:19
阅读次数：
368
EC2里面有个很重要的功能就是ElasticLoadBalancer，配合AutoScaling和RDS的Multip-AZ使用，可以实现非常经济高效的高可用的结构。我们先看看最基本的一个ELB结构。ELB根据DNS以轮换的方式对用户的请求实现数据分流和高可用。以下的实验设计来自amazon的企业培训教案（豆子在网..
分类：
其他好文 时间：
2014-08-05 11:37:40
阅读次数：
409
因为最近要处理一些 JSON 数据格式，所以在经过一番搜索后 最终找到了 jq 这个很棒的工具。jq 允许你直接在命令行下对 JSON 进行操作，包括分片、过滤、转换等等。
让我们通过几个例子来说明 jq 的功能：
一、输出格式化，漂亮的打印效果
如果我们用文本编辑器打开 JSON，有时候可能看起来会一团糟，但是通过 jq 的 .（点）过滤器就可以立马让 JSON 的格式规整起来。
1.用...
分类：
Web程序 时间：
2014-08-05 09:40:29
阅读次数：
247
#include
#include
#include
/*
避免错误:
size 进行判断后在进行动态分配。
为什么?
malloc在不同编译器上有不同的实现，有的申请0大小返回NULL，
有的就可以返回一个地址，似乎后者较为常见。
当malloc分配内存时它除了分配我们指定SIZE的内存块，还会分配额
外的内存来存储我们的内存块信息，用于维护该内存块。
其实内存是分片的， 比喻说你malloc（10）； 不是真的给你10个字节，...
分类：
其他好文 时间：
2014-08-04 17:54:47
阅读次数：
180
1.启动Config Server的数据库实例
2.启动Mongos实例
3.添加分片到集群中
4.对数据库启用分片
5.对集合启用分片...
分类：
数据库 时间：
2014-08-01 16:13:01
阅读次数：
377
Amazon Elastic Block Store（EBS）可作为EC2实例的持久性数据块级存储。其具有高可用性和持久性的特点，可用性高达99.999%。给现有的EC2实例扩展新的存储块只需要几分钟的时间，省时省力。每个EBS块都被放置在一个特定的可用区内，并且会自动维护一个副本，随时保护数据安全...
分类：
其他好文 时间：
2014-07-31 02:21:15
阅读次数：
363
IP首部内有三个字段实现分片和重装：标识字段（ip_id）、标志字段（ip_off的3个高位比特）和偏移字段（ip_off的13个低位
比特）。标志字段由3个1bit标志组成。比特0是保留的必须为0,；比特1是“不分片”（DF）标志；比特2是“更多分片”（MF）标志。
Net/3中，标志和偏移字段结合起来，由ip_off访问，如下图所示：
ip_off的其他13bit指出在原始数据报...
分类：
其他好文 时间：
2014-07-23 22:33:38
阅读次数：
505
代码测试环境：Hadoop2.4应用场景：当需要处理很多小数据文件的时候，可以应用此技巧来达到高效处理数据的目的。原理：应用CombineFileInputFormat，可以把多个小数据文件在进行分片的时候合并。由于每个分片会产生一个Mapper，当一个Mapper处理的数据比较小的时候，其效率较低。而一般使用Hadoop处理数据时，即默认方式，会把一个输入数据文件当做一个分片，这样当输入文件较小...
分类：
其他好文 时间：
2014-07-23 13:09:36
阅读次数：
281
互联网网站应用大多采用mysql作为DB存储，限于mysql单机性能的瓶颈，为了支撑更大容量和更大的访问量，dba一般通过建立分布式集群，让多个mysql共同提供服务。所谓的mysql分布式集群，实质就是将原有的数据拆成多份，放在多个mysql数据库上存储，应用通过中间层路由到对应的数据库分片...
分类：
数据库 时间：
2014-07-22 22:44:34
阅读次数：
304
