一、概念： 分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分。通过一个名为mongos的路由进程进行操作，mon....
分类：
数据库 时间：
2015-07-11 14:48:50
阅读次数：
289
1.一个大坑：若实例化 JedisShardInfo 时不设置节点名称（name属性），那么当Redis节点列表的顺序发生变化时，会发生“键 rehash 现象”使用BTrace追踪redis.clients.util.Sharded的实时状态，验证“Jedis分片机制的一致性哈希算法”实现；发现一...
分类：
其他好文 时间：
2015-07-09 11:12:20
阅读次数：
838
mongodb版本：3.0.4准备：1、校验服务器的时间，3台同步2、关闭防火墙3、关闭selinuxSharding+Replica Sets 主机 IP 服务及端口Server A 192.168.31.231 mong...
分类：
数据库 时间：
2015-07-08 12:29:47
阅读次数：
141
网上大部分都是的mongo2.x集群分片了，咱写个3.04的。
由于公司采用磁盘阵列冗余存储，所以不考虑数据备份问题只是简单的分片存储数据进行测试的。
配置结构如图：
服务器配置：
cpu双核、8G内存、/shard目录挂载500G硬盘。
服务器列表：
IP
职能
192.168.6.117
config、m...
分类：
数据库 时间：
2015-07-07 19:37:03
阅读次数：
270
plupload批量上传分片功能，对于文件比较大的情况下，plupload支持分片上传，后台代码如下： /** * * 方法：upLoadSpecialProgramPictrue * 方法说明：本地节目导入 * @return * @autho...
分类：
Web程序 时间：
2015-07-06 19:47:33
阅读次数：
1275
笔者在项目中处理大文件上传的需求，仿照七牛云存储的接口设计。然而，在服务器端文件合并时遇到了很大的问题：合并太慢。本文记录了当时的思路和解决的方案 大文件的需求 文件上传是个很常见的需求。尽管HTTP是基...
分类：
其他好文 时间：
2015-07-06 18:14:34
阅读次数：
267
NIO里对性能提升最显著的是内存映射（memory mapping），内存访问的速度往往比文件访问的速度快几个数量级。 在内存映射之前，还需要看NIO的一些其他的特性。 缓冲区分片 slice()方法根据现有的缓冲区创建一个子缓冲区。也就是说，它创建一个新的缓冲区，新缓冲区与原来的缓冲区的一...
分类：
其他好文 时间：
2015-07-05 23:53:27
阅读次数：
135
概述 shard 分片 就是 把不同的数据分在不同的服务器 模型其中：
用户对mongodb的操作都是向mongs请求的
configsvr 用于保存，某条数据保存在哪个shard的上
如何使用分片先启动2个节点作为shardmongd --dbpath ~/db/mongo1/databse --logpath ~/db/mongo1/log/mongo.log --...
分类：
数据库 时间：
2015-07-03 06:56:19
阅读次数：
212
序言一直在做企业应用，目前要做一些互联网应用，当然只是应用是放在互联网的，数据量距离真正的互联网应用还是有相当大的差距的。但是不可避免的，在数据库出现瓶颈的情况还是有的，现在做互联网上的应用，当然也要未雨绸缪，要考虑数据量大的时候的解决方案。这个目前开源的商用的也都有不少解决方案，一来，做技术的都有...
分类：
数据库 时间：
2015-07-01 11:33:49
阅读次数：
253
概述
上面两篇博客都是关于mongodb的集群的配置，没有涉及到分布式，该片博客就是写mongodb的分布式，把一个整体，分成多个片，每个片部署到不同的服务器上，这个就是mongodb的分布式，即：mongodb的分片操作。
部署图
mongos服务器做的是路由服务器，config服务器就是保存相应配置的服务器，shard1和sha...
分类：
数据库 时间：
2015-07-01 01:05:45
阅读次数：
182
