分片是在大型网站数据库设计中经常会用到的解决方法，本文尝试给出一种用PHP实现的设计方案，shard_id的结构是64bit，10bit sharid系统+10bit为类型id+10子类型id+34bit自增id。关于分片设计的更多知识请参考我的...
分类：
数据库 时间：
2015-08-30 16:04:56
阅读次数：
256
分区和桶：hive把表组织成分区，这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。
表或分区可以进一步划分为桶，它会为数据提供额外的数据结构从而获得更高效的查询处理。比如：根据用户ID来划分桶，我们可以在所有用户集合的随机样本上快速计算基于用户的查询。分区：
分区是在创建表时用PARTITIONED BY子句进行定义。该子句需要定义列的列表。create tab...
分类：
其他好文 时间：
2015-08-30 11:28:43
阅读次数：
244
MongoDB分片实战(一)：集群搭建 http://www.cnblogs.com/magialmoon/archive/2013/04/10/3013121.html ? MongoDB分片实战(二)：Sharding http://www.cnblogs.com/zhanjindong/archive/2013/04/11/3015394.html...
分类：
数据库 时间：
2015-08-29 23:28:12
阅读次数：
385
分片简介分片（shard）是指将数据拆分，将其分散在不同的机器上的过程，有时也用分区（partition）联表示这个概念。将数据分散到不同机器上，不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。复制和分片是不同而概念，复制是让多台机器拥有同样的数据副本，..
分类：
数据库 时间：
2015-08-29 17:15:12
阅读次数：
389
将这段时间了解的MySQL分片技术和主从复制只是整理一下画了思维导图记录一下，希望能给需要的人一些帮助P.S.：个人整理，可能会有错误之处，还望指出~要解决的问题1、海量数据的操作超出单表、单库的最大限制2、访问压力超出数据库系统限制，性能下降3、数据库复制、容灾等问题解决方案一、采用数据分表分库提高数据库的性能限制1、可选Sharding策略2、Sharding实现的层面可以为：
（1）数据访问...
分类：
数据库 时间：
2015-08-29 14:05:42
阅读次数：
298
Jedis分片Sentinel连接池实验1.起因众所周知，Redis官方HA工具Sentinel已经问世很久了，但令人费解的是，Jedis官方却迟迟没有更新它的连接池。到目前Maven库中最新的2.7.3版本为止，都只能要么使用分片连接池，要么使用不分片的Sentinel连接池。如果既进行了Sharding，又对每组的主从实例配置Sentinel进行监控，怎么办？答案是只能自己开发了，晕！还好万能的...
分类：
其他好文 时间：
2015-08-29 09:52:35
阅读次数：
250
上节咱们遗留了两个问题还没解决：
从节点每个上面的数据都是对数据库全部拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候是否会自动扩展
在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，“分片”就用这个来解决这个问题。
分片，是将一个逻辑数据拆分到不同的服务器。每个拆分的数...
分类：
数据库 时间：
2015-08-28 19:52:09
阅读次数：
204
Map、Reduce任务中Shuffle和排序的过程同样贴出我在visio中画出的流程示意图：流程分析：Map端：1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓...
分类：
编程语言 时间：
2015-08-28 17:09:40
阅读次数：
754
索引：
注意：如果超出长度，则报错
如果索引为负数，则取数的方向反转
>>> aList=['123',123,123.0]
>>> aList[0]
'123'
>>> aList[2]
123.0
>>> aList[-2]
123
>>> aList[-3]
'123'
>>> aList[3]
Traceback (most recent call last):
File "",...
分类：
编程语言 时间：
2015-08-28 00:58:39
阅读次数：
148
NoSQL全名 Not Only SQL，而非No SQL
NoSQL是伴随着WEB2.0的兴起而迅速发展，它的出现就是为了解决大规模的非结构化数据的存储，所以目前市面上的NoSQL都天生支持【集群】和【数据分片】
这里的天生支持是指使用内部机制实现，而非类似MySql的集群和分片，需要使用插件MySQL Proxy来实现，所以在配置和使用上更加灵活以及稳定。
...
分类：
数据库 时间：
2015-08-27 23:10:33
阅读次数：
284
