上节咱们遗留了两个问题还没解决：
从节点每个上面的数据都是对数据库全部拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候是否会自动扩展
在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，“分片”就用这个来解决这个问题。
分片，是将一个逻辑数据拆分到不同的服务器。每个拆分的数...
分类：
数据库 时间：
2015-08-28 19:52:09
阅读次数：
204
Map、Reduce任务中Shuffle和排序的过程同样贴出我在visio中画出的流程示意图：流程分析：Map端：1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓...
分类：
编程语言 时间：
2015-08-28 17:09:40
阅读次数：
754
索引：
注意：如果超出长度，则报错
如果索引为负数，则取数的方向反转
>>> aList=['123',123,123.0]
>>> aList[0]
'123'
>>> aList[2]
123.0
>>> aList[-2]
123
>>> aList[-3]
'123'
>>> aList[3]
Traceback (most recent call last):
File "",...
分类：
编程语言 时间：
2015-08-28 00:58:39
阅读次数：
148
NoSQL全名 Not Only SQL，而非No SQL
NoSQL是伴随着WEB2.0的兴起而迅速发展，它的出现就是为了解决大规模的非结构化数据的存储，所以目前市面上的NoSQL都天生支持【集群】和【数据分片】
这里的天生支持是指使用内部机制实现，而非类似MySql的集群和分片，需要使用插件MySQL Proxy来实现，所以在配置和使用上更加灵活以及稳定。
...
分类：
数据库 时间：
2015-08-27 23:10:33
阅读次数：
284
列表是python里面最具灵活性的有序集合对象类型
它可以包含其他任何类型的对象：数字、字符串、甚至是列表
特点：可变对象、可在原处修改、可通过偏移值、分片、方法调用
特性：
1.任意对象的有序集合
2.通过偏移读取
3.可变长度、异构和任意嵌套
4.属于可变序列
5.对象引用数组：列表包含0个或者多个对象的引用
操作
解释
L=[]
一个空...
分类：
编程语言 时间：
2015-08-27 23:00:36
阅读次数：
261
输入格式类InputFormat用于描述MR作业的输入规范，主要功能：输入规范检查（比如输入文件目录的检查）、对数据文件进行输入切分和从输入分块中将数据记录逐一读取出来、并转化为Map输入的键值对。getSplits()方法返回List集合，作用是将输入文件在逻辑上划分为多个输入分片。createR...
分类：
其他好文 时间：
2015-08-27 15:03:23
阅读次数：
209
function download($sourceFile, $outFile = ‘‘) {
//Begin writing headers
header("Cache-Control:");
header("Cache-Control: public");
//设置输出浏览器格式...
分类：
Web程序 时间：
2015-08-26 20:40:37
阅读次数：
201
RedisCluster在redis3.0版本以上开始支持，以ruby环境运行。他可以把多个redis实例整合在一起，形成一个集群，集群内分配slot(分片槽)，实现数据的分片存放。客户端只要以集群的模式连接上集群内任意一个节点，就可以操作整个集群。集群角色有Master和Slave。Master之间分配slo..
分类：
其他好文 时间：
2015-08-26 20:32:29
阅读次数：
202
常用的2种配置：1.按文件大小分片，备份若干数量的文件var log4js = require('log4js');log4js.configure({ "appenders" : [ {"type" : "console"}, { "type...
分类：
Web程序 时间：
2015-08-25 14:12:37
阅读次数：
183
Elastic Search如何快速检索http://www.infoq.com/cn/articles/database-timestamp-02Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别...
分类：
其他好文 时间：
2015-08-25 13:24:25
阅读次数：
293
