1. mapper任务一般执行 输入格式解析、投影(选择相关的字段)、过滤(过滤掉无关记录)。reducer任务一般2. 对于map任务和ruduce任务,tasktracker有固定数量的任务槽。3. 分片(split)的大小一般就是文件块大小。map任务的数量取决于文件大小和块大小,不用刻意去设...
分类:
其他好文 时间:
2014-07-22 22:54:16
阅读次数:
314
###开启auth认证的mongodb的复制集###注意点-服务器节点之前时间要同步-开启防火墙的一定要允许通过-开启selinux的也要进行设置-建立双击互信模式最好不过###提前要做的事情生产高端大气上档次的keyFile文件[root@redisjournal]#opensslrand-base64753
3LC/EZGPOLXdVBQInqeKVgl..
分类:
数据库 时间:
2014-07-21 22:25:17
阅读次数:
321
1、标准的序列操作:索引、分片、乘法、判断成员资格、求长度、取最大值和最小值2、python之删除命令的区别:>>>x[‘or‘,‘not‘,‘to‘,‘be‘,‘or‘,‘be‘]del:删除指定索引的值>>>delx[0]>>>x[‘not‘,‘to‘,‘be‘,‘or‘,‘be‘]pop:默认删除最后一个值>>..
分类:
编程语言 时间:
2014-07-21 15:14:17
阅读次数:
429
转载自LANCEYAN.COM按照上一节中《搭建高可用mongodb集群(三)—— 深入副本集》搭建后还有两个问题没有解决:从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?数据压力大到机器支撑不了的时候能否做到自动扩展?在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持...
分类:
数据库 时间:
2014-07-20 22:29:20
阅读次数:
505
MongoDB的分布式分片集群(shardingcluster)配置Shardingcluster介绍这是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个MongoDBShardingCluster,需要三种角色:ShardServer:mongod实例,用于存储实际的数据块,实..
分类:
数据库 时间:
2014-07-20 06:25:37
阅读次数:
383
先介绍几个术语:
MSS:最大段尺寸
1. 是应用层(TCP)与传输层之间的接口属性
2. 用于向对端TCP通告对端在每个TCP分节中能发送的最大TCP数据量。
3. 它经常设置成MTU减去IP和TCP首部的固定长度。
4. 它是一个16位的字段,限定最大值是65535,
5. 65535这个MSS值被视为表示“无限”的一个特殊值。
MTU:即...
分类:
其他好文 时间:
2014-07-19 23:32:40
阅读次数:
268
ICMP:http://blog.csdn.net/tigerjibo/article/details/7356936ARP:http://blog.csdn.net/tigerjibo/article/details/7351992IP分片:http://www.vants.org/?post=1...
分类:
其他好文 时间:
2014-07-18 08:03:11
阅读次数:
198
刚在 http://bbs.byr.cn/#!article/Python/1693 刚...
分类:
编程语言 时间:
2014-07-17 17:00:18
阅读次数:
281
public class FileSplit extends InputSplit implements Writable { private Path file; private long start; private long length; private String[] hosts; pu...
分类:
其他好文 时间:
2014-07-16 18:32:45
阅读次数:
236
Java报表-动态折叠树
Java报表-段落明细表
Java报表-多层统计
Java报表-多源分片与冻结
Java报表-发票套打表
Java报表-非统一页面打印
Java报表-复杂票据
Java报表-高级条件分组表
Java报表-各分公司员工劳动关系
Java报表-基本明细汇总表
Java报表-卡片分栏条码表
Java报表-日报表
Java报表-数据进度表
Java报表-...
分类:
编程语言 时间:
2014-07-14 16:14:34
阅读次数:
419