数据链路层：mtu的限制在这层 14字节：6字节目标mac，6字节源mac，2字节type，网络层：（ip dns arp）分片重组在这层，每一个包长不可超过mtu 仅仅举例ip协议：20字节160bits：4位版本号 4位头长，8位服务类型16位总长度 16位标示3位...
分类：
其他好文 时间：
2014-07-13 19:57:58
阅读次数：
272
添加分片 useadmin //添加分片节点,每个分片都是一个副本集【allowLocal:true仅仅开发时才将分片配置到本地,生产时不能这样】 db.runCommand({addshard:"localhost:9335",allowLocal:true}) db.runCommand({ad...
分类：
数据库 时间：
2014-07-13 00:28:16
阅读次数：
570
随着移动互联网的发展，大量的非结构化数据随之产生，不仅对数据库存储大数据提出了新的要求，同时对于查询数据和进行大数据分析也提出了苛刻的要求，这些显然是单服务器处理能力无法满足的，自然建立一个集群是不可避免的。集群的复杂性大家众所周知，而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类：
数据库 时间：
2014-07-12 13:00:54
阅读次数：
267
InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1)数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的s...
分类：
其他好文 时间：
2014-07-09 23:49:37
阅读次数：
487
我们在MapReduce中TextInputFormat分片和读取分片数据源码级分析 这篇中以TextInputFormat为例讲解了InputFormat的分片过程以及RecordReader读取分片数据的过程。接下来咱们分析TableInputFormat的分片信息和数据读取过程。 Tab...
分类：
其他好文 时间：
2014-07-07 20:09:05
阅读次数：
260
分布式的基础:一致性哈希 路由算法的一致性hash http://www.jiacheo.org/blog/174 http://www.tuicool.com/articles/vQVbmai http://www.cnblogs.com/huangxincheng/p/3708316.html ...
分类：
数据库 时间：
2014-07-07 11:31:00
阅读次数：
349
分区健选择
数据应该如何拆分，按照什么纬度来拆分
节点路由
应用程序写死/客户端(TDDL,cobar-client)/中间层(cobar-server)
固定分配/动态分配/混合
分片数据均衡
某些分片访问比较频繁，跟业务类型相关
全局唯一键生成器
专门的应用接口
跨节点排序/分组/表关联
应用程序实现
多数据源事务处理/分布式事务
应用程序实...
分类：
数据库 时间：
2014-07-03 13:35:02
阅读次数：
212
NoSQL数据库的分布式模型单一服务器在一个服务器完全能够胜任工作时就没必要考虑分布式，这样部署简单，维护也方便很多；分片特点数据的各个部分存放在集群的不同服务器中； 比如按字母来划分：以a-g开头的键值都存放到第一台服务器上，以h-n开头的存放到第二台...需要考虑的问题如何存放数据，让用户基本上...
分类：
数据库 时间：
2014-06-30 23:15:40
阅读次数：
327
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Serv...
分类：
数据库 时间：
2014-06-30 22:41:02
阅读次数：
285
IP协议详解
IP头部信息：IP头部信息出现在每个IP数据报中，用于指定IP通信的源端IP地址、目的端IP地址，知道IP分片和重组。
IP数据报的路由和转发：IP数据报的路由和转发发生在出目标机器之外的所有主机和路由器上。他们决定数据报是否应该转发以及如何转发。
IP服务的特点
IP协议是TCP/IP协议族的动力，它为上层协议提供无状态、无连接、不可靠的服务。...
分类：
其他好文 时间：
2014-06-26 07:48:41
阅读次数：
306
