最顶级是InputFormat抽象类 ，该类定义了两个方法，方法getSplits是负责切分输入文件(们)的，把很多的输入文件(们)切分成很多的输入分片，切分规则就是在这里定义的，每个InputSplit对应一个Mapper任务。方法createRecordReader是负责把getSplits生成...
分类：
其他好文 时间：
2015-04-23 12:22:19
阅读次数：
202
Mysql库中有一个表，数据量在10亿左右，基本上对于这个表的操作都是没有意义的，因此想测试一下迁移到mongodb的shared架构上是否会有所改善。于是哼哧哼哧的搭建了一个3分片的mongo环境，并将mysql中这个大表的数据导出成了csv的格式，最终使用mongoimport工具成功将10亿多的数..
分类：
数据库 时间：
2015-04-23 11:09:12
阅读次数：
279
一个任务的开始阶段是由InputFormat来决定的！1.在MapReduce框架中，InputFormat扮演的角色：– 将输入数据切分成逻辑的分片（Split），一个分片将被分配给一个单独的Mapper– 提供RecordReader的对象，该对象会从分片中读出对供Mapper处理1.1Inpu...
分类：
其他好文 时间：
2015-04-22 13:16:43
阅读次数：
250
Codis是一个开源的分布式redis解决方案，由以下四个组件组成：codis-proxy:后端redis的代理，本事实现了redis协议。codis-config:是codis的管理配置工具，用于增删redisserver、操作数据迁移。zookeeper:用来存放数据路由表和codis-proxy节点的元信息,codis-config发起的命令都..
分类：
其他好文 时间：
2015-04-21 14:51:55
阅读次数：
212
SSDB是一个高性能的支持丰富数据结构的NoSQL数据库,用于替代Redis或者与Redis配合存储十亿级别列表的数据，现在已被许多知名企业所应用。我们使用SSDB是想将现有的redis中的key迁移到SSDB以破除现有的redis120G存储极限（当然可以扩展，但是计算了下成本就打算放弃了）。Twempr..
分类：
数据库 时间：
2015-04-19 19:38:36
阅读次数：
385
一、基本概念大数据量下，搞mysql，以下概念需要先达成一致1)单库，不多说了，就是一个库 2）分片（sharding），水平拆分，用于解决扩展性问题，按天拆分表 3）复制（replication）与分组（group），用于解决可用性问题 4）分片+分组，这是大数据量下，架构的实际情况 二、大数据量...
分类：
数据库 时间：
2015-04-17 09:36:00
阅读次数：
393
《NoSQL精粹》读书笔记，转载请注明出处《jiq?钦's technical Blog》
催生NoSQL的主要原因是：需要一种能够运行在大集群上的数据库
面向聚合的数据库非常适合于横向拓展的集群架构，聚合自然成为了数据分布单元，而数据分布主要有两条路：“复制(replication)”和“分片(sharding)”，复制是将同一份数据拷贝至多个节点，分片是将数据分散存放到不同节点上。...
分类：
数据库 时间：
2015-04-16 01:32:14
阅读次数：
158
首先看节点规划：IP:192.168.0.99Host:mgs02Role：cobarIP:192.168.0.101Host:mysql01Role：mysql-master1IP:192.168.0.102Host:mysql02Role：mysql-slave1IP:192.168.0.103Host:mysql03Role：mysql-master2IP:192.168.0.104Host:mysql04Role：mysql-slave2数据库分片规划：len..
分类：
数据库 时间：
2015-04-15 15:01:04
阅读次数：
235
1、MongoDB简介2、MongoDB特点3、MongoDB功能4、MongoDB部署4.1MongoDB单机部署4.2MongoDB主从部署4.3MongoDB分片部署附录一：MongoDB工具介绍附录二：MongoDB报错附录三：MongoDB命令详解
分类：
数据库 时间：
2015-04-14 20:09:19
阅读次数：
174
mongodb集群有三种方式1，主从模式，类似mysqlmasterslave方式。2，副本集模式，其实是一主多从，如果主节点挂掉，会重新在从节点选取一台为主节点。3，分片模式，针对大数据量，高负载情况。从图中可以看到有四个组件：mongos、configserver、shard、replicaset。mongos，数据..
分类：
数据库 时间：
2015-04-14 20:02:11
阅读次数：
377
