MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，....
分类：
其他好文 时间：
2015-03-21 21:09:37
阅读次数：
168
这几天通过看书和查找资料，学习了分片集群模式，刚开始还真没看太明白感觉主要是几个概念之间的关系纠缠不清
配置服务器分片副本集mongos路由
介于此，通过学习，整理了两张图：这张是总体的框架理解
这张是从程序员使用的角度来看...
分类：
数据库 时间：
2015-03-19 14:52:07
阅读次数：
156
1.使用mongodump备份小量分片集群数据如果一个分片集群的数据集比较小，可以直接使用mongodump连接到mongos实例进行数据备份。默认情况下，mongodump到非primary的节点进行数据查询。如：mongodump--host192.168.100.200--port28018-dtaiwan_game1-o.
mongorestore--host192...
分类：
数据库 时间：
2015-03-18 06:30:41
阅读次数：
1021
Linux服务器运行久时，系统时间就会存在一定的误差，一般情况下可以使用date命令进行时间设置，但在做数据库集群分片等操作时对多台机器的时间差是有要求的，此时就需要使用ntpdate进行时间同步。date命令：date:查看当前时间，结果如下：TueMar401:36:45CST2014date-s09:38:40..
分类：
系统相关 时间：
2015-03-17 18:13:50
阅读次数：
198
最近在知乎上看到了这个问题，自己也搞了半学期的Elasticsearch，于是就想用自己所知道的浅陋知识来回答一下这个问题。Cluster包含多个node，Indices不应该理解成动词索引，Indices可理解成关系数据库中的databases，Indices可包含多个Index，Index对应关...
分类：
其他好文 时间：
2015-03-15 13:41:56
阅读次数：
221
MongoDB分片集群的入口mongos自身没有failover机制。官方建议是将mongos和应用服务器部署在一起，多个应用服务器就要部署多个mongos实例，这样很是不方便。还可以使用LVS或者HAProxy来实现多个mongos的failover机制，但是一定要注意使用clientaffinity即客户端关联特性。global..
分类：
数据库 时间：
2015-03-14 20:09:42
阅读次数：
253
对刚刚发布的mongodb3.0 进行测试。
分为单机单插入，单机混合操作，分片混合 三个场景的测试，这是第一个。...
分类：
数据库 时间：
2015-03-13 14:22:59
阅读次数：
238
紧急出个差，但是又不能不继续写，少写点，先把Shard key和Hash的一些小概念继续写一写。Shard KeysmongoDB的Sharding最重要的就是Shard Key。用Shard Key进行分片，并且按照指定的Chunk的大小进行Chunk的分割和移动(后面细说)。Shard Key的一些特点：Shard Key不可以是multikey index
何为mutikey index？途...
分类：
数据库 时间：
2015-03-10 00:13:05
阅读次数：
223
Hadoop中决定map个数的的因素有几个，由于版本的不同，决定因素也不一样，掌握这些因素对了解hadoop分片的划分有很大帮助，并且对优化hadoop性能也很有大的益处。旧API中getSplits方法: 1 public InputSplit[] getSplits(JobConf job, i...
分类：
其他好文 时间：
2015-03-09 00:17:56
阅读次数：
345
一、Bmob简介（1）数据服务
支持丰富的数据类型，灵活方便的增删改查，可视化的数据操作，安全的角色和ACL管理，多表关联处理，数据的批量处理，本地数据缓存，开发者们无需关注服务器后端，就可以实现多平台的同步开发。
（2）文件服务
文件服务允许上传任何的文件类型，支持分片断点续传，此外，针对移动端对图片业务的需求，还提供了生成高压缩比的缩略图服务。
（3）推送服务
提供了Android和i...
分类：
其他好文 时间：
2015-03-07 17:16:02
阅读次数：
259
