mongodb复制集配置步骤2012-11-09 14:10:24|分类：mongodb|举报|字号订阅复制升级版的主从复制，它实现了故障自动转移功能,同时从节点支持读一，节点类型:a)主节点:支持读写b)从节点：支持读(需设置)c)仲裁节点：参与投票同时也支持读(需设置)二,实验主节点:192.1...
分类：
数据库 时间：
2014-12-11 17:08:25
阅读次数：
225
1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中，假如有一个文件A要做为输入数据，给MapReduce处理，系统要做的，首先从NameNode中找到文件A存储在哪些DataNode中，然后，在这些DataNode中，找到相应的数据块，作为一个单独的数据分块，作为ma...
分类：
其他好文 时间：
2014-12-11 15:22:37
阅读次数：
185
作业十二：互联网架构实践：插件式框架P3+dubbo+redis+tbschedule+zookpeer框架和环境搭建（采用京东架构讲解，读写分离，多数据源，分库分表，基础架构spring+velicity+mybatis+p3）
作业十三：centos互联网服务器虚拟机环境搭建实践（nagix、redis、zookper、dubbo、tbschedule）（模拟真实互联网环境服务器环境配置）
作业十四：mysql数据库分库分表分片设计...
分类：
其他好文 时间：
2014-12-10 18:04:27
阅读次数：
238
用法：split [选项]... [输入 [前缀]] 将输入内容拆分为固定大小的分片并输出到"前缀aa"、"前缀ab",...； 默认以 1000 行为拆分单位，默认前缀为"x"。如果不指定文件，或 者文件为"-"，则从标准输入读取数据。 长...
分类：
系统相关 时间：
2014-12-10 12:46:30
阅读次数：
334
摘自：《MongoDB管理与开发精要》 性能优化 创建索引 限定返回结果条数 只查询使用到的字段，而不查询所有字段 采用capped collection 采用Server Side Code Execution Hint 采用Profiling Sharding 分片 Replica...
分类：
数据库 时间：
2014-12-09 17:26:53
阅读次数：
272
输入数据概要 输入数据通常驻留在较大的文件中，通常几十或者数百GB，甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理，在Hadoop的术语中这些块被称为输入分片(In...
分类：
其他好文 时间：
2014-12-08 19:52:51
阅读次数：
230
MODULE 10 Threads 多线程--------------------------------进程： 计算机在运行过程中的任务单元，CPU在一个时间点上只能执行一个进程，但在一个时间段上采用时间分片原则。特点： 每个进程执行时需要独立的数据空间，独立分配内存，多个进程间的资源互不共...
分类：
编程语言 时间：
2014-12-06 12:46:24
阅读次数：
240
前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。 ?1.如何控制实际运行的map任务个数 ?我...
分类：
其他好文 时间：
2014-12-05 17:38:14
阅读次数：
163
继上篇rtp中的时间戳和负载类型之后，升入到了nalu的分片打包问题，这里做下笔记（1）fu-a的打包格式1.基于RTP协议的打包及解包（1）单个NAL打包H.264NALU单元常由[start code][NALU header][NALU payload]三部分组成，其中start code 用...
分类：
其他好文 时间：
2014-12-04 21:25:35
阅读次数：
238
分片:1. 在job.submit() 提交job之后 会调用submitter.submitJobInternal(Job.this, cluster);2. 在submitJobInternal()函数中 会给job创建分片int maps = writeSplits(job, submitJo...
分类：
其他好文 时间：
2014-12-04 19:38:42
阅读次数：
161
