1.读取要导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop
2.设置好job，主要也就是设置好以上第六章中的各个参数
3.这里就由Hadoop来执行MapReduce来执行Import命令了，
1）首先要对数据进行切分，也就是DataSplit
DataDrivenDBInputFormat.g...
分类：
其他好文 时间：
2015-04-24 16:26:35
阅读次数：
110
一、函数说明 ??? substr、mb_substr、mb_strcut这三个函数都用来截取字符串，所不同的是：substr是最简单的截取，无法适应中文；mb_substr是按字来切分字符串，而mb_strcut是按字节来切分字符串，截取中文都不...
分类：
Web程序 时间：
2015-04-24 14:27:37
阅读次数：
276
一、简介
pt-table-checksum是percona-toolkit系列工具中的一个， 可以用来检测主、 从数据库中数据的一致性。其原理是在主库上运行， 对同步的表进行checksum， 记录下来。 然后对比主从中各个表的checksum是否一致， 从而判断数据是否一致。检测过程中以块为单位， 对于大的表可以区分为多个块， 从而避免锁表（ 根据唯一索引将表切分为块）检测时会自动判断复制延迟、 master的负载， 超过阀值后会自动将检测暂停。
pt-table-sync，顾名思义，它用来修复多个...
分类：
其他好文 时间：
2015-04-24 09:21:29
阅读次数：
5310
最顶级是InputFormat抽象类 ，该类定义了两个方法，方法getSplits是负责切分输入文件(们)的，把很多的输入文件(们)切分成很多的输入分片，切分规则就是在这里定义的，每个InputSplit对应一个Mapper任务。方法createRecordReader是负责把getSplits生成...
分类：
其他好文 时间：
2015-04-23 12:22:19
阅读次数：
202
ios-多线程-GCD首先，得来点正式的开场：咳咳咳！！！Grand Central Dispatch或者GCD，是一套低层API，提供了一种新的方法来进行并发程序编写。从基本功能上讲，GCD有点像 NSOperationQueue，他们都允许程序将任务切分为多个单一任务然后提交至工作队列来并发地或...
分类：
移动开发 时间：
2015-04-22 22:08:20
阅读次数：
249
第5章： 敏捷开发以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。在敏捷开发中，软件项目在构建初期被切分成多个子项目，各个子项目的成果都经过测试，具备可视、可集成和可运行使用的特征。关于每日立会，虽然书中提到可借用文档和其他辅助手段来进行沟通，但听说在异地开发模式下很难实现快速构建.....
分类：
其他好文 时间：
2015-04-22 22:06:02
阅读次数：
111
一个任务的开始阶段是由InputFormat来决定的！1.在MapReduce框架中，InputFormat扮演的角色：– 将输入数据切分成逻辑的分片（Split），一个分片将被分配给一个单独的Mapper– 提供RecordReader的对象，该对象会从分片中读出对供Mapper处理1.1Inpu...
分类：
其他好文 时间：
2015-04-22 13:16:43
阅读次数：
250
6.3直方图 hist()其中的x是一个由数据值组成的数值向量。参数freq=FALSE表示根据概率密度而不是频数绘制图形。参数breaks用于控制组的数量。在定义直方图中的单元时，默认将生成等距切分。par(mfrow=c(2，2))hist(mtcars$mpg)#简单直方图hist(mtcar...
分类：
其他好文 时间：
2015-04-18 17:33:38
阅读次数：
190
根据对双门限的理解和修改，重写了一个离线版端点检测。
function [st,en]=VAD(x, fs)
x=double(x);
x=x/max(abs(x));
framelen= floor(fs*40/1000);%
frameinc= floor(fs*10/1000);%
y=enframe(x,framelen,frameinc);
%计算短时...
分类：
其他好文 时间：
2015-04-18 08:54:31
阅读次数：
168
1. 数据水平分区简介在SequoiaDB中，默认情况下，表（集合）的数据只会存储在一个复制组中。这样，对该表的CRUD操作只会落到一个复制组中。随着对表的IO请求上升/数据量的增加，就会造成性能瓶颈，导致访问时延增加。为了解决这个问题，便引入了水平分区的功能。水平分区可以将表(集合)切分成若干分区...
分类：
数据库 时间：
2015-04-10 13:14:47
阅读次数：
144
