InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1).数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的spl
分类：
其他好文 时间：
2016-01-31 21:15:11
阅读次数：
418
传送门问题描述某天，acm的小秋拿到了一张很大很大的纸。他现在打算把它撕成正方 形。但是他没有任何工具，没有尺子，所以他尝试一种有趣的方法切分矩形。假设这是一个a*b的矩形（a>b），那么小秋会先把矩形的一个角如图所示 折起，这样右边就会形成一个正方形，然后把正方形切割出来，如果还存在长方形，小秋会...
分类：
其他好文 时间：
2016-01-26 18:27:38
阅读次数：
177
Lens 提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分，同时优化了执行的环境。无缝的集成 Hadoop 实现类似传统数据仓库的功能。该项目主要特性：简单元数据层为数据存储提供抽象视图层单一的共享模式服务器，基于 Hive 元存储。模式通过数据管道 HCata...
分类：
Web程序 时间：
2016-01-25 19:20:00
阅读次数：
208
再来一个非常高级的排序算法，快速排序...这个算法是很高效的。快速排序的思路是，找到一个分割点，把原数组分隔成两部分，在分割点左侧的是都比它小的，在它右侧的是都比它大的。然后分别把这两部分再递归调用排序，自然就全部排序完成。当然最重要的步骤就是切分，然后进行递归调用，重复以上分割操作，直到bre.....
分类：
编程语言 时间：
2016-01-24 22:33:43
阅读次数：
176
【数据拆分后引入的问题】 数据水平拆分引入的问题主要是只能通过sharding key来读写操作，例如以userid为sharding key的切分例子，读userid的详细信息时，一定需要先知道userid,这样才能推算出再哪个cluster进而进行查询，假设我需要按username进行检索用户....
分类：
数据库 时间：
2016-01-20 19:13:15
阅读次数：
242
IK Analyzer是一款结合了词典和文法分析算法的中文分词组件，基于字符串匹配，支持用户词典扩展定义，支持细粒度和智能切分，比如：张三说的确实在理智能分词的结果是：张三 | 说的 | 确实 | 在理 最细粒度分词结果：张三 | 三 | 说的 | 的确 | 的 | 确实 | 实在...
分类：
其他好文 时间：
2016-01-11 20:31:31
阅读次数：
228
转自：http://blog.csdn.net/bluishglc/article/details/9380087我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理：对输入数据进行切分，生成一组split，一个split会分发给一个mapper进行处理...
分类：
其他好文 时间：
2016-01-08 01:51:50
阅读次数：
393
Lens 提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分，同时优化了执行的环境。无缝的集成Hadoop实现类似传统数据仓库的功能。该项目主要特性：简单元数据层为数据存储提供抽象视图层单一的共享模式服务器，基于 Hive 元存储。模式通过数据管道 HCatalo...
分类：
Web程序 时间：
2016-01-05 18:54:13
阅读次数：
842
原文地址1、前言对于数据库而言，在日常开发中我们主要的关注点有两块，一个是schema的结构设计，另一个就是索引的优化，这两块是影响我们最终系统结构和性能的关键部分，自然也是我们花费精力最多的部分；本文主要介绍数据库设计中的一般原则和优化手段，包括数据库的一半范式、反范式设计、数据切分、数据路由与合...
分类：
数据库 时间：
2016-01-03 19:32:51
阅读次数：
202
MapReduce的设计思想主要的思想是分而治之(divide and conquer),分治算法。将一个大的问题切分成很多小的问题，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出的结果进行汇集。写MapReduce...
分类：
其他好文 时间：
2015-12-29 22:40:14
阅读次数：
276
