Hadoop Hive与Hbase整合+thrift 1. 简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapR ...
分类：
其他好文 时间：
2016-04-30 12:58:35
阅读次数：
258
转载自知乎：https://www.zhihu.com/question/26568496 1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行 处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapR
分类：
其他好文 时间：
2016-02-29 19:45:17
阅读次数：
131
Myriad开始由eBay、MapR和Mesosphere合作了一个新项目，之后又把这个项目转交给了Mesos，“Projectdevelopmenthasmovedto:https://github.com/mesos/myriad.”再之后又把它移交给了Apache，真是项目大迁移啊！一、介绍Myriad（从概念理解Myriad）Myriad名字的意思是无数或及其..
分类：
其他好文 时间：
2016-02-18 20:05:28
阅读次数：
308
https://www.mapr.com/blog/in-depth-look-hbase-architecture An In-Depth Look at the HBase Architecture August 7, 2015 Carol McDonald In this blog post,
分类：
其他好文 时间：
2016-01-29 19:50:23
阅读次数：
181
首先还是贴一下这个LED例程的部分代码： 1 int main() 2 { 3 4 Stm32_Clock_Init();//系统时钟设置 5 RCC->APB2ENR |= 0x00000001; //开启afio时钟 6 // AFIO->MAPR = (0x00...
分类：
其他好文 时间：
2015-12-29 19:29:51
阅读次数：
337
MapReduce模型主要包含Mapper类和Reducer类两个抽象类。Mapper类主要负责对数据的分析处理，最终转化为key-value数据对；Reducer类主要获取key-value数据对，然后处理统计，得到结果。MapReduce实现了存储的均衡，但没有实现计算的均衡。一. MapR.....
分类：
其他好文 时间：
2015-12-17 23:53:57
阅读次数：
198
1. 先进先出（FIFO）调度器 先进先出调度器是Hadoop的默认调度器。就像这个名字所隐含的那样，这种调度器就是用简单按照“先到先得”的算法来调度任务的。例如，作业A和作业B被先后提交。那么在执行作业B的任务前，作业A中的所有map任务都应该已经执行完成。 配置：调度器类型的配置是在mapr.....
分类：
其他好文 时间：
2015-11-02 17:34:51
阅读次数：
309
一、环境安装 1.安装hadoop http://my.oschina.net/u/204498/blog/519789 2.安装spark 3.启动hadoop 4.启动spark 二、 1.数据准备 从MAPR官网上下载数据DEV360DATA.zip并上传到server上。 [hadoop@hftclclw0001?...
分类：
其他好文 时间：
2015-10-29 16:35:00
阅读次数：
289
一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，本文将通过一个实际的MapReduce二次排序例子讲述二次排序的实现和其MapR...
分类：
编程语言 时间：
2015-07-16 19:01:38
阅读次数：
248
http://www.cnblogs.com/LBSer/p/4605904.html Kmeans算法是一种非监督聚类算法，由于原理简单而在业界被广泛使用，一般在实践中遇到聚类问题往往会优先使用Kmeans尝试一把看看结果。本人在工作中对Kmeans有过多次实践，进行过用户行为聚类（MapR...
分类：
其他好文 时间：
2015-06-28 18:48:53
阅读次数：
178
