【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、 Spark运行架构1.1术语定义lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver...
分类：
其他好文 时间：
2015-08-19 07:06:38
阅读次数：
244
hbase 伪 分 布 安 装参考：http://blog.csdn.net/gamer_gyt/article/details/47126961
hbase shell操作命令参考：http://blog.csdn.net/gamer_gyt/article/details/47131857
其中用到的eclipse快捷键：
Alt+/ 代码助手完成一些代码的插入，自动显示...
分类：
编程语言 时间：
2015-08-18 14:17:31
阅读次数：
238
1.HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理H....
分类：
其他好文 时间：
2015-08-16 22:40:16
阅读次数：
96
1对Jstorm的认识与理解：
jstorm是一个类似于Hadoop MapReduce的分布式处理系统，用户向Jstorm提交一个任务，Jstorm将这个任务按7×24小时跑起来，如果运行过程中有一个worker发生意外故障，调度器会立即分配一个新的worker替代这个失效的worker继续运行任务。从数据角度来看，Jstorm是一套基于流水线的消息处理机制，随着人们对数据实时性处理的要求越来...
分类：
其他好文 时间：
2015-08-16 16:45:33
阅读次数：
147
一、概述。
MapReduce是一种可用于数据处理的编程模型。Hadoop可以运行由各种语言编写的MapReuce程序。MapReduce分为Map部分和Reduce部分。
二、MapReduce的机制
MapReduce分为几大过程input、Map、shufle、reduce、output
1、input阶段是指将原始文件...
分类：
其他好文 时间：
2015-08-13 22:24:27
阅读次数：
148
1.实现分区的步骤： 1.1先分析一下具体的业务逻辑，确定大概有多少个分区 1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数...
分类：
其他好文 时间：
2015-08-13 15:41:56
阅读次数：
110
举例来讲：
假设每个网页都有一个自己的默认PR值，相当于人为添加给它是一种属性，用来标识网页的等级或者重要性，从而依据此标识达到排名目的。假设有ID号是1的一个网页，PR值是10，假如它产生了到ID=3，ID=6，ID=8 ，ID=9这4个网页的链接。那么可以理解为ID=1的网页向ID=3，6，8，9的4个网页各贡献了2.5的PR值。如果想求任意一个网页假设其ID=3的PR值，需要得到所有的其他...
分类：
编程语言 时间：
2015-08-12 21:41:02
阅读次数：
165
简单解释 MapReduce 算法
一个有趣的例子
你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？
MapReduce方法则是：
给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你你把所有玩家告诉你的数字加起来，得到最后的结论
拆分
MapReduce合并了两种经典函数：
映射（M...
分类：
其他好文 时间：
2015-08-12 16:55:09
阅读次数：
763
前言：
Mapreduce框架就是map->reduce,其中Map中的是偏移量和行值，在其之前会使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。本例子中使用的是TextInputFormat，他提供的RecordReder会将文本的一行的行号...
分类：
编程语言 时间：
2015-08-07 20:18:16
阅读次数：
212
