基本概念Nested loop join：Outer table中的每一行与inner
table中的相应记录join，类似一个嵌套的循环。Sort merge join：将两个表排序，然后再进行join。Hash
join：将两个表中较小的一个在内存中构造一个Hash 表（对Join Key），扫...
分类：
数据库 时间：
2014-05-12 14:42:33
阅读次数：
404
Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类：
数据库 时间：
2014-05-12 11:45:03
阅读次数：
457
在上一篇T-SQL之JOIN关键字详解我对JOIN关键字做了简单的剖析。那么在实际应用中根据需求，多表之间的JOIN是在所难免的。下面就我在项目中遇到过的关于JOIN关键字的使用的相关经历再一次做下自我总结，以备日后回顾和查看。先来看用于此次总结用的数据库表间关系,如下所示：现在开始我们的需求,要找...
分类：
数据库 时间：
2014-05-12 08:34:12
阅读次数：
419
Hadoop集群（第9期）_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类：
其他好文 时间：
2014-05-11 16:02:24
阅读次数：
538
Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程
工作流程 ：
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件，可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类：
编程语言 时间：
2014-05-11 14:46:35
阅读次数：
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器，允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的， Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类：
其他好文 时间：
2014-05-11 13:05:57
阅读次数：
393
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类：
其他好文 时间：
2014-05-11 01:07:23
阅读次数：
298
首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
java多线程操作函数，join、interupt、setDaemon...
分类：
编程语言 时间：
2014-05-10 03:53:22
阅读次数：
374
