Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类：
数据库 时间：
2014-05-12 11:45:03
阅读次数：
457
Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程
工作流程 ：
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件，可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类：
编程语言 时间：
2014-05-11 14:46:35
阅读次数：
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器，允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的， Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类：
其他好文 时间：
2014-05-11 13:05:57
阅读次数：
393
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
（1）Frame与窗口事件
1.Window、Frame、Dialog和FileDialog都属于有边框容器，他们的父类为Window,但是Window本身属于无边框的，算是有边框容器的一个例外。
2.Frame可以作为一个Application的最外层容器，也可以被其他容器创建并弹出成为独立的.....
分类：
编程语言 时间：
2014-05-11 05:15:43
阅读次数：
421
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类：
其他好文 时间：
2014-05-11 01:07:23
阅读次数：
298
首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
在Java开发中通常我们会存储配置参数信息到属性文件，这样的属性文件可以是拥有键值对的属性文件，也可以是XML文件，关于XML文件的操作，请参考博文【Java编程】DOM XML Parser 解析、遍历、创建XML。在该篇博文中，我将展示如何向属性文件写入键值对，如何读取属性文件中的键值对，如何遍历属性文件。
1、向属性文件中写入键值对
Properties类调用setPrope...
分类：
编程语言 时间：
2014-05-10 04:44:32
阅读次数：
402
一、 概念知识介绍
Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，可以使没有并行 处理或者分布式计算经验的工程师，也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。
Hadoop MapReduce基于“分而治之”的思想，将计算任务...
分类：
其他好文 时间：
2014-05-10 04:39:09
阅读次数：
570
声明: 若要转载, 请标明出处.
前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.
引用:
一、这种方式有很多的优点：
1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk...
分类：
其他好文 时间：
2014-05-10 04:33:38
阅读次数：
513
