y欢迎转载，转载请注明出处，徽沪一郎。概要“spark已经比较头痛了，还要将其运行在yarn上，yarn是什么，我一点概念都没有哎，再怎么办啊。不要跟我讲什么原理了，能不能直接告诉我怎么将spark在yarn上面跑起来，I'm a dummy, just told me how to do it.”...
分类：
其他好文 时间：
2014-07-07 14:23:52
阅读次数：
278
欢迎转载，转载请注明出处，徽沪一郎。概要Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部...
分类：
其他好文 时间：
2014-07-07 14:18:32
阅读次数：
297
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。...
分类：
其他好文 时间：
2014-07-01 08:17:24
阅读次数：
576
从应用角度，有两点比较重要：
1. HBase中RowKey是按照字典序排列的
2. 不同Column Family的数据，在物理上是分开的...
分类：
其他好文 时间：
2014-07-01 06:43:31
阅读次数：
203
2.1. 切换到源代码目录，执行:mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911黄色部分作用为设置代理。由于本人的编译环境在公司内网，所以需要设置代理2.2. 生成eclipse项目...
分类：
系统相关 时间：
2014-06-30 23:05:53
阅读次数：
274
这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。
TwiBase系统
1、背景
为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。
2、需求
这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。
这是一个比...
分类：
其他好文 时间：
2014-06-30 16:32:58
阅读次数：
233
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类：
数据库 时间：
2014-06-30 08:21:16
阅读次数：
356
这篇文章是看了HBase权威指南之后，根据上面的讲解搬下来的例子，这篇文章将讲解两个例子，和HBase权威指南稍微有些不一样。
1、读取存储在hdfs上的txt文本数据，简单地以json字符串的形式写入到HBase表中。
2、将第一步存储的HBase表中的json字符串读取出来，解析存储到新的HBase表中，可以进行查询。
本文详细给出了源码以及如何运行，旨在加深HBase与mapreduc...
分类：
其他好文 时间：
2014-06-29 23:21:21
阅读次数：
340
packagecom.yuhui.gd.hadoop.hbase;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.util.Set;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.ap..
分类：
编程语言 时间：
2014-06-29 21:09:00
阅读次数：
453
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的.....
分类：
其他好文 时间：
2014-06-29 19:20:17
阅读次数：
252
