利用CombineFileInputFormat把ntf_data导入到Hbase里...
分类：
其他好文 时间：
2014-05-13 09:02:34
阅读次数：
316
hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
分类：
其他好文 时间：
2014-05-13 05:40:21
阅读次数：
460
安装HBase 0.94.6-cdh4.3.0
设定HBase的配置文件，由于安装的是cdh版，各版本直接匹配，互相依赖的jar包也都正确，只需要配置下hbase的环境变量和配置文件即可。
1.配置hbase-env.sh，添加JAVA_HOME环境变量
[html] view
plaincopy
export JAVA_HOME=/us...
分类：
其他好文 时间：
2014-05-12 22:36:14
阅读次数：
504
关于MemStore的补充
在通过HStore.add向store中添加一个kv时，首先把数据写入到memstore中。这一点没有什么说明；
publiclongadd(finalKeyValue
kv) {
lock.readLock().lock();
try{
returnthis.memstore.add(kv);
}finally{
lock.readLock().un...
分类：
其他好文 时间：
2014-05-12 14:14:38
阅读次数：
340
在看这一章之前，建议大家先去看一下snapshot的使用。这一章是上一章snapshot的续集，上一章了讲了怎么做snapshot的原理，这一章就怎么从snapshot恢复表。restoreSnapshot方法位于HMaster当中，这个方法没几行代码，调用了SnapshotManager的rest...
分类：
其他好文 时间：
2014-05-12 03:59:20
阅读次数：
386
Web应用代理是YARN的一部分. 默认地，它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。
在YARN中，Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行，访问那个web地址的用户会认...
分类：
Web程序 时间：
2014-05-11 20:27:52
阅读次数：
323
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器，允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的， Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类：
其他好文 时间：
2014-05-11 13:05:57
阅读次数：
393
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
HFileV2文件
HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。
文件格式通过hfile.format.version配置。默认为2，也只有2这个值在0.96可用。
可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding,
可配置值：NONE,PREFIX,DIFF,FAST_DIFF,PREF...
分类：
其他好文 时间：
2014-05-11 02:57:42
阅读次数：
589
首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
