关于MemStore的补充
在通过HStore.add向store中添加一个kv时，首先把数据写入到memstore中。这一点没有什么说明；
publiclongadd(finalKeyValue
kv) {
lock.readLock().lock();
try{
returnthis.memstore.add(kv);
}finally{
lock.readLock().un...
分类：
其他好文 时间：
2014-05-12 14:14:38
阅读次数：
340
Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程
工作流程 ：
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件，可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类：
编程语言 时间：
2014-05-11 14:46:35
阅读次数：
519
#pragma pack (n) /*指定按n字节对齐*/ 不写这句默认n =8
设真正的对齐长度为m字节
如果n>结构体中数据类型（包括类类型）长度最大的数据类型长度，m = 结构体中最大数据类型长度
否则 m = n
总之，真正的对齐长度m为指定对齐长度n与结构体中最大类型长度中的较小值。
规则：
1. 结构体变量的首地址能够被m所整除；
2. 结构体每个...
分类：
其他好文 时间：
2014-05-11 13:32:36
阅读次数：
299
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器，允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的， Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类：
其他好文 时间：
2014-05-11 13:05:57
阅读次数：
393
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
作者余凯，百度技术副总监，千人计划国家特聘专家。贾磊，百度主任架构师，语音技术负责人。陈雨强，百度商务搜索部资深研发工程师，负责搜索广告 CTR 预估
摘要：深度学习带来了机器学习的新浪潮，推动“大数据＋深度模型”时代的来临，以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度...
分类：
其他好文 时间：
2014-05-11 07:27:45
阅读次数：
389
HFileV2文件
HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。
文件格式通过hfile.format.version配置。默认为2，也只有2这个值在0.96可用。
可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding,
可配置值：NONE,PREFIX,DIFF,FAST_DIFF,PREF...
分类：
其他好文 时间：
2014-05-11 02:57:42
阅读次数：
589
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类：
其他好文 时间：
2014-05-11 01:07:23
阅读次数：
298
在看这一章之前，建议大家先去看一下snapshot的使用。可能有人会有疑问为什么要做Snapshot，hdfs不是自带了3个备份吗，这是个很大的误区，要知道hdfs的3个备份是用于防止网络传输中的失败或者别的异常情况导致数据块丢失或者不正确，它不能避免人为的删除数据导致的后果。它就想是给数据库做.....
分类：
其他好文 时间：
2014-05-10 23:14:45
阅读次数：
519
首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
