简介：HStore存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个Stor...
分类：
其他好文 时间：
2015-01-13 17:42:11
阅读次数：
274
如果想要在两个进程之间进行传输数据，共享内存是其中一个方法。当然个人觉得，共享内存主要的还是用来节约内存。首先使用下面的函数创建一个新的文件映射内核对象HANDLE CreateFileMapping( HANDLE hFile, //物理文件句柄 LPSECURITY_ATTRIB...
分类：
其他好文 时间：
2014-12-16 18:45:55
阅读次数：
163
#include #include #include #include using namespace std;int main(int argc, char *argv[]){ // 步骤1 打开文件FILE_FLAG_WRITE_THROUGH HANDLE hFile = Cre...
读取文件： HANDLE hFile ; // 声明文件操作内核对象句柄 hFile = CreateFile("1.txt", GENERIC_READ, 0, NULL, OPEN_EXISTING, FILE_ATTRI...
我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。简单介绍一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到相应的HBa...
分类：
其他好文 时间：
2014-10-28 15:08:05
阅读次数：
273
MemStore简介：上图为HBase的读写过程的大概描述；写请求过程：client---------->WAL(WriteAheadLOG)----------->MemStore------------->HFile--------->END读请求过程：client---------->MemStore-------->BlockCache------->HFile------------>ENDMe..
分类：
其他好文 时间：
2014-10-18 18:32:25
阅读次数：
310
我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。
简介一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到对应的HBase表中。
ps：请注意（1）HFile方式是所有的加载方案里面是最快的，前提是：数据必须第一个导...
分类：
其他好文 时间：
2014-10-16 20:16:53
阅读次数：
283
CreateFileMapping的MSDN翻译和使用心得 測试创建和打开文件映射的时候老是得到"句柄无效"的错误, 细致看了MSDN以后才发觉是函数认识不透, 这里把相关的解释翻译出来HANDLE CreateFileMapping( HANDLE hFile, //物理文件句柄 LPSECURI...
分类：
移动开发 时间：
2014-10-05 18:51:58
阅读次数：
317
CreateFileMapping的MSDN翻译和使用心得 測试创建和打开文件映射的时候老是得到"句柄无效"的错误, 细致看了MSDN以后才发觉是函数认识不透, 这里把相关的解释翻译出来HANDLE CreateFileMapping( HANDLE hFile, //物理文件句柄 LPSECURI...
分类：
移动开发 时间：
2014-09-27 20:35:00
阅读次数：
267
