HBase ShellHBase shell使用起来最方便，进入HBase shell控制台就可以使用。$ $HBASE_HOME/bin/hbase shell常见操作有create(创建表)/put(插入或更新数据)/get(依据rowkey查询)/scan(范围查询)/delete(删除列)/...
分类：
编程语言 时间：
2014-10-18 20:52:22
阅读次数：
241
MemStore简介：上图为HBase的读写过程的大概描述；写请求过程：client---------->WAL(WriteAheadLOG)----------->MemStore------------->HFile--------->END读请求过程：client---------->MemStore-------->BlockCache------->HFile------------>ENDMe..
分类：
其他好文 时间：
2014-10-18 18:32:25
阅读次数：
310
最近两天给一个项目搭建linux下的大数据处理环境，系统是CentOS 6.3。主要是配置JDK，安装Tomcat，Hadoop、HBase和Zookeeper软件，本人在Hadoop这方面也是新手，配置这个环境遇到过许多问题，查了许多资料，这里做一个总结，以便日后回顾。
首先是账户权限的修改，安装软件环境需要上传文件和一些系统文件的修改权限，所以最好设置成root权限
权限修改方法：http...
分类：
其他好文 时间：
2014-10-17 22:03:55
阅读次数：
225
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionS...
分类：
其他好文 时间：
2014-10-17 18:30:05
阅读次数：
248
一、基本介绍 1、FilterList代表一个过滤器列表 FilterList.Operator.MUST_PASS_ALL --> 取交集 相当一and操作 FilterList.Operator.MUST_PASS_ONE --> 取并集 相当于or 操...
分类：
其他好文 时间：
2014-10-16 22:31:13
阅读次数：
293
我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。
简介一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到对应的HBase表中。
ps：请注意（1）HFile方式是所有的加载方案里面是最快的，前提是：数据必须第一个导...
分类：
其他好文 时间：
2014-10-16 20:16:53
阅读次数：
283
hadoop jar hbase-server-0.98.1-cdh5.1.3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:imsi,cf:imei -Dimporttsv.bulk.output=/user/libc/tmp1 -Dimpo...
分类：
其他好文 时间：
2014-10-16 01:06:01
阅读次数：
274
环境说明：os版本：rhel5.764位hadoop版本：hadoop-0.20.2hbase版本：hbase-0.90.5pig版本：pig-0.9.2访问日志文件，下载文章中的附件！日志放在本地目录路径为：/home/hadoop/access_log.txt日志格式为：220.181.108.151--[31/Jan/2012:00:02:32+0800]"GET/home.php?mod=space..
分类：
数据库 时间：
2014-10-14 21:26:39
阅读次数：
392
将手机上网日志文件批量导入到Hbase中，操作步骤：
1、将日志文件(请下载附件)上传到HDFS中，利用hadoop的操作命令上传：hadoop fs -put input /
2、创建Hbase表，通过Java操作
Java代码
package com.jiewen.hbase; import java.io.IOException;...
分类：
编程语言 时间：
2014-10-14 16:27:40
阅读次数：
367
1：从HBase集群中复制一份Hbase部署文件，放置在开发端某一目录下（如在/app/hadoop/hbase096目录下）。
2：在eclipse里新建一个java项目HBase，然后选择项目属性，在Libraries->Add External JARs...,然后选择/app/hadoop/hbase096/lib下相关的JAR包，如果只是测试用的话，就简单一点，将所有的JAR选上。...
分类：
系统相关 时间：
2014-10-13 19:23:17
阅读次数：
258
