码迷,mamicode.com
首页 > 其他好文 > 详细

HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑

时间:2015-08-04 19:26:57      阅读:115      评论:0      收藏:0      [点我收藏+]

标签:王扬庭   那伊抹微笑   妳那伊抹微笑   hbase   mapreduce   

博文作者:那伊抹微笑
csdn 博客地址:http://blog.csdn.net/u012185296
itdog8 地址链接 : http://www.itdog8.com/thread-202-1-1.html
博文标题:HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑
个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在
技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术
转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!
qq交流群:214293307  技术分享(期待与你一起学习,共同进步)



1 三种访问模式
HBase 作为输入源:输入源是 HBase,输出源可以使 RDBMS、HDFS 或其他 NoSQL。多用于统计现有 HBase 中的相关数据,将结果输出到非 HBase 存储中。
HBase 作为输出源:与 HBase 作为输入正好相反。输入是其它非 HBase 存储,例如 RDBMS、HDFS等,输出到 HBase。常用于数据迁移,从传统存储迁移到 HBase。
HBase 作为共享源:输入和输出源都是 HBase。常用于丹数据已经存储在HBase 中,中间结果处理后仍需要使用 HBase 作为存储的处理场景。比如:特殊业务列的更新

2 实现 MapReduce API(HBase 自带,方便用户开发)
-----------------------------------
-------
--
-DML 命令列表-----------------------------------------------------------
类名
类作用解释
TableInputFormat
将 HBase 中的表格式数据格式化为 MapReduce 可读的格式
TableOutputFormat
将 MapReduce 格式数据转化为 HBase 表格式数据
MultiTableInputFormat
将多个 HBase 中的表格式数据格式化为 MapReduce 可读的格式
MultiTableOutputFormat
将 MapReduce 格式数据转化到多个 HBase 表中
TableMapper
扩展自 Mapper 类,所有以 HBase 作为输入源的 Mapper 类需要继承该类
TableReducer
扩展自 Reudcer 类,所有以 HBase 作为输出源的 Reducer 类需要继承该类
TableMapReduceUtil
设置 TableMapper 和 TableReducer 的工具类
CellCounter
计算表中单元格数据量的任务
RowCounter
计算表中行键数据量的任务


版权声明:本文为博主原创文章,未经博主允许不得转载。

HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑

标签:王扬庭   那伊抹微笑   妳那伊抹微笑   hbase   mapreduce   

原文地址:http://blog.csdn.net/u012185296/article/details/47279359

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!