码迷,mamicode.com
首页 > 其他好文 > 详细

【甘道夫】通过bulk load将HDFS上的数据导入HBase

时间:2014-11-04 19:48:20      阅读:283      评论:0      收藏:0      [点我收藏+]

标签:style   color   ar   使用   sp   strong   文件   数据   div   

引言
通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能,下面简单记录下关键步骤。
bulkload的详细情况请参见官网文档。

过程
  • 第一步:每台机器执行
ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml

  • 第二步:编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh,拷贝到所有节点
末尾添加:
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/lib/*:$ZOOKEEPER_HOME/zookeeper-3.4.6.jar

  • 第三步:生成HFile文件
hadoop jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.2.0.jar importtsv -Dimporttsv.columns=${hbase_columns}  -Dimporttsv.bulk.output=${hfile_path} ${hbase_table} ${source_data_path}

注意:
  1. ${hbase_columns}顺序列出了导入HBase后的每一列,格式【列族:限定符】。列的顺序需和${source_data_path}数据中的字段顺序匹配。计划作为rowkey的字段使用HBASE_ROW_KEY,例如“HBASE_ROW_KEY,SERVICE_INFO:ID,SERVICE_INFO:RRANK,SERVICE_INFO:SERVICE_CODE”
  2. bulkload会自动创建${hfile_path},只需指定,无需事先创建;
  3. ${hbase_table}可以带上namespace,例如"JILIN_SME_SP_RECS:SP_T_RE_GUL_SERVICE"
  4. ${source_data_path}这里我们使用的是一个hive的外部表数据目录。
  • 第四步:导入数据到HBase
hadoop jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.2.0.jar completebulkload ${hfile_path} ${hbase_table}

【甘道夫】通过bulk load将HDFS上的数据导入HBase

标签:style   color   ar   使用   sp   strong   文件   数据   div   

原文地址:http://blog.csdn.net/u010967382/article/details/40788415

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!