hive 数据迁移

时间：2015-08-27 19:27:52 阅读：175 评论：0 收藏：0 [点我收藏+]

标签：

1. 设置默认需要导出的hive数据库

vi ~/.hiverc

use logbase;

2. 创建数据临时目录

hdfs dfs -mkdir /tmp/hive-export
3.生成导出数据脚本

hive -e "show tables " | awk ‘{printf "export table %s to @/tmp/hive-export/%s@;\n",$1,$1}‘ | sed "s/@/‘/g" > export.hql

手工去掉第一行(因为第一行是tab_name,不是实际表）
4.手工导出数据到hdfs

hive -f export.hql
5. 下载hdfs数据到本地并传送到目标hadoop集群的/tmp/hive-export 目录
hdfs dfs -get /tmp/hive-export/*
hdfs dfs -put * /tmp/hive-export

7.构造导入语句

cp export.sql import.sql

sed -i ‘s/export table/import table/g‘ import.sql

参考官网：

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport

标签：

原文地址：http://my.oschina.net/u/2438020/blog/498237

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行