码迷,mamicode.com
首页 > 其他好文 > 详细

(一)Sqoop搭建

时间:2020-06-26 16:25:56      阅读:66      评论:0      收藏:0      [点我收藏+]

标签:基础上   base   hadoop   dir   pgm   cto   远程   strong   zook   

一.集群规划

Name Master Slave1 Slave2
IP 192.168.2.98 192.168.2.99 192.168.2.100
Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171
Zookeeper版本 3.4.10 3.4.10 3.4.10
Hadoop版本 2.7.3 2.7.3 2.7.3
Hbase版本 1.2.4 1.2.4 1.2.4
Hive版本 2.1.1(客户端) 2.1.1(服务端)
Sqoop版本 1.4.7

二.搭建Sqoop

 在已完成此配置的基础上执行以下。tar包链接: https://pan.baidu.com/s/1hwLPI0eUwkpGmP5ROqM6Lw 提取码: k7m3

 安装之前得先搭建Zookeeper全分布式Hadoop全分布式Hbase全分布式Hive远程模式

主节点Master上执行
#
mkdir /usr/sqoop 建立目录 # tar -zxvf /opt/soft/sqoop-1.4.7.bin.tar.gz -C /usr/sqoop/ 解压目录 # cp /opt/soft/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.7.bin/lib/ 拷贝 # vim /etc/profile 添加Sqoop环境变量 – 保存退出 export SQOOP_HOME=/usr/sqoop/sqoop-1.4.7.bin export PATH=$PATH:$SQOOP_HOME/bin # source /etc/profile # sqoop version 验证有sqoop版本则通过 # cd /usr/sqoop/sqoop-1.4.7.bin/conf/ 进入 # cp sqoop-env-template.sh sqoop-env.sh & vim sqoop-env.sh 复制并进入修改hadoop(两项)\hbase\hive\zookepper五个路径 export HADOOP _COMMON_HOME=/usr/hadoop/hadoop-2.7.3 export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3 export HBASE_HOME=/usr/hbase/hbase-1.2.4 export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10 # 测试sqoop连接MySQL有提示则输MySQL之前设置的密码 # sqoop list-databases --connect jdbc:mysql://slave2:3306/ --username root -P 语句

技术图片

(一)Sqoop搭建

标签:基础上   base   hadoop   dir   pgm   cto   远程   strong   zook   

原文地址:https://www.cnblogs.com/Agent9527/p/13195068.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!