码迷，mamicode.com
首页 > 其他好文 > 详细

CDH安装指南——酒仙网技术

时间：2016-06-12 12:11:07      阅读：366      评论：0      收藏：0      [点我收藏+]

标签：

1、集群规划

    说明：由于CDH管理集群很方便，可以动态添加删除主机，动态改变主机主机上的服务，动态监控服务状态；

    1）、主机准备：windows宿主机或linux桌面版宿主机或苹果宿主机（本人使用的debian+xfce桌面作为自己的宿主机）

    2）、虚拟机软件准备：使用VMware Workstation12 pro   

        技术分享

    3）、虚拟机系统：centos 6.5

    4）、机器规划：hadoopmaster、hadoopslave01、hadoopslave02、hadoopslave（作为基础镜像使用）

        例如：技术分享

        注意：所有的虚拟机的账号密码都是统一的，意思就是说分布式看成一个主机

    5）、hadooopmaster 运行 Cloudera Manager

2、资源准备：

    1）、下载postgresql分别：http://yum.postgresql.org/8.4/redhat/rhel-6-x86_64/repoview/

        postgresql84-8.4.22-1PGDG.rhel6.x86_64.rpm  

        postgresql84-libs-8.4.22-1PGDG.rhel6.x86_64.rpm  

        postgresql84-server-8.4.22-1PGDG.rhel6.x86_64.rpm

    2）、下载最新版本的cm资源包压缩包：http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.7.1/   

        技术分享

        注意：根据自己的虚拟机下载对应版本的cm，注意cm一定要是最新版本；

    3）、下载最新版本的cm安装包程序：http://archive.cloudera.com/cm5/installer/latest/

        技术分享

    4）、安装hadoop、hivingsql、hbase等分布式生态系统软件：http://archive.cloudera.com/cdh5/parcels/5.7.1/

        技术分享

        技术分享

        注意：分别下载截图中的文件

3、虚拟机配置所有的机器都需要的配置

    1）、修改主机名：vi /etc/sysconfig/network        

  1. NETWORKING=yes
  2. HOSTNAME=hadoopmaster

    2）、修改hosts文件：vi /etc/hosts

  1. #host
  2. 192.168.240.129 hadoopmaster
  3. 192.168.240.130 hadoopslave01
  4. 192.168.240.134 hadoopslave02
  5. #192.168.240.129 archive.cloudera.com

    3）、设置固定IP，根据自己的需求设置：vi /etc/sysconfig/network-scripts/ifcfg-eth0

  1. DEVICE="eth1"
  2. BOOTPROTO="static"
  3. HWADDR="00:50:56:34:61:2E"
  4. IPV6INIT="yes"
  5. NM_CONTROLLED="yes"
  6. ONBOOT="yes"
  7. TYPE="Ethernet"
  8. #UUID="6d6002f2-4f52-49ef-bb07-e2b54637cafb"
  9. IPADDR=192.168.240.134
  10. NETMASK=255.255.255.0
  11. GATEWAY=192.168.240.2
  12. DNS1=192.168.240.2

    4）、重启网络服务：service network restart

4、关机防火墙 和 SELinux

    1）、关闭防火墙

        service iptables stop    （临时关闭防火墙）

        chkconfig iptables off    （重启后生效）

    2）、关闭SELinux

        setenforce 0 （临时设置selinux）

        vi /etc/selinux/config

  1. # This file controls the state of SELinux on the system.
  2. # SELINUX= can take one of these three values:
  3. #     enforcing - SELinux security policy is enforced.
  4. #     permissive - SELinux prints warnings instead of enforcing.
  5. #     disabled - No SELinux policy is loaded.
  6. SELINUX=disabled
  7. # SELINUXTYPE= can take one of these two values:
  8. #     targeted - Targeted processes are protected,
  9. #     mls - Multi Level Security protection.
  10. SELINUXTYPE=targeted

5、集群间服务器使用无密码ssh登陆，再次提醒各个集群中的主机最好使用统一的账号密码

    1）、hadoopmaster主机

  1. ssh-keygen -t rsa (一直按回车即可)
  2. ssh-copy-id -i localhost
  3. ssh-copy-id -i hadoopmaster
  4. ssh-copy-id -i hadoopslave01
  5. ssh-copy-id -i hadoopslave02

    2）、hadoopslave01主机

  1. ssh-keygen -t rsa (一直按回车即可)
  2. ssh-copy-id -i localhost
  3. ssh-copy-id -i hadoopmaster
  4. ssh-copy-id -i hadoopslave01

    3）、hadoopslave02主机

  1. ssh-keygen -t rsa (一直按回车即可)
  2. ssh-copy-id -i localhost
  3. ssh-copy-id -i hadoopmaster
  4. ssh-copy-id -i hadoopslave02

6、建立cm资源服务器——安装Apache httpd web服务器

    1）、检查httpd服务是否安装：service httpd status

        如果没有安装：yum install -y httpd

  1. yum install -y httpd #安装httpd
  2. service httpd start	#启动命令
  3. service httpd stop	#关闭命令
  4. service httpd restart	#重启命令
  5. service httpd status	#查看服务状态
  6. chkconfig httpd on	#将httpd加入到启动列表

7、选择hadoopmaster作为cm的资源服务器发布cm

  1. [root@localhost hadoopmaster]# pwd
  2. /home/hadoop/hadoopmaster
  3. [root@localhost hadoopmaster]# ll
  4. total 529076
  5. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.7.1-centos6.tar.gz
  6. [root@localhost hadoopmaster]# tar -zxvf cm5.7.1-centos6.tar.gz 
  7. cm/
  8. cm/hadoopmaster-manager.repo
  9. cm/5
  10. cm/5.7.1/
  11. cm/5.7.1/mirrors
  12. cm/5.7.1/repodata/
  13. cm/5.7.1/repodata/other.xml.gz.asc
  14. cm/5.7.1/repodata/filelists.xml.gz
  15. cm/5.7.1/repodata/primary.xml.gz.asc
  16. cm/5.7.1/repodata/repomd.xml
  17. cm/5.7.1/repodata/other.xml.gz
  18. cm/5.7.1/repodata/repomd.xml.asc
  19. cm/5.7.1/repodata/primary.xml.gz
  20. cm/5.7.1/repodata/filelists.xml.gz.asc
  21. cm/5.7.1/RPMS/
  22. cm/5.7.1/RPMS/x86_64/
  23. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-daemons-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  24. cm/5.7.1/RPMS/x86_64/enterprise-debuginfo-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  25. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-server-db-2-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  26. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-server-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  27. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-agent-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  28. cm/5.7.1/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update45-1.x86_64.rpm
  29. cm/5.7.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
  30. cm/5.7.1/RPMS/noarch/
  31. cm/RPM-GPG-KEY-hadoopmaster
  32. [root@localhost hadoopmaster]# ll
  33. total 529080
  34. drwxrwxr-x. 3 1106  592      4096 Jun 11 11:08 cm
  35. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.7.1-centos6.tar.gz
  36. [root@localhost hadoopmaster]#

        ——移动加压后的cm文件夹到web目录，并设置权限

  1. [root@localhost html]# pwd
  2. /var/www/html
  3. [root@localhost html]# mkdir -p cm5/redhat/6/x86_64
  4. [root@localhost html]# cd cm5/redhat/6/x86_64
  5. [root@localhost x86_64]# mv /home/soft/cloudera/cm .
  6. [root@localhost x86_64]# chmod -R ugo+rX cm

       ——设置完成后访问下地址：http://hadoopmaster/cm5/redhat/6/x86_64/cm/


8、安装Cloudera Manager 5

    1）、安装postgresql

        是否安装postgresql：rpm -qa|grep postgres，如果已经安装，但版本小于8.4，则使用rpm -e卸载。

  1. [root@localhost postgresql84]# rpm -ivh postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm
  2. warning: postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
  3. Preparing...                ########################################### [100%]
  4.    1:postgresql84-libs      ########################################### [100%]
  5. [root@localhost postgresql84]# rpm -ivh postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm 
  6. warning: postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
  7. Preparing...                ########################################### [100%]
  8.    1:postgresql84           ########################################### [100%]
  9. [root@localhost postgresql84]# rpm -ivh postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm 
  10. warning: postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
  11. Preparing...                ########################################### [100%]
  12.    1:postgresql84-server    ########################################### [100%]
  13. [root@localhost postgresql84]#

    2）、修改安装cm的客户端的配置

        cd /etc/yum.repos.d/

        mv /etc/yum.repos.d/Centos-* /home/hadoop/soft/

        vi /etc/yum.repos.d/myrepo.repo

  1. [myrepo]
  2. name=myrepo
  3. baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
  4. enabled=1
  5. gpgcheck=0

        vi /etc/hosts

  1. #host
  2. 192.168.240.129 hadoopmaster
  3. 192.168.240.130 hadoopslave01
  4. 192.168.240.134 hadoopslave02
  5. 192.168.240.129 archive.cloudera.com

    3）、安装CM5

  1. [root@localhost cloudera]# chmod +x cloudera-manager-installer.bin
  2. [root@localhost cloudera]# ./cloudera-manager-installer.bin

        注意：查看安装过程日志：/var/log/cloudera-manager-installer/

    4）、安装过程中截图     

        a、安装过程比较漫长，耐心等地

        技术分享

        b、安装完成，查看安装地址：http://192.168.240.134:7180/

        技术分享

        c、登陆界面，默认账号：admin 密码：admin

        技术分享

        d、同意条款

        技术分享

        e、选择免费版——cloudera manager express

        技术分享

        f、设置ip端，例如：192.168.240.[1-255] ，然后点击搜索    

        技术分享

        g、选择主机节点

        技术分享

9、集群安装hadoop、hivingsql、hbase、spark、storm等，即CDH

    1）、安装cdh

        a、集群安装

        技术分享

        b、使用”更多选项“使用”本地 Parcel 存储库路径“，位置：/opt/cloudera/parcel-repo        

        技术分享

       技术分享

        注意（每台机器执行）：yum install -y portmap python-psycopg2 cyrus-sasl-gssapi mod_ssl openssl-devel MySQL-python


         1）、将前面下载的CDH parcels文件放到 /opt/cloudera/parcel-repo 目录下

  1. [root@hadoopmaster parcel-repo]# mv /home/hadoop/Documents/parcel/* ./
  2. [root@hadoopmaster parcel-repo]# ls
  3. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel       manifest.json
  4. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

        2）、生成对应的sha文件

            manifest.json 文件中按照版本“CDH-5.7.1-1.cdh5.7.1.p0.53-el6.parcel” -（根据自己的版本选定） 找到对应的 hash值  

        "hash": "67fc4c86b260eeba15c339f1ec6be3b59b4ebe30"

        3）、hash值保存在sha文件中

        echo '67fc4c86b260eeba15c339f1ec6be3b59b4ebe30'>CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha 根据自己的版本定

  1. [root@hadoopmaster parcel-repo]# ls
  2. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel       manifest.json
  3. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
  4. [root@hadoopmaster parcel-repo]# echo 'e24f56882ecdcf6837636abc8298c629c0f9d109' > CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

    2）、验证

        根据自己的使用情况进行验证；

        技术分享



文章摘自： http://blog.csdn.net/feixeyes/article/details/38084403

                    http://blog.csdn.net/yhl27/article/details/37726639








CDH安装指南——酒仙网技术

标签：

原文地址：http://www.cnblogs.com/linuxone/p/5577035.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！