1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用 ...
分类:
其他好文 时间:
2016-06-27 10:19:17
阅读次数:
179
1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i5 ...
分类:
系统相关 时间:
2016-06-27 10:18:34
阅读次数:
204
1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/ 1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一步:双击"msi"安装 ...
分类:
数据库 时间:
2016-06-27 10:17:26
阅读次数:
337
1.一定要找应用侧确认每台节点上需要监控的进程,不要盲目以为所有hadoop集群的zk、journal啥的都一样,切记! 2.被监控节点只需要安装nagios-plugin和nrpe,依赖需要安装xinetd 3.确认被监控节点上没有安装过nagios 4.确认被监控节点间、被监控节点和nagios ...
分类:
移动开发 时间:
2016-06-20 18:42:40
阅读次数:
195
配置集群方案 Ubuntu下的配置apache虚拟主机方案: 对其中的Master节点配置虚拟主机,可以通过Chrome浏览器访问目录。 安装虚拟主机之前,先安装Apache2 再安装php5 然后,进入 /etc/apache2/sites-available文件夹,添加”*.conf”文件 往该 ...
分类:
其他好文 时间:
2016-06-12 20:36:13
阅读次数:
862
1 安装版本 搭建Hadoop2.4.0版本,基于Ubuntu12.04 x86_64、jdk1.7.0_79 2 参考文献: 1)可靠安装文档http://www.aboutyun.com/thread-7684-1-1.html 2)官方安装文档http://hadoop.apache.org/ ...
分类:
其他好文 时间:
2016-06-06 10:24:59
阅读次数:
177
7 YARN安装过程 在安装HDFS的基础上安装YARN 1)修改mapred-site.xml文件,配置MapReduce 2)修改yarn-env.sh 修改JAVA_HOME值(export JAVA_HOME=/usr/local/java/jdk1.7.0_79) 3)修改yarn-sit ...
分类:
其他好文 时间:
2016-06-06 10:20:30
阅读次数:
162
6 HDFS安装过程 1)解压安装包 如果不是使用root用户解压,建议使用chown修改文件夹属性(比如当前用户为xiaoming) 如果集群是64位操作系统,需要替换lib/native文件夹,否则会出现警告提示 2)修改配置文件 主要涉及的配置文件有7个: 分两步安装,首先配置HDFS,然后配 ...
分类:
其他好文 时间:
2016-06-06 10:18:42
阅读次数:
156
文章出自http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.html Hadoop集群(第3期)_VSFTP安装配置 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Se ...
分类:
系统相关 时间:
2016-06-03 14:23:01
阅读次数:
211
在windows下开发hadoop一直正常,但把hadoop集群升级到2.0版本以上,在eclipse下执行程序会报打不到winutils.exe的错误,这是因为hadoop2.2没有发布winutils.exe造成的。本文讲解如何在windows下开发hadoop 2程序 一、winutils的w ...