、实验环境说明注意：本实验需要按照上一节单机模式部署后继续进行操作1. 环境登录无需密码自动登录，系统用户名 shiyanlou，密码 shiyanlou2. 环境介绍本实验环境采用带桌面的 Ubuntu Linux 环境，实验中会用到桌面上的程序：XfceTerminal：Linux 命令行终端，...
分类：
其他好文 时间：
2015-06-02 14:46:51
阅读次数：
145
集群的概念
计算机集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。
集群系统中的单个计算机通常称为节点，通常通过局域网连接。
集群技术的特点：
1、通过多台计算机完成同一个工作。达到更高的效率
2、两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用
集群模式安装步骤
(在伪分布模式下...
分类：
其他好文 时间：
2015-06-01 22:40:30
阅读次数：
236
概要
本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。
准备
1. spark已经安装完毕
2. spark运行在local mode或local-cluster mode
local-cluster
mode
local-cluster模式也称为伪分布...
分类：
Web程序 时间：
2015-06-01 16:46:52
阅读次数：
143
1、去官网下载zookeeper，我这里用的是3.4.6版本的2、下载完成解压缩到一个目录3、因为是伪分布式，所以我创建了3个服务器文件夹，比如server1,server2,server3。每个服务器文件夹下都创建了data,dataLog,logs目录。然后把解压完成的zookeeper拷贝到每...
分类：
其他好文 时间：
2015-05-29 22:56:32
阅读次数：
222
1.hadoop的伪分布安装1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令....
分类：
其他好文 时间：
2015-05-29 15:21:51
阅读次数：
101
一、安装前准备
CentOS6.5（64bit）
hadoop-2.6.0-64.tar.gz
jdk-7u67-linux-x64.tar.gz
二、安装
1、关闭防火墙和SELinux
service iptables status (查看)
service iptables stop
chkconfig iptables off (永久关闭)
vi /et...
分类：
其他好文 时间：
2015-05-27 22:51:08
阅读次数：
159
1.软件下载:wgethttp://apache.dataguru.cn/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gzwgethttp://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz2.配置安装java:tar-zxvfjdk-7u79-linux-x64.tar.gz-C/usr/localcd/usr/localchown-Rroot./usr..
分类：
其他好文 时间：
2015-05-25 06:14:26
阅读次数：
179
Hadoop1.2.1 单机模式安装Hadoop组件依赖图(从下往上看)安装步骤：详细步骤： 设置ssh自动登录(如下图)： 1、输入命令【ssh-keygen-trsa】，然后一直按回车就可以了 2、然后切换目录到~.ssh目录下执行命令【cpid_rsa.pubauthorized_key...
分类：
其他好文 时间：
2015-05-24 23:08:28
阅读次数：
325
准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh】
下载稳定版2.6.0
修改etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
启动
验证
下面主要配置文件：
core-site.xml：
fs.defau...
分类：
其他好文 时间：
2015-05-23 18:29:52
阅读次数：
215
