转载请注明原地址，谢谢！ 本文目的是教大家配置Hadoop的完全分布式的集群，除了完全分布式还有两种分别是单节点和伪分布式部署。伪分布式只需要一台虚拟机，配置的东西也相对较少，大多用作代码调试，大家稍微查阅资料，或者对我的配置进行一些删减，就可以实现伪分布式，所以我这里还是使用完全分布式，开了三台虚 ...
分类：
其他好文 时间：
2016-03-29 14:32:55
阅读次数：
131
最近项目研究大数据，即开始研究hadoop，主要参考以下几篇文章： 1.微信一篇hadoop的配置文章，我用的是mac，因此是一个all in one的配置，既不是分布式，也不是伪分布式，这点需要改进和学习 2.了解hadoop的map和reduce的过程 3.运行wordcount，先是用自带的统 ...
分类：
其他好文 时间：
2016-03-24 06:32:34
阅读次数：
193
Hadoop的安装模式分为三种:单机模式、伪分布模式、全分布模式 单机模式，这是默认的安装模式，也是占用资源最少的模式，配置文件不用修改。完全运行在本地，不与其他节点交互，也不使用Hadoop文件系统，不加载任何守护进程，主要用于开发调试MapReduce应用程序。 伪分布模式，即单节点集群模式，所
分类：
其他好文 时间：
2016-03-20 21:32:24
阅读次数：
226
CentOS 6.5 伪分布式 安装 hadoop 2.6.0
分类：
其他好文 时间：
2016-03-19 16:13:16
阅读次数：
213
伪分布hadoop 安装总结 准备，在配置中hadoop用的9000端口，如果有其它软件用着这个端口，建议更换后再进行下面配置，以避免出现错误。比如php-fpm经常使用9000端口。 一、下载jdk下载linux 64 8u73-64位版本tar zxvf jdk-8u74-linux-x64.t
分类：
其他好文 时间：
2016-03-18 15:57:21
阅读次数：
234
【项目愿景】系统基于智能爬虫方向对数据由原来的被动整理到未来的主动进攻的转变的背景下，将赋予”爬虫”自我认知能力，去主动寻找”进攻”目标。取代人工复杂而又单调的重复性工作。能够实现在人工智能领域的某一方向上独当一面的作用。 【项目进展】项目一期基本实现框架搭建，对数据的处理和简单爬取任务实现。 【项
分类：
其他好文 时间：
2016-03-11 10:12:38
阅读次数：
127
1、准备三台机器，master、slave01、slave02 1.1 最小化安装centos6.5 1.2 安装ssh，yum -y install openssh-clients 1.3 三台机器上创建hadoop用户组及hadoop用户 groupadd hadoop 添加一个组 userad
分类：
其他好文 时间：
2016-03-07 19:18:32
阅读次数：
137
安装准备： (1)hadoop安装包：hadoop-1.2.1.tar.gz (2)jdk安装包：jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包。 安装： (1)能够选择一个新建用户安装
分类：
系统相关 时间：
2016-03-01 22:23:55
阅读次数：
221
需要下载的软件： 1.hadoop-2.6.4.tar.gz 下载网址：http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址：http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop
分类：
系统相关 时间：
2016-02-28 00:48:32
阅读次数：
390
