粗略算算，从上周五到这周二，折腾Hadoop已经三天了。这三天我是过得诚惶诚恐，作为一个学徒，老大虽然没有说啥，但是我恨不得立马完成这些基本的部署工作，感觉拖了好久好久。简单的总结一下，第一天折腾Hadoop单机和伪分布式的安装，第二天在折腾Hive的安装，以失败告终，第三天折腾HBase的集群安装 ...
分类：
其他好文 时间：
2016-03-29 23:58:21
阅读次数：
374
一、导读 最近开始学习大数据分析，说到大数据分析，就必须提到Hadoop与Spark。要研究大数据分析，就必须安装这两个软件，特此记录一下安装过程。Hadoop使用V2版本，Hadoop有单机、伪分布式、分布式三种部署方案，这里使用分布式部署方案。而Spark有三种部署方案：Standalone, ...
分类：
其他好文 时间：
2016-03-29 16:18:01
阅读次数：
299
转载请注明原地址，谢谢！ 本文目的是教大家配置Hadoop的完全分布式的集群，除了完全分布式还有两种分别是单节点和伪分布式部署。伪分布式只需要一台虚拟机，配置的东西也相对较少，大多用作代码调试，大家稍微查阅资料，或者对我的配置进行一些删减，就可以实现伪分布式，所以我这里还是使用完全分布式，开了三台虚 ...
分类：
其他好文 时间：
2016-03-29 14:32:55
阅读次数：
131
最近项目研究大数据，即开始研究hadoop，主要参考以下几篇文章： 1.微信一篇hadoop的配置文章，我用的是mac，因此是一个all in one的配置，既不是分布式，也不是伪分布式，这点需要改进和学习 2.了解hadoop的map和reduce的过程 3.运行wordcount，先是用自带的统 ...
分类：
其他好文 时间：
2016-03-24 06:32:34
阅读次数：
193
CentOS 6.5 伪分布式 安装 hadoop 2.6.0
分类：
其他好文 时间：
2016-03-19 16:13:16
阅读次数：
213
【项目愿景】系统基于智能爬虫方向对数据由原来的被动整理到未来的主动进攻的转变的背景下，将赋予”爬虫”自我认知能力，去主动寻找”进攻”目标。取代人工复杂而又单调的重复性工作。能够实现在人工智能领域的某一方向上独当一面的作用。 【项目进展】项目一期基本实现框架搭建，对数据的处理和简单爬取任务实现。 【项
分类：
其他好文 时间：
2016-03-11 10:12:38
阅读次数：
127
1、准备三台机器，master、slave01、slave02 1.1 最小化安装centos6.5 1.2 安装ssh，yum -y install openssh-clients 1.3 三台机器上创建hadoop用户组及hadoop用户 groupadd hadoop 添加一个组 userad
分类：
其他好文 时间：
2016-03-07 19:18:32
阅读次数：
137
安装准备： (1)hadoop安装包：hadoop-1.2.1.tar.gz (2)jdk安装包：jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包。 安装： (1)能够选择一个新建用户安装
分类：
系统相关 时间：
2016-03-01 22:23:55
阅读次数：
221
需要下载的软件： 1.hadoop-2.6.4.tar.gz 下载网址：http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址：http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop
分类：
系统相关 时间：
2016-02-28 00:48:32
阅读次数：
390
1、Zookeeper伪分布的部署(3个节点) 所谓的“伪分布式集群”就是在一台服务器中，启动多个Zookeeper实例。“完全分布式集群”是每台服务器，启动一个Zookeeper实例。 1.1、解压缩zookeeper-3.4.5.tar.gz 1.2、执行命令 cp conf/zoo_sampl
分类：
其他好文 时间：
2016-02-24 17:35:29
阅读次数：
175
