一、安装Java
1.下载jdk-8u91-linux-x64.tar.gz文件,网址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html
2.安装:
#选择一个安装路径,我选择的是/opt,并将下载的jdk-8u91-linux-x64.tar.gz文件复制到这个文件夹下
$ cd /opt
$ s...
分类:
系统相关 时间:
2016-05-06 16:00:27
阅读次数:
446
集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点卡,那这里主要说说伪分布式的集群,正式版的集群需要3台机子,我就一带而过说一说,搭建起来也是非常简 ...
分类:
其他好文 时间:
2016-05-02 02:18:25
阅读次数:
167
伪分布式安装基本思想 zookeeper的安装包保存一份,但是zoo.cfg配置多份,启动zookeeper服务器的时候指定不同的zoo.cfg即可。即启动时这样启动:zkServer.sh start zk1.cfgzkServer.sh start zk2.cfgzkServer.sh star ...
分类:
其他好文 时间:
2016-04-28 00:17:30
阅读次数:
324
一、前言很以前就搭建过hadoop的伪分布式环境,为了搭建环境特意弄的双系统,还把毕业论文给毁了。不过当时使用的是 hadoop1.x 的,而且因为一些原因,就搭建了环境,而没继续学习了。现在开始,准备好好的学习一下hadoop二、Hadoop 简介
Hadoop 是Apache软件基金会旗下的一个开源分布式计算平台
是云计算中 PaaS(平台即服务)一层的实现
HDFS 和 MapReduce 共...
分类:
编程语言 时间:
2016-04-23 07:35:51
阅读次数:
249
一、相关配置文件修改①修改core-site.xml:$su-lhadoop
$cd/usr/local/hadoop/
$sudovietc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</co..
分类:
其他好文 时间:
2016-04-21 11:59:39
阅读次数:
172
1.准备Linux环境 1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windo ...
分类:
其他好文 时间:
2016-04-20 17:54:03
阅读次数:
125
一、Hadoop部署模式单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境二、添加用户..
分类:
其他好文 时间:
2016-04-20 13:45:05
阅读次数:
225
在安装Hadoop伪分布环境后,执行相关命令(例如:bin/hdfs dfs -ls)会出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-jav ...
分类:
其他好文 时间:
2016-04-19 17:02:57
阅读次数:
186
0.前言hadoop总共有三种运行方式。本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode)。后面足一讲解搭建本地以及伪分布式,分布式读者自行搭建。
参考资料(官网为主,网络资料为铺):
http://hadoop.apache.org/docs/r2.6.4/hadoop-...
分类:
其他好文 时间:
2016-04-17 22:44:17
阅读次数:
138
0.前言本文参考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html
搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客:
http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址:http://www.eclipse.org/downlo...
分类:
系统相关 时间:
2016-04-17 22:43:52
阅读次数:
467