13年学习过一段时间的hadoop，但是工作中用到的地方比较少，有些生疏，加上现在hadoop版本也已经比较新了，所以空闲时间想继续学习一下，找到这篇文章，从头开始搭建一个hadoop环境，转过来备忘 Hadoop developer...
分类：
系统相关 时间：
2015-09-20 17:52:54
阅读次数：
324
配置hadoop2.7.1伪分布式 需要配置五个文件第一个： vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_80第二个： vim core-site.xml fs.defaultFS hdfs://majiabin01:9000 ...
分类：
其他好文 时间：
2015-09-19 13:47:48
阅读次数：
141
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.244.131. 子网掩码：255.255.255.0 -> apply -> ok 回到....
分类：
其他好文 时间：
2015-09-18 12:01:53
阅读次数：
223
原文链接 http://www.cnblogs.com/shenh062326/p/3658543.htmlSpark架构与作业执行流程简介Local模式运行Spark最简单的方法是通过Local模式（即伪分布式模式）。 运行命令为：./bin/run-example org.apache.spar...
分类：
其他好文 时间：
2015-09-14 01:49:15
阅读次数：
178
hadoop伪分布安装 Hadoop2的伪分布安装步骤【使用root用户用户登陆】other进去超级用户拥有最高的权限 1.1（桥接模式）设置静态IP ,，修改配置文件，虚拟机IP192.168.1.99重启网卡，网关192.168.1.1是物理机下面的默认网关， 执行命令 vi /etc/sysc...
分类：
其他好文 时间：
2015-09-12 13:35:16
阅读次数：
179
Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让...
分类：
其他好文 时间：
2015-09-10 19:41:48
阅读次数：
280
1、安装Ubutun 14.04 Desktop LTS下载ISO文件，ubuntu-14.04.1-desktop-amd64.iso。在Virtualbox或者VmWare中新建虚拟机，将ISO文件设置为启动光盘。一路下一步，在需要输入用户的地方，输入用户名hduser，直到系统安装完成。重启虚...
分类：
其他好文 时间：
2015-09-09 16:22:54
阅读次数：
253
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
安装Dubbo，并利用zookeeper作为注册中心 环境准备: 了解dubbo相关信息http://dubbo.io/Home-zh.htm dubbo安装: ? ? ?Zookeeper下载 download zookeeper Install 伪分布式 ? ??1.解压下载好的zookeeper，到...
分类：
其他好文 时间：
2015-09-08 16:56:14
阅读次数：
477
（大讲台：国内首个it在线教育混合式自适应学习）1.Hadoop集群可以运行的3个模式单机（本地）模式伪分布式模式全分布式模式2.单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开...
分类：
其他好文 时间：
2015-09-08 12:24:12
阅读次数：
173
