从Hadoop1到Hadoop2很大程度上解放了Jobtracker资源调度的问题，这就得多亏了yarn平台了。我知道的，除了我们的大豆瓣用的是Mesos，咱们国家可以说应该是99.99%都使用的是yarn，当然了，国外使用的大多是Mesos。（然而我对Mesos并不理解啥，只知道他和yarn一样的 ...
分类：
其他好文 时间：
2016-09-09 22:28:06
阅读次数：
180
Tracker是跟踪者，跟踪器。JobTracker是项目经理。在hadoop2*的0.23版本之后，改叫RM了。ResourceManager。TaskTracker是小组长。它手下，还有具体搬砖的。在hadoop2*的0.23版本之后，改叫NM了。NodeManager。 ？？？ 其实，不管，是 ...
分类：
其他好文 时间：
2016-09-03 16:35:10
阅读次数：
542
1.简单介绍和安装：(1)Spark使用scala编写，运行在JVM（java虚拟机）上。所以，安装Spark需要先安装JDK。安装好java后，到官网下载安装包（压缩文件）：http://spark.apache.org/downloads.html，当前使用的版本是：spark-1.6.1-bin-hadoop2.4.tgz。(2)解压，查看目录内容：tar..
分类：
其他好文 时间：
2016-09-02 01:09:13
阅读次数：
255
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0 http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ Spark快速入门指南 – Spark安装与基础使用 http://dblab.xmu.edu.cn/blog ...
分类：
其他好文 时间：
2016-09-01 18:01:36
阅读次数：
165
开发准备： jdk1.8.45 spark-2.0.0-bin-hadoop2.7（windows下和linux个留一份） Linux系统（centos或其它） spark安装环境 开发环境搭建步骤如下： 1. 下载scala-SDK-4.4.1-vfinal-2.11-win32.win32.x8 ...
分类：
系统相关 时间：
2016-08-29 15:37:49
阅读次数：
328
一. 安装背景：VirtualBox下安装三台Centos6.8虚拟机（一主:master, 两从:slave1,slave2） Centos版本：CentOS-6.8-x86_64 网络配置：三台虚拟机配置静态IP，并配置主机名master,slave1,slave2 系统配置：安装JDK，增加h ...
分类：
其他好文 时间：
2016-08-29 01:35:08
阅读次数：
185
1. /etc/profile JAVA_HOME, HADOOP_HOME export JAVA_HOME=export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JA ...
分类：
其他好文 时间：
2016-08-26 13:33:52
阅读次数：
171
1. /etc/profile JAVA_HOME, HADOOP_HOME export JAVA_HOME=export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JA ...
分类：
其他好文 时间：
2016-08-26 10:19:56
阅读次数：
147
所用技术：Bootstrap、flat-ui 、 Servlet、Spark1.4.1、Hadoop2.6.0、JDK说明：本系统不涉及ssh相关内容，只有简单的Servlet和JSP、HTML页面，...
分类：
其他好文 时间：
2016-08-25 21:32:36
阅读次数：
224
Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用Protocol Buffers优化RPC性能；采用Apache ...
分类：
其他好文 时间：
2016-08-25 21:27:35
阅读次数：
164
