JUNIPERSRX系列防火墙（JUNOS12.1）HA配置说明ChassisCluster概述和简介：JuniperSRX系列防火墙可以通过一组相同型号的SRX系列防火墙来提供网络节点的冗余性。每一台设备必须要有相同的junos版本，每一台节点设备通过各自的controlports相互连接来形成ChassisCluster的控制平面..
分类：
其他好文 时间：
2015-01-22 15:47:14
阅读次数：
333
spark支持YARN做资源调度器，所以YARN的原理还是应该知道的：http://www.socc2013.org/home/program/a5-vavilapalli.pdf 但总体来说，这是一篇写得一般的论文，它的原理没有什么特别突出的，而且它列举的数据没有对比性，几乎看不出YARN有什么优...
分类：
Web程序 时间：
2015-01-22 01:40:48
阅读次数：
521
Hadoop2.6集群环境搭建（HDFSHA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存，操作系统WIN7（屌丝的配置）2、工具VMwareWorkstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆..
分类：
其他好文 时间：
2015-01-19 06:58:46
阅读次数：
279
从hadoop 1.2.1升级到 Hadoop2.6.0，调试写代码，还是遇到一些问题的。这里记录一下，后续如果自己再遇到类似问题，那也好找原因了。在eclipse里编译运行 WordCount，出现以下错误。Exception in thread "main" java.lang.NoClassD...
分类：
移动开发 时间：
2015-01-19 00:14:12
阅读次数：
564
Hadoop的前景随
着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企
业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及
Android程..
分类：
其他好文 时间：
2015-01-14 18:25:07
阅读次数：
169
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
转自:链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和...
分类：
Web程序 时间：
2015-01-13 14:02:09
阅读次数：
169
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
Web程序 时间：
2015-01-13 01:28:23
阅读次数：
278
Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选...
分类：
其他好文 时间：
2015-01-12 11:32:39
阅读次数：
217
最近线上的rmcrash了一次，查看日志，发现有如下报错：2015-01-0518:00:11,523ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:RequestforappInfoofunknownattemptappattempt_1418702129929_2281200_000001
2015-01-0518:00:11,524ERRORorg...
分类：
其他好文 时间：
2015-01-12 06:54:36
阅读次数：
346
