软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0...
分类：
其他好文 时间：
2016-12-25 18:49:30
阅读次数：
251
一 storm 相关术语 二 storm集群架构图 2. 数据处理流程 3. 拓扑图分析 storm主要特点 storm与 yarn结合 ，storm 运行在yarn之上 storm安装 ...
分类：
其他好文 时间：
2016-12-21 18:30:31
阅读次数：
206
Impala与Hive都是构建在Hadoop之上的数据查询工具，但是各有不同侧重，那么我们为什么要同时使用这两个工具呢？单独使用Hive或者Impala不可以吗？一、介绍Impala和Hive（1）Impala和Hive都是提供对HDFS/Hbase数据进行SQL查询的工具，Hive会转换成MapReduce，借助于YARN进行调度..
分类：
其他好文 时间：
2016-12-20 21:26:06
阅读次数：
282
如果运行Spark集群时状态一直为Accepted且不停止不报错，比如像下面这样的情况： 一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-sched ...
分类：
编程语言 时间：
2016-12-18 20:58:47
阅读次数：
353
参考原文：http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool 运行文件有几个G大，默认的spark的内存设置就不行了，需要重新设置。还没有看Spark源码，只能先搜搜相关的博客解决问题 ...
分类：
其他好文 时间：
2016-12-17 20:11:34
阅读次数：
162
Nginx+Keepalived实现反代负载均衡高可用(HA)配置Nginx+Keepalived实现反代负载均衡高可用配置OSIP子网掩码路由网关Centos6.6nginxKeepalivedEth0:192.168.26.210255.255.252.0192.168.25.3VIP:192.168.27.210Centos6.6NginxKeepalivedEth0:192.168.26.211255.255.252.0192.168..
分类：
其他好文 时间：
2016-12-16 23:39:03
阅读次数：
407
2016年12月14日21:37:29
Author：张明阳
博文链接：http://blog.csdn.net/a2011480169/article/details/53647012近来这几天...
分类：
其他好文 时间：
2016-12-15 21:18:22
阅读次数：
231
以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker 存在以下不足： 1）JobTracker 单点故障。 2）JobTracker 承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如 ...
分类：
其他好文 时间：
2016-12-13 06:16:34
阅读次数：
151
Map Reduce & YARN简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS)... ...
分类：
其他好文 时间：
2016-12-12 11:48:59
阅读次数：
202
1、加入配置文件到项目源码目录下（src） mapreduce.framework.name yarn 读取配置文件内容，使项目知道向集群提交运行 2、将本项目打包到项目源码目录下（src） 3、在Java代码加入下一句话Configuration conf = new Configuration(... ...
分类：
系统相关 时间：
2016-12-10 13:31:49
阅读次数：
195
