注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 （1） yarn.resourcemanager.address 参数解释：ResourceManager 对客户 ...
分类：
其他好文 时间：
2016-11-19 03:13:10
阅读次数：
228
resourcemanager启动报错，其中一个启动成功，另一个启动报8088端口被成功启动的rm占用 标红的IP:172.16.145.114为成功启动的resourcemanager，上面的报错信息是启动失败的rm(172.16.145.115)报的错 错误显示114的8088端口已经在使用，跟 ...
分类：
其他好文 时间：
2016-11-19 01:51:26
阅读次数：
284
现象： 集群大面积异常，通过ambari启动不起来。逐一排查，顺序 hdfs -> mapreduce->yarn->hive -other hdfs下发现namenode ,datanode启动不起来 namenode报错如下 【namenode.NameNode: Failed to start ...
分类：
其他好文 时间：
2016-11-17 13:10:38
阅读次数：
430
在yarn资源管理的集群上运行spark程序，无法读取的数据多与少，都会报这个错误，但是其他程序在集群上能够正常运行。 通过这个异常，很容易认为是yarn的配置出现了问题，但是无论num-executors和execute-memory设置多大，都是直接报这个错，为了分析那部分出现的问题，将spar ...
分类：
其他好文 时间：
2016-11-14 07:45:18
阅读次数：
1025
1.apt-get update 99% waiting for headers卡住了，fix如下 2. 安装git 3.获取代码 4. install node js 5. 输入node -v，提示我安装node-legancy ，只好安装: 6. 安装yarn（npm的替代品） 官方的安装方法， ...
分类：
Web程序 时间：
2016-11-13 22:21:39
阅读次数：
259
包管理 ：npm cnpm yarn Node Package Manager node的包管理工具 cls清除控制台 npm install jquery 下载依赖包 就自动下载最新版本的jq npm install jquery@3.0.0 下载指定版本 功能：1、下载东西 2、npm help ...
分类：
Web程序 时间：
2016-11-12 11:39:38
阅读次数：
185
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2016-11-11 07:53:24
阅读次数：
170
http://bbs.csdn.net/topics/390891983 yarn-site.xml <property> <name>yarn.resourcemanager.address</name> <value>192.168.X.X:8032</value> </property> <p ...
分类：
其他好文 时间：
2016-11-10 19:11:08
阅读次数：
359
一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop1.x和0.21.X，0.22.x。1、MapReduce角色分配 Client：作..
分类：
其他好文 时间：
2016-11-07 20:19:08
阅读次数：
230
核心内容:
1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件
2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件
3、Hadoop2.4.1 + HA 集群搭建核心配置文...
分类：
其他好文 时间：
2016-10-31 16:42:19
阅读次数：
228
