接下来开始真正意义上的集群搭建 Tip：hadoop集群搭建完以后，最好要格式化：hadoop namenode -format; HDFS集群是否启动成功，看这两个进程：namenode/datanode; Yarn集群是否启动成功，看这两个进程：Resourcemanager/Namemanag ...
分类：
其他好文 时间：
2018-08-20 17:56:40
阅读次数：
193
以下只是对yarn配置文件（yarn.site.xml）简单的一个配置 <configuration><!-- rm失联后重新链接的时间 --> <property> <name>yarn.resourcemanager.connect.retry-interval.ms</name> <value ...
分类：
其他好文 时间：
2018-08-20 14:29:36
阅读次数：
1267
Apache Hadoop 是一种通过服务集群并使用MapReduce编程数据模型完成大数据的分布式处理框架，核心模块包括：MapReduce，Hadoop Utilites，YARN（Yet Another Resource Negotiator）和HDFS（Hadoop Distributed ...
分类：
其他好文 时间：
2018-08-19 16:59:50
阅读次数：
143
打开$HADOOP_HOME/etc/hadoop/yarn-site.xml,增加以下配置(在此配置文件中尽量不要使用中文注释) 依次执行以下命令start-dfs.sh,start-yarn.sh.mr-jobhistory-daemon.sh start historyserver启动完毕后j ...
分类：
其他好文 时间：
2018-08-18 22:24:44
阅读次数：
423
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history ...
分类：
其他好文 时间：
2018-08-18 21:45:49
阅读次数：
216
在spark中运行./spark-shell --master YARN-client --num-executors 3 --executor-memory 1g是碰到如下的问题： biaoshi 表示资源不足，可能是内存不足或者core不足，于是就将1g改为512m，运行成功 以spark-cl ...
分类：
其他好文 时间：
2018-08-16 23:45:50
阅读次数：
280
npm全局安装 yarn 全局安装 然而你可能会发现npm全局安装后的命令可以直接使用，而yarn却不行，这是为什么呢？ 我们来查看下npm和yarn的bin目录 那为什么系统会从这个路径下进行查找可执行文件呢？这就要说下环境变量。 而在安装node的过程，安装进程会自动的增加node和npm的路径 ...
分类：
其他好文 时间：
2018-08-16 13:48:56
阅读次数：
19459
在主节点机器上执行命令/opt/modules/app/hadoop-2.7.4/sbin/start-all.sh（相当于执行/opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh和/opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh）然后jps发现没有namenode，查看logs日志发现namenode没有格
分类：
其他好文 时间：
2018-08-15 20:31:40
阅读次数：
145
DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。
分类：
其他好文 时间：
2018-08-15 14:58:49
阅读次数：
180
一：基础环境准备 （一）：虚拟机新建五个centos7系统（复制文件夹的方式） （二）：角色分配 （三）按照角色分配表配置 (1)更改主机ip（自行查找），如果只是个人搭建玩一玩，可选择安装centos7图形界面操作比较简单 (2)更改主机名方法， vim /etc/hostname文件，修改成对应 ...
分类：
其他好文 时间：
2018-08-13 12:12:04
阅读次数：
157
