记录一次服务器排查挖矿问题，这次突发事件整得整个小组措手不及。总结一下，其实是hadoop集群yarn的一个低版本端口漏洞导致。具体可以参考：https://paper.seebug.org/611/ 1.查看服务器CPU飙升卡爆，最后发现是服务器在跑挖矿程序，CPU使用率奇高。在此总结一下排查经过 ...
分类：
系统相关 时间：
2018-06-20 22:35:00
阅读次数：
558
Hadoop集群搭建（完全分布式） 这里设置了NameNode的地址，是在ruixuan.com这台主机上，设置hadoop的临时目录，自己指定。 replication的是副本数，意思是一个文件需要在HDFS分布式文件系统中保存几分，建议 DataNode的数量应大于等于replication。 ...
分类：
其他好文 时间：
2018-06-20 12:50:56
阅读次数：
179
Hadoop集群完全分布式配置部署 下面的部署步骤，除非说明是在哪个服务器上操作，否则默认为在所有服务器上都要操作。为了方便，使用root用户。 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息： hostname IP mask gateway DNS 备注 master ...
分类：
其他好文 时间：
2018-06-20 00:54:11
阅读次数：
249
故障一：某个datanode节点无法启动 我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成centos:centos 【故障现象】 名称节点的3个进程都起来了，但是其中一个数据节点的DataNode进程没启动，就是说在该数据节点上通过j ...
分类：
其他好文 时间：
2018-06-19 13:47:50
阅读次数：
222
1. MAPREDUCE原理 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1. 为什么要MAPRE ...
分类：
其他好文 时间：
2018-06-18 21:44:35
阅读次数：
234
分布式平台搭建 acmore 2018.6.17 1. 搭建Hadoop 以下操作皆基于Ubuntu 16.04 32位环境 & Hadoop 2.7.3版本 1.1 单节点环境 首先安装相关的准备环境 配置JAVA_HOME 一般来说Ubuntu平台上通过default jdk安装的java位置在 ...
分类：
其他好文 时间：
2018-06-17 20:51:35
阅读次数：
224
pig的两种运行模式，local模式，mapreduce模式 local模式下，pig只能访问本地一台；在mapreduce模式下，pig可以访问一个hadoop集群和hdfs的安装位置。这时，pig将自动对这个集群进行分配和回收。因为pig系统可以自动对mapreduce程序进行优化，所以当用户使 ...
分类：
其他好文 时间：
2018-06-15 12:49:06
阅读次数：
219
一：Hadoop集群简介： Hadoop 集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起； HDFS集群：负责海量数据的存储，集群中的角色主要有： NameNode、DataNode、SecondaryNameNode； YARN集群：负责海量数据运算时的资源 ...
分类：
其他好文 时间：
2018-06-15 10:52:48
阅读次数：
164
环境: centos6 32位 hadoop2.8.4 jdk1.8（此版本运行hadoop时会警告可无视）hadoop用户(非root普通用户) 主机ip：10.10.10.10 slave主机ip：20.20.20.20 请务牢记上述环境！！！ 另外除非表明使用root用户外，皆用hadoop用 ...
分类：
其他好文 时间：
2018-06-14 23:16:07
阅读次数：
263
