如标题，最近我由于想初始化以下hadoop集群，之后却发现启动集群后所有的DataNode都消失了。 问题查找： 由于时所有的DataNode都出了问题，于是我翻找了以下DataNode的日志（默认在安装下的logs文件里）： 看出来可能是因为namenode的clusterID与datanode的 ...
分类：
其他好文 时间：
2019-09-21 23:17:49
阅读次数：
106
最近，我在学习搭建hadoop集群，可是搭建完成后当使用start-all.sh启动hadoop的时候，会发现用jps测试的时候一切均显示正常，但通过Hadoop指令向hdfs上传输文件的时候，会报错表示datanode没有正常启动， 在网上找了一些博客讲述是可能防火墙没关，还有就是删除hadoop ...
分类：
其他好文 时间：
2019-09-16 11:55:30
阅读次数：
95
调优概述# 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 ...
分类：
其他好文 时间：
2019-09-16 00:53:54
阅读次数：
209
MapReduce是一个分布式运算程序的编程，框架核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。 既然是做计算的框架，那么表现形式就是有个输入（input），MapReduce操作这个输入（input），通过本身定义好的计算模型，得到一 ...
分类：
其他好文 时间：
2019-09-14 20:50:58
阅读次数：
103
一、 Hadoop集群动态扩容、缩容 随着公司业务的增长，数据量越来越大，原有的datanode节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。也就是俗称的动态扩容。 有时候旧的服务器需要进行退役更换，暂停服务，可能就需要在当下的集群中停止某些机器上hadoop的服务 ...
分类：
其他好文 时间：
2019-09-14 19:25:13
阅读次数：
278
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。 在此对三家公司的技术人员无私奉献精神表示感谢，如果文章造成了侵权行为，请联系本人删除。本人在尊重事实的基础上重新组织了语言和内容，旨在给读者揭开一个完善的大数据平台的组成和发展过程。 本文在未经 ...
分类：
其他好文 时间：
2019-09-13 17:30:56
阅读次数：
122
一、基础软件安装 1. "Linux 环境下 JDK 安装" 2. "Linux 环境下 Python 安装" 3. "虚拟机静态 IP 及多 IP 配置" 二、Hadoop 1. "Hadoop 单机环境搭建" 2. "Hadoop 集群环境搭建" 3. "基于 Zookeeper 搭建 Hado ...
分类：
其他好文 时间：
2019-09-10 16:22:32
阅读次数：
120
学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法： 要么找多台机器来部署（常常找不到机器） 或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……）。 那么，问题来了！ 有没有更有可行性的办法？ 提到虚拟化，Docker最近很 ...
分类：
其他好文 时间：
2019-09-04 21:44:10
阅读次数：
159
在hadoop集群中，写完了mapreduce并没有完成工作，还需要打jar包，然后将jar提交到集群中。hadoop提供了提交jar的入口。WordCount是写hadoop mapreduce入门级进程，会写wordcount的话，基本上80%的mapreduce就懂了。mapreduce分为m... ...
分类：
其他好文 时间：
2019-09-02 11:29:35
阅读次数：
93
如果你按照的是我的配置文件写的，不能看到datanode很可能是防火墙没关的原因 把防火墙都停了 service iptables stop chkconfig iptables off ...
分类：
Web程序 时间：
2019-08-30 22:29:15
阅读次数：
136
