一、主机规划 3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址： master： 主机名： hadoop2、ip地址： 172.17.0.2 slaver1： 主机名： hadoop3、ip地址： 172.17.0.3 主机名： hadoop4、ip ...
分类：
其他好文 时间：
2020-01-08 14:18:46
阅读次数：
86
我也不知道为什么要拿源码来编译，我猜是能编译过去的环境安装肯定是没问题了。 首先我参考了扎心了，老铁 的 https://www.cnblogs.com/qingyunzong/p/8494990.html 按照步骤做下来。并下载了两Hadoop版本的源码，分别是：hadoop-2.10.0-src ...
分类：
其他好文 时间：
2020-01-08 10:20:04
阅读次数：
57
1、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈主要在于两点： 1、机器性能不足（CPU、内存、磁盘健康、网络） 2、IO操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待的时间太久 小文件 大量不可切分的超大文件 spill溢写次数过 ...
分类：
其他好文 时间：
2020-01-08 00:46:53
阅读次数：
116
原文链接： 组件端口及说明 CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的 ...
分类：
其他好文 时间：
2020-01-07 19:56:27
阅读次数：
135
Zookeeper是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如，集群中的节点在相互通信时，A节点向B节点发送消息。A节点如果想知道消息是否发送成功，只能由B节点告诉A节点。那么如果B节 ...
分类：
其他好文 时间：
2020-01-07 16:15:57
阅读次数：
84
Apache Flink是什么？ 在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎Apache Spar ...
分类：
Web程序 时间：
2020-01-06 22:51:50
阅读次数：
99
这次我安装的是hadoop3.2.1 一、下载Hadoop以及JDK hadoop下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/ jdk参照：https://www.cnblogs.com/mufeng07/p/12150820.html ...
分类：
其他好文 时间：
2020-01-06 00:10:32
阅读次数：
1247
1.zookeeper是什么？zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是googlechubby的开源实现，是hadoop和hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。2.zookeeper都有哪些功能？集群管理：监控节点存活状态、运行请求等。主节点选举：主节点挂掉了之后可以从备用的节点开始新
分类：
其他好文 时间：
2020-01-05 09:44:00
阅读次数：
83
磁盘阵列 与 分布式存储 简单理解 磁盘阵列将多个磁盘组合成一个大磁盘, 并通过编码, 冗余等方式使它带有容错功能(防止数据丢失), 从而提高了存储可靠性。 而分布式存储则是将数据分布在不同物理位置, 并通过网络把它连接起来。 磁盘阵列可以应用于分布式存储系统中, 也可以集中式存储系统中。 打个比方 ...
分类：
其他好文 时间：
2020-01-04 20:42:46
阅读次数：
92
引子有人在某个专注SQL的公众号留言如下：这个留言触碰到一个非常敏感的问题：搞关系型数据库还有前途吗？现在都2020年了，区块链正火热，AI人才已经“过剩”，大数据都成了稀松平常的萝卜白菜，你却还在搞SQLServer?你还在搞SQL?原因最近10年，数据管理领域的变化可谓精彩纷呈。什么Hadoop,Spark，MemcacheDB,Redis,Vertica,HANA,Cassandra,Mon
分类：
数据库 时间：
2020-01-04 16:59:14
阅读次数：
113
