HDFS的block是逻辑上的数据块.Hadoop2.0中每一块默认大小128MB,实际存储过程中block大小小于等128MB,它是以文件为存储对象.如一200MB大小文件,分两个数据块128MB+72MB 这里的两个块大实际小分别是128MB和72MB 算法分析: max(minSize, mi ...
分类：
其他好文 时间：
2018-07-04 16:11:35
阅读次数：
229
1. Hadoop的HA机制 前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 1.1. HA的运作机制 （1）hadoop-HA集群运作机制介绍 所谓HA，即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的H ...
分类：
其他好文 时间：
2018-07-02 10:58:29
阅读次数：
236
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 ...
分类：
其他好文 时间：
2018-06-30 23:03:43
阅读次数：
208
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 ...
分类：
其他好文 时间：
2018-06-30 21:23:42
阅读次数：
207
DataManager启动失败 启动过程中发现一个问题：slave1,slave2,slave3都是只启动了DataNode，而DataManager并没有启动： 这里一个错误原因可以从： slaves各自的nodemanager日志查看。 查看slave1虚拟机的/opt/hadoop-2.9.0 ...
分类：
其他好文 时间：
2018-06-30 17:01:41
阅读次数：
208
如何配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭 ...
分类：
其他好文 时间：
2018-06-30 11:05:15
阅读次数：
273
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) https://blog.csdn.net/pucao_cug/article/details/71698903 Centos7完全分布式搭建Hadoop2.7.3 https://www.cnblogs.com/ksWo ...
分类：
系统相关 时间：
2018-06-30 10:58:51
阅读次数：
186
本文档基于Windows搭建本地JAVA Spark开发环境。 1 JDK 1.8安装 官网下载JDK。 注意JDK安装目录不可以包含空格，比如：C:\Java\jdk1.8.0_171，否则可能导致后续运行Spark报错（提示找不到java.exe）。 2 Spark安装（V2.3.1） 1、到s ...
分类：
其他好文 时间：
2018-06-29 00:03:45
阅读次数：
1109
下载spark、scala的包如下操作：[hadoop@oversea-stable~]$wgethttp://mirrors.hust.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz--2018-06-2710:07:25--http://mirrors.hust.edu.cn/apache/spark/spark-2.
分类：
其他好文 时间：
2018-06-27 17:35:15
阅读次数：
155
