一：hdfs设计原理 负载均衡，考虑分布式计算 -->block机制 二：block默认大小为128m，【hadoop2.0版本以上】，之前都是64m。 原因：默认传输效率10M/s 寻址时间占传输时间的1% 寻址时间为10ms 总结：block是物理的，真正存储的位置在本地磁盘{hadoop.tm ...
分类：
其他好文 时间：
2018-06-05 15:20:27
阅读次数：
213
安装Spark需要先安装jdk及安装Scala。 1. 创建目录 > mkdir /opt/spark > cd /opt/spark 2. 解压缩、创建软连接 > tar zxvf spark-2.3.0-bin-hadoop2.7.tgz > link -s spark-2.3.0-bin-ha ...
分类：
系统相关 时间：
2018-06-05 00:36:58
阅读次数：
291
Ubuntu： 1、下载spark-2.2.1-bin-hadoop2.7.tgz，解压即可使用。 2、下载jdk-8u151-linux-x64.tar.gz，解压。 3、执行spark-2.2.1-bin-hadoop2.7/bin/pyspark，进入Spark运行环境。 4、测试： >>> ...
分类：
其他好文 时间：
2018-06-04 23:22:32
阅读次数：
186
一、前言 1. 前提 因为hbase的运行模式是伪分布式，需要用到hdfs，所以在此之前，我已经完成了hadoop-eclipse的开发环境搭建，详细看另一篇文章：hadoop开发环境部署——通过eclipse远程连接hadoop2.7.3进行开发，本篇的目的是在windows端部署开发环境，使之能 ...
分类：
系统相关 时间：
2018-06-04 00:57:49
阅读次数：
339
前期博客 hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz + zeppelin-0.5.6-incubating-bin-all.tgz（master、slave1和slave2）（博主推荐）（图文详解） hadoop-2.7.3.tar.gz ...
分类：
其他好文 时间：
2018-05-31 13:20:11
阅读次数：
219
一、前言环境：系统：centos6.5hadoop版本：Apache hadoop2.7.3（Windows和centos都是同一个）eclipse版本：4.2.0（juno版本，windows）ant版本：ant 1.7.1（windows）java版本：1.8.0_05（windows）我是在虚... ...
分类：
系统相关 时间：
2018-05-30 00:23:07
阅读次数：
764
https://blog.csdn.net/zzq900503/article/details/52982828 简介 我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也 ...
分类：
其他好文 时间：
2018-05-24 13:51:11
阅读次数：
301
1. 参考说明参考文档： http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.99.7/admin/Installation.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名... ...
分类：
其他好文 时间：
2018-05-24 10:27:05
阅读次数：
399
继hadoop完全分布式安装后，再结合zookper+hbase安全。在之前环境配置下继续进行。一、zookper安装1.1下载并解压软件cd/softwarewget-chttp://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gztar-zxfzookeeper-3.4.10.tar.gz-C/usr/loc
分类：
其他好文 时间：
2018-05-23 17:00:36
阅读次数：
152
1. 参考说明参考文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNa... ...
分类：
其他好文 时间：
2018-05-23 10:23:37
阅读次数：
280
