? 一，什么是RDD？ 官方定义 ：RDD是弹性分布式数据集。 1. 不可变的：类似于scala中的不可变集合，对集合进行转换操作的时候，产生新的集合RDD。 2. 分区的：每个RDD集合有多个分区组成，分区就是很多部分。 3. 并行操作：对RDD集合中的数据操作时，可以同时对所有的分区并行操作 五 ...
分类：
其他好文 时间：
2019-11-22 15:28:06
阅读次数：
62
1. hdfs存文件的时候会把文件切割成block，block分布在不同节点上，目前设置replicate=3，每个block会出现在3个节点上。 2. Spark以RDD概念为中心运行，RDD代表抽象数据集。以代码为例： sc.textFile(“abc.log”) textFile()函数会创建 ...
分类：
其他好文 时间：
2019-11-22 13:26:33
阅读次数：
63
1、在/opt下创建ha文件夹 sudo mkdir ha 2、更改ha文件夹所有者 sudo chown atguigu:atguigu ha 3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下 cp r module/hadoop 2.7.2/ ha/ 4、然后进入到刚拷贝过去的h ...
分类：
其他好文 时间：
2019-11-21 12:30:07
阅读次数：
96
hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS （1）HDFS namenode：存放目录，最重要的（主机） datanode：存放数据。（从机） 2namenode：“助手” （2）YARN R ...
分类：
其他好文 时间：
2019-11-21 12:21:17
阅读次数：
83
HA工作机制 HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 不是特别大，重启就好了。 HDFS的HA HDFS HA功能通过配置Active/Standby两个NameNodes ...
分类：
其他好文 时间：
2019-11-21 11:42:34
阅读次数：
151
为了方便MapReduce直接访问关系型数据库（Mysql,Oracle）， Hadoop提供了DBInputFormat和DBOutputFormat两个类。 通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据 ...
分类：
数据库 时间：
2019-11-20 21:53:46
阅读次数：
83
一、原集群操作： 1、hdfs创建目录hdfs dfs -mkdir /tmp/hive-export 2、hive导出表命令hive -e "use 库;show tables" | awk '{printf "use 库;export table %s to @/tmp/hive-export/ ...
分类：
其他好文 时间：
2019-11-19 15:46:28
阅读次数：
380
常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：j ...
分类：
其他好文 时间：
2019-11-18 20:10:58
阅读次数：
79
Hadoop - 简介 Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点 特别适合写一次，读多次的场景 适合 大规模数据 流式数据（写一次，读多次） 商用硬件（一般硬件） 不适合 低延时的数据访问 大量的小文件 频繁修改文件（基本就是写1次） Hadoop架构 HDFS: ...
分类：
其他好文 时间：
2019-11-18 15:36:10
阅读次数：
90
HDFS 1.hdfs整体工作机制： 1>hdfs:分布式文件系统。 hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 2>有目录结构，顶层目录是： / 3>系统中存放的就是文件 4>系统可以提供对文件的：创建、删除、修改、查看、移动等功能 2.hdfs跟普通的单机文件系统有区别： 1>单 ...
分类：
其他好文 时间：
2019-11-17 23:55:37
阅读次数：
136
