1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
继承的本质是对某一批类的抽象,从面实现对现实世界更好的建模. extends的意思是"扩展".子类是父类的扩展. JAVA中类只有单继承,没有多继承! 继承是类和类之间的一种关系.除此之外,类和类之间的关系还有依赖,组合,聚合等. 继承关系的俩个类,一个为子类(派生类,),一个为父类(基类).子类继 ...
分类：
编程语言 时间：
2021-02-27 13:29:46
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
在hive客户端建一张表比如bb 条件bb与abc表结构相同，abc有数据，把abc的数据导到bb里 hive -e是为了解决每次进入客户端的麻烦操作，使用了hive -e命令，可以在hive客户端外对客户端进行操作， 例如 hive -e "use aaa;select * from abc li ...
分类：
其他好文 时间：
2021-02-22 12:21:51
阅读次数：
0
hive的数据类型分为基本数据类型，数字类型，字符串类型 基本数据类型包括 TINYINT, SMALLINT, INT/INTEGER, BIGINT, FLOAT, DOUBLE, DECIMAL, BOOLEAN, BINARY hive的数字类型 分为整数类型，浮点数类型 hive的字符串类 ...
分类：
其他好文 时间：
2021-02-22 11:50:45
阅读次数：
0
前言 昨天还是周末，公司群里就有人@，说集群有问题了，敲完Hive一直卡在那里进不去，于是我很快登上WebUi，看到了这么一幕：这台节点的磁盘满了，其他的数据分布都比较平均 为什么会这样 这里就不得不说一下HDFS复本存放策略了： namenode如何选择在哪个datanode存储复本（replic ...
分类：
其他好文 时间：
2021-02-20 12:16:37
阅读次数：
0
1、概念 HBase是一个分布式的NoSQL数据库，其特点高可靠、高性能、面向列、可伸缩。 适合存储大表数据 ，并且可实时读写大表数据。大表：表的规模可以达到数十亿行以及数百万列 表结构稀疏。稀疏：对于为空的列，并不占用存储空间 数据底层存储于Hadoop HDFS分布式文件系统。 利用ZooKee ...
分类：
其他好文 时间：
2021-02-19 13:36:07
阅读次数：
0
##Hbase和Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的 ...
分类：
其他好文 时间：
2021-02-19 12:52:56
阅读次数：
0
Hive 运行过程异常信息有时不能完全显示在终端上，此时可以用 Hive Debug 模 式进行调试 hive --hiveconf hive.root.logger=INFO,console 1、表不存在 FAILED: SemanticException [Error 10001]: Line ...
分类：
其他好文 时间：
2021-02-10 13:39:36
阅读次数：
0
字符函数 函数返回值型 函数（参数） 描述 string base64(binary bin) 将二进制 bin 转换成 64 位的字符串 string concat(string|binary A, string|binary B...) 对二进制字节码或字符 串按次序进行拼接 array<str ...
分类：
其他好文 时间：
2021-02-10 13:05:47
阅读次数：
0
