在对数据进行汇总和分析的时候，经常需要用到排名相关的操作，下面是hive中经常用到的3个排名函数： rank() dense_rank() row_number() 函数说明： rank():在一组数据内按顺序显示排名顺序，值相同的情况下，排序数会重复，下个排序数会根据记录数接着排名。 dense_ ...
分类：
其他好文 时间：
2020-07-19 00:49:43
阅读次数：
74
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类：
数据库 时间：
2020-07-19 00:39:19
阅读次数：
98
ElasticSearch之介绍 一 Elasticsearch产生背景 1.1 大规模数据如何检索 如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、oracle、mongodb、hbase…) 2）如何解决单点故障 ...
分类：
其他好文 时间：
2020-07-18 22:29:18
阅读次数：
436
在配置hadoop集群时，时间同步是必须要做的，否则会出现各种意想不到的问题。 hadoop102 为 ntp server，hadoop103以及hadoop104 为ntp client（即需要同步时间机器） 1.全部机器都要安装ntp以及ntpdate sudo apt-get install ...
分类：
系统相关 时间：
2020-07-18 16:09:18
阅读次数：
143
首先去mysql官网下载mysql的离线rpm安装包（https://downloads.mysql.com/archives/community/） 上传到/data/rpm/mysql8.0目录下 因为Mysql依赖于mariadb，所以我们先用rpm -qa | grep mariadb 查找 ...
分类：
数据库 时间：
2020-07-18 13:32:54
阅读次数：
118
1、官网下载地址：https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxC ...
分类：
其他好文 时间：
2020-07-17 22:02:27
阅读次数：
140
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高 ...
分类：
其他好文 时间：
2020-07-17 09:35:30
阅读次数：
65
1.5 CombineTextInputFormat案例实操 1．需求 将输入的大量小文件合并成一个切片统一处理。 （1）输入数据 准备4个小文件 （2）期望 期望一个切片处理4个文件 2．实现过程 （1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。 （2）在Wordc ...
分类：
其他好文 时间：
2020-07-17 09:33:01
阅读次数：
73
● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
