4.1 统计视频观看数 Top10 思路：使用 order by 按照 views 字段做一个全局排序即可，同时我们设置只显示前 10 条。 最终代码： SELECT videoId, views FROM gulivideo_orc ORDER BY views DESC LIMIT 10; 4. ...
分类：
其他好文 时间：
2021-06-13 10:04:23
阅读次数：
0
Linux目录结构 ①树形目录结构 ②根目录 所有分区、目录、文件等的位置起点 整个树形目录结构中，使用独立的一个“/”表示 ③常见字目录和作用 /root:系统管理root的宿主目录 /home:普通用户的宿主目录 /boot：系统内核、启动文件 /dev:设备文件 /etc：配置文件 /bin： ...
分类：
系统相关 时间：
2021-06-13 10:02:01
阅读次数：
0
4 Join 语句 4.1 等值 Join Hive 支持通常的 SQL JOIN 语句，但是只支持等值连接，不支持非等值连接。 案例实操 （1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称； hive (default)> select e.empno, e.ename, ...
分类：
编程语言 时间：
2021-06-13 10:00:11
阅读次数：
0
6 分桶及抽样查询 6.1 分桶表数据存储 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径；分桶针 ...
分类：
其他好文 时间：
2021-06-13 09:57:59
阅读次数：
0
内容概要 常用命令(文件) 创建文件 创建文件夹 查看文件夹下面的文件 查看当前所在的路径 切换目录 移动文件 复制文件 删除文件 打印命令 打印出当前系统中所有的变量 重定向符号 查看文件内容 隐藏文件 磁盘 磁盘分区的格式化及挂载 内容详细 常用命令 1 创建文件： ? # 在Linux系统中创 ...
分类：
其他好文 时间：
2021-06-13 09:25:48
阅读次数：
0
一、文件存储 kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片 并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是<top ...
分类：
其他好文 时间：
2021-06-11 17:32:01
阅读次数：
0
#COMMAND="hive -i settings/load-${SCHEMA_TYPE}.sql -f ddl-tpch/bin_${SCHEMA_TYPE}/${t}.sql \ # -d DB=${DATABASE} \ # -d SOURCE=tpch_text_${SCALE} -d B ...
分类：
其他好文 时间：
2021-06-10 18:25:11
阅读次数：
0
转自：https://blog.csdn.net/pmdream/article/details/113601956 一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称 ...
分类：
其他好文 时间：
2021-06-10 17:32:45
阅读次数：
0
简介：快速了解汇量科技在云原生数据湖领域的探索和实践，详解 StarLake 的架构及业务应用案例。作者：陈绪（汇量科技资深算法架构师，EnginePlus 2.0 产品负责人）内容框架：? 互联网业务视角看湖仓一体? StarLake 架构实践? StarLake 业务应用案例? 未来方向一、互联 ...
分类：
其他好文 时间：
2021-06-09 15:35:54
阅读次数：
0
1、什么是表分区？ mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对应着三个文件，一个是frm存放表结构的，一个是myd存放表数据的，一个是myi存表索引的。如果一张表的数据量太大的话，那么myd,m ...
分类：
数据库 时间：
2021-06-09 10:32:43
阅读次数：
0
