介绍 LEFT SEMI JOIN （左半连接）是 IN/EXISTS 子查询的一种更高效的实现。 示例 可以改写为 特点 1、left semi join 的限制是， JOIN 子句中右边的表只能在 ON 子句中设置过滤条件，在 WHERE 子句、SELECT 子句或其他地方过滤都不行。 2、le ...
分类：
其他好文 时间：
2020-03-12 17:09:46
阅读次数：
67
点滴之水，汇成江海！ 这个小问题很容易解决，但真的也困扰了我很久！ 命令案例： sqoop create-hive-table --connect jdbc:mysql://192.168.44.143:3306/sqooptest --username root --password lam7 - ...
分类：
数据库 时间：
2020-03-11 19:46:01
阅读次数：
72
什么是Spark SQL？ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRe ...
分类：
数据库 时间：
2020-03-11 10:46:14
阅读次数：
68
数据操作 加载数据 LOAD DATA 加载数据 LOCAL 本地数据，不加LOCAL就是分布式文件系统数据 OVERWRITE表示覆盖表中已有数据，否则表示追加 通过查询语言插入数据 这里使用了OVERWRITE关键字，之前分区内容会被覆盖掉。这是一次插入。 以下为多次插入，对多个分区目录插入数据 ...
分类：
其他好文 时间：
2020-03-10 12:11:23
阅读次数：
88
背景：1、ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式，2、Sentry当前可以和Hive/Hcatalog、ApacheSolr和ClouderaImpala集成，为这些组件提供权限管理服务。3、基于角色的管理（role-basedacesscontrol）通过创建角色，将每个组件的权限授予给此角色，然后在用户
分类：
其他好文 时间：
2020-03-09 19:38:28
阅读次数：
72
第 7 章 unittest 扩展 在第 6 章中，我们介绍了 unittest 的主要功能，但是如果只用它来写 Web 自动化测试，则仍稍显不足。例如，它不能生成 HTML 格式的报告、它不能提供参数化功能等。不过，我们可以借助第三方扩展来弥补这些不足。 7.1 HTML 测试报告 HTMLTes ...
分类：
Web程序 时间：
2020-03-09 13:53:59
阅读次数：
91
from：https://blog.csdn.net/zhanglh046/article/details/78505038 一 Spark SQL运行架构Spark SQL对SQL语句的处理和关系型数据库类似，即词法/语法解析、绑定、优化、执行。Spark SQL会先将SQL语句解析成一棵树，然后 ...
分类：
数据库 时间：
2020-03-08 16:00:50
阅读次数：
107
1. nvl nvl(value,default_value) 空字段赋值，若value为空，则赋值default_value；若value非空，则返回原本value值。 default_value可以是数值、'字符串'，也可以是字段 2. case...when...then...end case ...
分类：
其他好文 时间：
2020-03-07 13:08:46
阅读次数：
96
先把大家都知道的分桶抽样查询 的语法以及用法po出 select * from 分桶表 tablesample(bucket x out of y on 分桶字段); 假设当前分桶表，一共分了z桶！ x: 代表从当前的第几桶开始抽样 0<x<=y y: z/y 代表一共抽多少桶！ y必须是z的因子或 ...
分类：
其他好文 时间：
2020-03-06 21:54:38
阅读次数：
95
先对数据分个类企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。（1）交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。（2）主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用以描述主数据之间的关
分类：
其他好文 时间：
2020-03-05 19:24:21
阅读次数：
185
