set hive.mapred.mode=nonstrict； 这是不严格模式，默认如此 对分区表进行查询，若在where子句中没有加分区的话，将禁止提交任务。 把属性值进行设置.默认值是没有开启的。默认是nonstrict 查看hive是否开启严格模式 set hive.mapred.mode 说 ...
分类：
其他好文 时间：
2021-01-26 12:44:54
阅读次数：
0
删除数据库时提示:message:Database DBname is not empty. One or more tables exist. ##解决方案1: 先删除数据库中的所有表，再删除数据库 ##解决方案2： 强制删除 drop database db_hive cascade; ...
分类：
数据库 时间：
2021-01-26 11:44:00
阅读次数：
0
一、分库分表是什么 以常用的表设计为例，当前数据为卖家数据库，包含有商品表、店铺表和地区表： 当需要查询商品的店铺和地理信息时，连表查询SQL为： SELECT p.*,r.[地理区域名称],s.[店铺名称],s.[信誉] FROM [商品信息] p LEFT JOIN [地理区域] r ON p. ...
分类：
其他好文 时间：
2021-01-25 11:32:32
阅读次数：
0
var query1 = from s in ds.AsEnumerable() join t in dt.AsEnumerable() on s.Field<string>("Mid") equals t.Field<string>("C_METER_NUMBER") into temp from ...
分类：
其他好文 时间：
2021-01-25 11:11:45
阅读次数：
0
#Hive 的函数 ##1.系统内置函数 1）查看系统自带的函数 show functions; show functions like "date"; 2）显示自带的函数的用法 desc function upper; desc function 'current_date' 记住带下划线的需要加 ...
分类：
其他好文 时间：
2021-01-25 11:02:17
阅读次数：
0
文章目录 1.Trino与Spark SQL的区别分析 2.Trino与Spark SQL解析过程对比 3.Trino基本概念 4.Trino架构 5.Trino SQL执行流程 6.Trino Task执行流程 相关参考： 1.Trino与Spark SQL的区别分析 2.Trino与Spark ...
分类：
其他好文 时间：
2021-01-22 12:05:01
阅读次数：
0
HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Hive，Hive方便地提供了Hiv ...
分类：
其他好文 时间：
2021-01-21 10:54:30
阅读次数：
0
一、查询优化 1，mysql的调优大纲 慢查询的开启并捕获 explain+慢SQL分析 show profile查询SQL在Mysql服务器里面的执行细节和生命周期情况 SQL数据库服务器的参数调优 2，小表驱动大表 mysql的join实现原理是，以驱动表的数据为基础，“嵌套循环”去被驱动表匹配 ...
分类：
数据库 时间：
2021-01-20 12:07:20
阅读次数：
0
list转字符串lst= ['a','b','c']"_".join(red_ball) 用前面的字符将序列元素连接成字符串。注意：序列中的元素必须是str！！！如果list元素是整型，需要先转成str。 >>>a_b_cl1= [1,2,3,4,5,6]l1= [str(i) for i in l ...
分类：
编程语言 时间：
2021-01-19 11:57:21
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
