前言：GitLab和GitHub一样属于第三方基于Git开发的作品，免费且开源（https://github.com/gitlabhq/gitlabhq 基于MIT协议），与Github类似，可以注册用户，任意提交你的代码，添加SSHKey等等。不同的是，GitLab是可以部署到自己的服务器上，数据 ...
分类：
其他好文 时间：
2019-02-10 09:23:46
阅读次数：
172
代码如下： dataFrame.createOrReplaceTempView("view_page_utm")val sql = s""" |insert overwrite table data_lake_v1.urchin_tracking_module PARTITION(cd='$date ...
分类：
其他好文 时间：
2019-01-26 21:38:53
阅读次数：
222
在IDEA中spark(enableHiveSupport)中使用 insert overwrite时对空表可以正常写入但是如果表不为空就会报错处理方法 在IDEA中spark(enableHiveSupport)中使用 insert overwrite时对空表可以正常写入但是如果表不为空就会报错处 ...
分类：
其他好文 时间：
2019-01-15 14:19:15
阅读次数：
356
1. 多表join优化代码结构： select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现IN/EXISTS子查 ...
分类：
其他好文 时间：
2019-01-15 00:40:38
阅读次数：
216
// Place your settings in this file to overwrite the default settings { "files.autoGuessEncoding": true, "files.associations": { "*.wxss": "css", "*.w ...
分类：
Web程序 时间：
2018-12-31 17:32:45
阅读次数：
288
# -*- coding: utf-8 -*-# @Time : 2018/12/6 17:10# @Author : suchao# @Disc: : 生成10000条Excel数据# @File : 1000data.py# @Software: PyCharmimport xlrd ,xlwt ...
分类：
编程语言 时间：
2018-12-07 21:07:18
阅读次数：
279
今天发现mybatis generator maven plugin在重复生成的时候xml文件只会merge，不会覆盖。 明明在pom.xml中配置了如下： 去github上查找与overwrite相关的issue，找到了这个提交。 上面的意思是：当你取消了所有注释，你在重复运行generator时 ...
分类：
其他好文 时间：
2018-12-05 10:18:38
阅读次数：
1443
在新建一张分区表或者对老分区表更改表结构后希望能保留老的分区的数据，因此就需要对新建的分区表进行初始化重刷历史分区数据操作。 一、初始化刷新方法1 事实表和维表均取最新分区数据，以事实表的业务动作事实发生日期作为历史分区的分区字段值。参考下面这段hive脚本 1 insert overwrite t ...
分类：
其他好文 时间：
2018-11-22 12:28:23
阅读次数：
602
```
# _*_ coding=utf-8 _*_ import sys
import os hosts = {}
cmd1 = '''
curl -i -X PUT "http://%s:50070/webhdfs/v1%s?op=CREATE&user.name=op&overwrite=tr... ...
分类：
Web程序 时间：
2018-11-20 11:42:20
阅读次数：
480
Hash Clustering通过允许用户在建表时设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。 对于Hash Clustering整体带来的性能收益，我们通过标准的TPC-H测试集进行衡量。
分类：
其他好文 时间：
2018-11-13 17:15:19
阅读次数：
183
