拷贝文件 shutil.copy2('原文件', '现文件')shutil.copy2('file', 'temp') 拷贝目录 shutil.copytree("原目录", "新目录", ignore=shutil.ignore_patterns("*.pyc"))# shutil.copytre ...
分类：
其他好文 时间：
2019-12-13 00:20:54
阅读次数：
122
Rsync的参数详细解释-v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum 打开校验开关，强制对文件传输进行校验-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD-r, --recursive ... ...
分类：
其他好文 时间：
2019-12-13 00:11:24
阅读次数：
96
拉链表测试： 有如下测试数据 --2019/12/1号订单的全量数据 id status create_time operation_time 1 待支付 2019-12-01 2 待支付 2019-12-01 3 已支付 2019-12-01 --2019/12/2号订单的全量数据 id stat ...
分类：
其他好文 时间：
2019-12-12 17:55:34
阅读次数：
164
当需要从Hive等Hadoop集群迁移数据到GaussDB200集群时，因为数据量太大，可能无法导出到本地。此时需要GaussDB200跨集群读取HDFS上的数据，并写入GaussDB200集群。目前GaussDB200只支持跨集群访问FusionInsightHD中的HDFS。前提条件FusionInsightHD和GaussDB200两个集群状态正常并且可以互相通信。远端FusionInsig
分类：
数据库 时间：
2019-12-12 16:34:48
阅读次数：
212
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
#控制台 / 外观 / 编辑当前外观 / 在 functions.php 最后面加入以下代码 #代码已中加入了cookie验证，让文章浏览次数更具有真实性 function get_post_view($archive) { $cid = $archive->cid; $db = Typecho_D ...
分类：
其他好文 时间：
2019-12-12 01:15:08
阅读次数：
103
大表和小表关联查询可以采用mapjoin优化查询速度。那什么是mapjoin呢？理解MapJoin之前先介绍另一种Join方式，CommonJoin。我们知道Hive编写SQL语句，Hive会将SQL解析成MapReduce任务。对于一个简单的关联查询，CommonJoin任务设计Map阶段和Red ...
分类：
其他好文 时间：
2019-12-11 21:07:29
阅读次数：
171
普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。OVER()：指定分 ...
分类：
其他好文 时间：
2019-12-11 18:52:18
阅读次数：
151
将swoole压缩包下载下来 注意：v4.4.*版本需要phpv7.1及以上版本 （1）下载安装包 wget https://github.com/swoole/swoole-src/archive/v4.3.1.zip （2）进行解压，并进入解压后的文件 unzip v4.3.1.zip cd s ...
分类：
其他好文 时间：
2019-12-11 12:51:33
阅读次数：
100
1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 [root@master hive]# cd apache-hive-2.3.3-bin/conf/ #创建文件 [root@master conf]# to ...
分类：
其他好文 时间：
2019-12-11 00:31:50
阅读次数：
164
