GP主要用于数据仓库领域，在GP数据库中，如果由于ETL重复跑数导致数据重复的话，就需要进行去重复操作。 一种方法是把某一时间段的数据全部删掉，然后重新跑数据，这样其实工作量也比较大，需要补数据，重跑ETL。 另一种方法就是把重复的数据删掉就行，本文就是针对Greenplum分布式数据库如何进行去重 ...
分类：
数据库 时间：
2019-08-11 16:52:53
阅读次数：
188
一、Hive介绍 Apache官网给出的logo，一半是Hadoop大象的头，一半是蜜蜂的身体，也是寓意着它是基于Hadoop，哈哈，纯属个人理解，进入正题。 Hive是基于Hadoop的一个数据仓库工具，可以将sql语句转换成MapReduce任务来运行。可以用来数据提取、转化、加载（ETL），这 ...
分类：
其他好文 时间：
2019-08-07 23:02:06
阅读次数：
242
#!/usr/bin/env python# -*- coding: utf-8 -*-import requests from lxml import etree from selenium import webdriverfrom pymongo import MongoClientfrom s ...
分类：
其他好文 时间：
2019-08-07 10:53:02
阅读次数：
171
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> * { margin: 0; padding: 0; } input { margin-top: 20px; } div ...
分类：
其他好文 时间：
2019-08-06 10:50:21
阅读次数：
123
构建数据仓库的核心是建模，在数据仓库的构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线。从数据源中抽取数据，然后对这些数据进行转化，最终加载到目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程(Extract,Transform,Load)。 通常数据抽取工作分抽取、清洗、转换、 ...
分类：
其他好文 时间：
2019-08-05 13:47:31
阅读次数：
144
#include #include #include using namespace std; int main() { const int max = 1000000; char str[max]; char num[max / 10]; stringstream ss; int n, i, j;... ...
分类：
其他好文 时间：
2019-08-05 13:36:49
阅读次数：
112
首先，声明一下，springboot项目中默认情况下已经集成了self4J + LogBack. slf4j作为一个接口定义，底层可以有很多实现框架，同时也可以支持别的日志实现或者框架打到sfl4j上。它的实现是基于不同的桥接包。slf4j作为接口定义，下面有很多种实现。实现原理是获取ILogger ...
分类：
编程语言 时间：
2019-08-03 21:35:44
阅读次数：
322
今天使用到toolbar这个控件，发现其左边总是填充不满，查阅资料，找到解决办法： 在toolbar这个控件中增加以下信息： ...
分类：
移动开发 时间：
2019-08-02 18:46:50
阅读次数：
133
1、效果图示 横线上方的部分不动（没有刷新），下方实现刷新（异步刷新） 2、实现步骤 jquery+ajax+struts技术实现异步刷新功能的步骤： 1、需要用到 jquery+ajax+struts 那么需要用几个包：（commons-logging-1.0.4.jar、freemarker-2 ...
分类：
编程语言 时间：
2019-08-01 20:09:48
阅读次数：
156
