1、给当前日期加一天 -- pre_etl_date和etl_date 均为字符串类型 UPDATE ETL_DATA SET pre_etl_date=DATE_FORMAT(STR_TO_DATE(etl_date,'%y%m%d'),'%y%m%d'),etl_date=DATE_FORMAT ...
分类：
数据库 时间：
2020-07-21 10:00:24
阅读次数：
253
1、日志框架 （1）日志门面和日志实现 日志门面（抽象层）：SL4j（Simlple Logging Facade for Java）、JCL、jboss-logging等 日志实现（实现）：Log4j、JUL、Log4j2、Logback springboot：底层是spring框架，spring ...
分类：
编程语言 时间：
2020-07-20 22:47:45
阅读次数：
78
详情见图 etl_bst_agg_zw_tkt_model_d.py 支持传递时间参数，不传递时，默认调度昨天的数据 如：python etl_bst_agg_zw_tkt_model_d.py 20200101 20200102 调度20200101这一天的数据 python etl_bst_ag ...
分类：
编程语言 时间：
2020-07-20 13:26:11
阅读次数：
135
操作步骤 1）TmpBstAggZwTktModelD 按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d（临时表采用txt格式，按年月日进行分区） 2）HiveBstAggZwTktModelD 连接hive ...
分类：
数据库 时间：
2020-07-20 13:08:14
阅读次数：
129
在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 ...
分类：
其他好文 时间：
2020-07-19 16:25:43
阅读次数：
67
前言，最近利用碎片时间拜读了一下尼古拉斯的另一巨作《高性能JavaScript》，今天写的文章从“老生常谈”的页面重绘和重排入手，去探究这两个概念在页面性能提升上的作用。 一.重排 & 重绘 有经验的大佬对这个概念一定不会陌生，“浏览器输入URL发生了什么”。估计大家已经烂熟于心了，从计算机网络到j ...
分类：
其他好文 时间：
2020-07-19 00:48:55
阅读次数：
101
1.5 CombineTextInputFormat案例实操 1．需求 将输入的大量小文件合并成一个切片统一处理。 （1）输入数据 准备4个小文件 （2）期望 期望一个切片处理4个文件 2．实现过程 （1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。 （2）在Wordc ...
分类：
其他好文 时间：
2020-07-17 09:33:01
阅读次数：
73
上一篇我们介绍到通过 Date Warehouse T-SQL Script 来实现 CDC 数据的 ETL 和 Update，本篇 Blog 带大家通过 Data Factory 工具将该数据处理水线实现自动话，大体思路是将前面的 Data Warehouse ETL 和 Update 通过存储过 ...
分类：
其他好文 时间：
2020-07-14 00:56:14
阅读次数：
98
集合类 他们都在 java.util包里 Iterator（迭代器） Collection List （有序可重复） ArrayList(常用) add remove contains size LinkedList(常用) getFirst（） getLast（） removeFirst() ad ...
分类：
编程语言 时间：
2020-07-13 21:43:45
阅读次数：
78
[C 语言中文开发手册wcschr (Strings) - C 中文开发手册在头文件中定义??wchar_t * wcschr（const wchar_t * str，wchar_t ch）;?（自C95以来）ch在指向的宽字符串中查找宽字符的第一个匹配项str。参数str-指向要分析的以空字符结尾... ...
分类：
其他好文 时间：
2020-07-12 10:26:21
阅读次数：
91
