5. 实战Structured Streaming 5.1. Static版本 先读一份static 数据： val static = spark.read.json("s3://tang-spark/data/activity-data/") static.printSchema root |-- ...
分类：
其他好文 时间：
2020-06-12 12:48:53
阅读次数：
137
一、检测是否为数组 // 方式一 ES3 适用于只有一个全局环境 value instanceof Array// 方式二 ES5语法Array.isArray()例子： let arr=[1,‘hello’] console.log(arr instanceof Array) // true co ...
分类：
编程语言 时间：
2020-06-12 01:16:22
阅读次数：
80
学习方法 学习技术的方法都很类似，大部分都有着类似的步骤： 场景 需求 解决方案 应用 原理 并发的目的 充分利用CPU 和 I/O资源 提高效率 并发的维度 分工 同步/协作 互斥 分工 线程池 fork/join future Guarded Suspension 保护性暂挂模式 Balking ...
分类：
其他好文 时间：
2020-06-12 00:48:24
阅读次数：
45
一. Manager 进程之间的共享数据(列表list 或者 字典dict等) from multiprocessing import Process,Manager,Lock def work(data,lock): # 1.正常写法 """ lock.acquire() # data["coun ...
分类：
编程语言 时间：
2020-06-12 00:40:45
阅读次数：
71
公司使用的是postgresql数据库 今天在写项目的时候，遇到了这样一个问题，自己写出的sql语句，如果一次性全部查询出来一共有24条数据，这24条数据也是按照bussinessdate进行降序排列的，显示的最近日期就是自己今天操作的，2020-06-11 但是如果自己加上分页，控制每页显示10条 ...
分类：
数据库 时间：
2020-06-11 23:21:01
阅读次数：
229
敏捷 BI 工具中包含的常规 BI 功能都差不多，更多需要考虑的功能是：关联处理、跨行组计算等，这些功能对产品的性能和处理能力要求很高，大部分产品对这方面的支持性都比较弱。大宽表是通用的处理方式，但是它灵活性很差，经常需要技术人员重新 JOIN 建模，所以要着重考察敏捷 BI 工具对于关联处理的机制 ...
分类：
其他好文 时间：
2020-06-11 21:38:55
阅读次数：
58
OGG进程拆分（单表拆成多个进程） 概要：《OGG进程拆分》介绍了如何将一个入库进程中的多个表拆分到其他进程中。本篇将着重介绍如何使用多个进程同时入库一张表。适用条件：1）入库进程只同步一张表，但仍有延时2）目标段主机CPU、内存压力不大，以便有足够的资源添加新的入库进程 本示例将RZG_CXI2中 ...
分类：
其他好文 时间：
2020-06-11 18:13:28
阅读次数：
94
HIVE count(distinct ) over() 无法使用解决办法 在使用hive时发现count(distinct ) over() 报错 hive> with da as ( > select 1 a, 'a' b union all > select 1 a, 'a' b union ...
分类：
其他好文 时间：
2020-06-11 14:58:24
阅读次数：
200
EXPLAIN输出结果： id： 1、 id相同，从上往下顺序执行； 2.、id不同，id值越大优先级越高，越先被执行； select_type： select_type 表示对应行是简单还是复杂的查询。 select_type Value 解释 SIMPLE 简单SELECT，不使用UNION或子 ...
分类：
数据库 时间：
2020-06-11 12:02:59
阅读次数：
60
浅谈unity的脚本顺序，面试可能会考，以及基于这一点所使用的优化技巧，可以避免莫名其妙的空指针 ...
分类：
编程语言 时间：
2020-06-10 21:29:56
阅读次数：
92
