前一阵领导安排了一个任务:定时将集团数据库某表的数据同步至我们公司服务器的数据库,感觉比写增删改查SQL有趣,特意记录下来,希望能帮到有类似需求的小伙伴,如有错误也希望各位不吝指教 环境描述: 集团数据库:Oracle 11g 部门数据库:Oracle 11g 使用的软件:PLSQL Develop ...
分类：
数据库 时间：
2020-07-01 09:18:56
阅读次数：
71
XXL-JOB(任务调度中心)-反弹getshell XXL-JOB漏洞原理: XXL-JOB是一个轻量级分布式任务调度平台，支持通过web页面对任务进行操作，基于Java-spring boot框架开发，利用Maven依赖编译好，开箱即用。 如果XXL-JOB任务调度中心后台使用了弱密码，则可以在 ...
分类：
系统相关 时间：
2020-06-29 21:26:15
阅读次数：
258
sql2slack对于slack 的处理是通过http 请求的，默认已经固定了格式了，以下是一个简单的修改，可以方便的支持钉钉webhook消息 而且具有通用性 需要修改部分 主要是关于使用resty 处理http 请求的部分，默认是写死的，可以修改为 job.go // _, err = rest ...
分类：
数据库 时间：
2020-06-29 11:45:19
阅读次数：
84
使用pigx的定时任务，通过直接加载jar包的方式运行job，需要一个独立的jar应用。简单的应用只使用了ftp和简单的。一直都使用spring+mybatis+druid方式，尝试剥离spring框架（为何会感觉Spring也太重了？），直接用maven来打jar包，并将依赖的jar包一起打入。 ...
分类：
编程语言 时间：
2020-06-29 00:06:04
阅读次数：
75
Hadoop的核心由3个部分组成： HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。 YARN: Yet Another Resource Negotiator，资 ...
分类：
其他好文 时间：
2020-06-27 18:39:42
阅读次数：
68
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
在生产环境中遇到了这种情况：spark程序需要处理输入是多个目录，输出也是多个目录。但是处理的逻辑都是相同的。使用方法经历多次修改，最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理，在此记录一下。 程序中所有异常处理，建议都在函数里面处理好，不要直接写一些处理代码。这样 ...
分类：
数据库 时间：
2020-06-27 00:17:57
阅读次数：
80
7-2 Zigzag Sequence (25分) This time your job is to output a sequence of N positive integers in a zigzag format with width M in non-decreasing order. A ...
分类：
其他好文 时间：
2020-06-26 14:45:16
阅读次数：
81
工程的聚合与依赖 1 聚合 当项目是多模块时，如何一次构建多个模块，而不是要分别到多个模块下分别执行Maven命令。 1.1 父子结构 <!--父模块netsales-poss中的packaging必须为pom--> <packaging>pom</packaging> <!--父模块netsale ...
分类：
其他好文 时间：
2020-06-26 01:39:47
阅读次数：
98
一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 R ...
分类：
其他好文 时间：
2020-06-25 21:27:05
阅读次数：
66
