前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
ZIP归档可以把一个或多个文件压缩成占用空间更小的单一文件。当你想释放硬盘空间，或者需要通过邮件和《信息》发送多个文件时，ZIP的重要性不言而喻。macOS的《访达》内置了ZIP压缩功能，使用方法非常简单。下面就来看看它的基本用法，以及一些进阶功能。一键压缩文件压缩单个文件或文件夹时，按住Control点按该文件，然后在弹出菜单中选择压缩即可。压缩后的归档文件与原文件同名，但带有.zip后缀。解压
分类：
其他好文 时间：
2020-10-27 11:25:10
阅读次数：
33
DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
hive 建表语法 内部表： create table fzname (id int,name string,age int,tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 1 2 3 4 5 ...
分类：
其他好文 时间：
2020-10-18 16:40:39
阅读次数：
25
先搬个砖： 一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 二：mapreduce的基本流程及阶段可进行的优化操作 （其实有很多不用设置有默认的设置或设置后反而执行时间长，此处做了解，参考设置在下一节） 附上网上的一张老图（虽然老但是很具有代表性， ...
分类：
其他好文 时间：
2020-10-16 11:19:02
阅读次数：
24
做过的代码量最大的一个题 说出的好也好，不好也不好，利用点很简单，就是一个大规模的heapoverflow，就是逆起来有点儿难度 思路很简单，就是利用堆溢出覆盖结构体中的指针为__free_hook，然后改freehook 给👴整吐了，做了俩小时，然后本地到了最后一步，freehook每次内容都是 ...
分类：
其他好文 时间：
2020-10-16 10:49:17
阅读次数：
28
在Jenkins服务器中，安装GitLab和GitLab Hook 登录gitlab，生成一个Personal Access Tokens 打开settings找到Access Tokens设置生成token 进入Jenkins，添加api token 路径：首页 --> 凭据 --> 添加凭据添加 ...
分类：
其他好文 时间：
2020-10-13 16:54:56
阅读次数：
19
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类：
数据库 时间：
2020-10-06 20:52:59
阅读次数：
35
Q1：xpinyin模块打包之后显示找不到指定文件Mandarin.dat description： 见标题 answer： 在Anaconda\Lib\site-packages\xpinyin路径下找到__init__.py 然后在__init__.py中编辑，找到 data_path = os ...
分类：
其他好文 时间：
2020-10-05 22:32:11
阅读次数：
56
可以通过命令行查看所有marker，包括内置和自定义的 pytest --markers 内置marker 内置marker本文先讲usefixtures 、filterwarnings 、skip 、skipif 、xfail这5个。参数化的marker我会写在《pytest参数化》中，hook的 ...
分类：
其他好文 时间：
2020-09-24 20:55:27
阅读次数：
31
