今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 ...
分类：
其他好文 时间：
2020-07-17 09:40:37
阅读次数：
123
用到Charles，下载最新的4。5.6版本，但是发生乱码问题。这里记下详细的操作步骤解决： 1.安装SSL证书 ，需要去http://www.charlesproxy.com/ssl.zip 下载 CA 证书文件，然后双击 .crt 文件，选择「总是信任」按钮，在钥匙串访问中即可看到添加成功的证书 ...
分类：
其他好文 时间：
2020-07-16 21:44:13
阅读次数：
87
下载文件：wget http://192.168.2.15:8088/project/project.zip 删除文件： rm -rf /var/log/httpd/access 解压rar unrar e project.rar 解压zip unzip project.zip 修改后缀 mv pr ...
分类：
其他好文 时间：
2020-07-16 21:28:16
阅读次数：
67
Logstash连接MySQL 下载MySQL驱动 打开驱动jar包下载地址：https://dev.mysql.com/downloads/connector/j/ 选择平台无关的版本 下载zip版本，在本地打开，解压出jar文件 因为logstash在ubuntu下的默认配置文件路径是 /etc ...
分类：
数据库 时间：
2020-07-15 23:45:46
阅读次数：
100
https://www.cnblogs.com/manastudent/p/12264408.html 现在使用 Jenkins 自动化部署项目有这样一个问题，那就是项目使用到的 jar 包比较多，这就导致每次将 war 包上传到服务器上的时间就比较长。今天无意间看到一个方法可以大幅减少 war 包 ...
分类：
其他好文 时间：
2020-07-15 23:24:36
阅读次数：
65
Capitalone创立于1988年，最早是弗吉尼亚州Signet银行的信用卡部门；1994年，Signet将信用卡部门独立出来并在纽交所上市，于1995年更名为CapitalOne。自上市以来，CapitalOne的股价一路走高，成长为美国第五大零售银行和第八大银行。在CapitalOne发展史上，其多次通过并购拓展业务，并延伸到了英国和加拿大。尤为令人瞩目的是，2008年金融危机之后，
RocketMQ下载地址及相关文档 下载地址：http://rocketmq.apache.org/dowloading/releases 下载版本 rocketmq-all-4.6.0-bin-release.zip解压后目录结构，bin目录下存放可运行的脚本 RocketMQ自身分为 NameS ...
#0x01 知识点 伪加密 steghide提取信息 #0x02 伪加密的判断 首先，在winhex分析，发现有4个zip文件的文件头和2个文件尾，有完整文件头尾那么可以直接修改后缀为zip解压， 查看一下压缩包里的文件，发现有加密，继续分析zip的部分 我们仔细看一下这一部分，会发现存在一个伪加密 ...
分类：
其他好文 时间：
2020-07-14 11:47:10
阅读次数：
166
官方文档：https://hellosean1025.github.io/yapi/devops/index.html#%E5%AE%89%E8%A3%85 一：本地开发(可视化部署) npm install -g yapi-cli --registry https://registry.npm.t ...
下面是.net后端判断请求是否为AJAX请求的方法： /// <summary> /// 判断是否为AJAX请求 /// </summary> /// <param name="req"></param> /// <returns></returns> public static bool IsAj ...
分类：
Web程序 时间：
2020-07-13 13:34:28
阅读次数：
73
