SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
nginx location正则写法 示例： # 如果 url 含有 . , 并且 不以 do 或 action 结尾，则匹配成功。 location ~ .*\.(?!(do|action)$) { root /demo/code/webroot; } ^~ 标识符匹配后面跟-一个字符串。匹配字符 ...
分类：
其他好文 时间：
2020-07-09 15:28:42
阅读次数：
81
一、嵌套循环 循环语句可以在循环内使用任意类型的命令，包括其他循环命令。这种循环叫作嵌套循环（nested loop）。注意，在使用嵌套循环时，你是在迭代中使用迭代，与命令运行的次数是乘积关系。不注意这点的话，有可能会在脚本中造成问题。 这里有个在for循环中嵌套for循环的简单例子。 1 $ ca ...
分类：
系统相关 时间：
2020-07-09 09:25:33
阅读次数：
103
0x01 进入页面如下，我们发现有两个按钮，login和join 一般第一步我们应该是先对网站进行扫描，看看有没有扫描目录和文件，但是我在扫描的时候发现返回的状态码全是200，显然是做了手脚，但是这里我们还可以通过返回的页面长度来判断，因为不存在的页面都重定向到一个页面，发现存在robots.txt ...
分类：
Web程序 时间：
2020-07-09 01:08:46
阅读次数：
121
摘要： 本篇主要剖析webmagic的downloader模块，对于httpclient模块涉及到的http相关的知识，例如：Request、Response以及重定向策略进行一定的分析。首先梳理了本模块的结构、然后对于执行流程进行了分析，最后对于其中涉及的设计模式：单例模式和相关算法进行了代码分析 ...
分类：
Web程序 时间：
2020-07-09 00:59:11
阅读次数：
113
写在前面 在上一篇文章《性能脚本试运行》中已经有讲解一部分场景设置和监控，这篇文章是对其的一个补充。 场景设置主要是思考时间设置，集合点设置，运行策略设置。 监控服务器的方式是通过"vmstat"命令，将监控日志重定向输入到TXT文本中。 场景设置 思考时间设置 选择replay think tim ...
分类：
其他好文 时间：
2020-07-08 23:08:13
阅读次数：
102
#03章 数据链路层 数据链路层像一个数字管道，在数字管道上传输的数据单位是帧 帧包括了网络层传入的 尾 校验值 数据包 头 基本概念 链路(link) 链路是一条点到点的物理线路段，中间没有任何其他的交换节点![] 一条链路只是一条通路的一个组成部分 数据链路(data link) 数据链路除了物 ...
分类：
其他好文 时间：
2020-07-08 19:41:08
阅读次数：
48
解析 pid=ps -ef | grep $APP_NAME | grep -v grep | awk '{print $2}'ps -ef 显示所有进程参考 -ef 和aux的区别 -ef 和 aux-ef 不截断commandaux 显示cpu和内存使用率| 管道符左边的输出作为右边的输入gre ...
分类：
移动开发 时间：
2020-07-08 13:36:22
阅读次数：
133
idhttp=new TIdHTTP(NULL);idhttp->AllowCookies =true;idhttp->HandleRedirects =true; //允许重定向idhttp->ConnectTimeout =20000;idhttp->ReadTimeout =20000;//h ...
分类：
Web程序 时间：
2020-07-07 13:16:55
阅读次数：
91
前言 在发生故障切换后，经常遇到的问题就是同步报错，数据库很小的时候，dump完再导入很简单就处理好了，但线上的数据库都150G-200G，如果用单纯的这种方法，成本太高，故经过一段时间的摸索，总结了几种处理方法。 生产环境架构图 目前现网的架构，保存着两份数据，通过异步复制做的高可用集群，两台机器 ...
分类：
数据库 时间：
2020-07-07 00:31:57
阅读次数：
69
