CrawlSpider类，Spider的一个子类 - 全站数据爬取的方式 - 基于Spider：手动请求 - 基于CrawlSpider - CrawlSpider的使用： - 创建一个工程 - cd XXX - 创建爬虫文件（CrawlSpider）： - scrapy genspider -t ...
分类：
其他好文 时间：
2020-06-30 22:33:57
阅读次数：
52
from:https://juejin.im/post/5ad4b620f265da23a04a0ad0 看原文代码即可知道本质 Deep Learning On Spark 经过刚才的介绍，我们知道spark是一个分布式的通用计算框架，而以tensorflow为代表的deep learning是一 ...
分类：
其他好文 时间：
2020-06-28 13:38:28
阅读次数：
60
工业4.0是个白日梦吗？ Is Industry 4.0 a Pipe Dream? 尽管全球对工业4.0大肆宣传，但这一现象基本上仍停留在理论层面。 几年来，贸易媒体一直充斥着关于工业4.0的文章，但这个概念是从何而来的呢？早在2011年，Henning Kagermann博士、Wolfgang ...
分类：
其他好文 时间：
2020-06-26 14:47:42
阅读次数：
64
jenkins：是开源，可扩展的持续集成、交付、部署的平台。CI/CD：持续集成/持续交付持续集成：不同开发人员将提交代码整合到系统上。持续交付：将集成后的代码部署到更贴近真实运行环境中。pipeline：管道，在管道脚本中控制服务构建的流程， 可能包括checkstyle，findbugs，dep ...
分类：
编程语言 时间：
2020-06-21 12:14:05
阅读次数：
117
1. 下载软件包 cd /usr/local/elk/ # 先导航到要存放的目录下 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.tar.gz # 下载 tar -xzf logstash-7.7.1.tar. ...
分类：
其他好文 时间：
2020-06-19 16:27:53
阅读次数：
243
Java NIO 由三个核心组件构成：Selector （选择器）, Channel（通道） , Buffer （缓冲区）。 虽然NIO体系还是有其它组件，比如：Pipe，FileLock等 它们只是与三个组件结合实际使用类。 三者关联关系： 一个线程对应一个selector， 一个selector ...
分类：
编程语言 时间：
2020-06-19 00:56:13
阅读次数：
76
就在前几天，阿里云重磅推出第七代高主频云服务器，那么第七代高主频云服务器实例给企业带来哪些体验呢，对比以往的第五代、第六代实例在性能以及稳定性有哪些明显的提升呢?
分类：
其他好文 时间：
2020-06-18 17:45:37
阅读次数：
353
个人觉得，jenkins当然是最重要的还是这部分知识点 首先讲解一下java的后台运用 先添加对应着pipeline的参数 Save_Tag_Name Code_Sacn build_mode Tag_Message 以上四个参数 讲解pipeline 这里还是比较清晰的，agnet选择了slave ...
分类：
其他好文 时间：
2020-06-18 16:32:43
阅读次数：
53
pipeline 只是把多个redis指令一起发出去，redis并没有保证这些指定的执行是原子的；multi相当于一个redis的transaction的，保证整个操作的原子性，避免由于中途出错而导致最后产生的数据不一致。通过测试得知，pipeline方式执行效率要比其他方式高10倍左右的速度，启用 ...
分类：
其他好文 时间：
2020-06-16 15:19:15
阅读次数：
59
##1. 文件描述符 打开或创建一个文件时，内核向进程返回一个文件描述符，当读、写一个文件时，用open()或creat()返回的文件描述符标识该文件，将其作为参数传递给write、read。 stdin标准输入 fd = 0 stdout标准输出 fd = 1 stderr标准错误 fd = 2 ...
分类：
其他好文 时间：
2020-06-12 20:24:48
阅读次数：
65
