yield item 会执行 process_item def process_item return item 交给下一个pipeline raise DropItem 丢弃掉，不给下一个pipeline crawler.settings crawler封装了settings 配置文件必须大写 # ...
分类：
其他好文 时间：
2019-08-31 12:48:06
阅读次数：
84
基于上篇博文存在的问题 https://www.cnblogs.com/Alexephor/p/11432195.html -无法完成爬虫刚开始 打开连接 爬虫关闭时：关闭连接 -分工不明确 本篇博文解决以上两问题 上篇博文不足之处主要体现在爬虫部分parse中在爬数据的过程操作了实时打开关闭文件处 ...
分类：
其他好文 时间：
2019-08-30 22:56:48
阅读次数：
72
"系列目录" 有的童鞋可能已经发现,PipeLine项目与自由式项目相比,可配置的项少了很多,比如说环境变量定义,所有步骤完成后执行动作,拉git代码库等.其实这些功能并没有缺,而是配置的方式不一样了,以前是通过图形化界面配置,虽然直观简便,但是功能不能包罗万像,对于一些复杂的项目显得捉襟见肘,而J ...
分类：
其他好文 时间：
2019-08-30 09:44:08
阅读次数：
454
介绍随着业务的增长，需求也开始增多，每个需求的大小，开发周期，发布时间都不一致。基于微服务的系统架构，功能的叠加，对应的服务的数量也在增加，大小功能的快速迭代，更加要求部署的快速化，智能化。因此，传统的人工部署已经心有余而力不足。持续集成，持续部署，持续交互对于微服务开发来说，是提高团队整体效率不可或缺的一环。合理的使用CI,CD能够极大的提高了生产效率，也提高了产品的交互质量。流程梳理：1.开发
分类：
其他好文 时间：
2019-08-29 13:25:29
阅读次数：
158
好程序员大数据学习路线分享MAPREDUCE，需求：统计大量的文本文件中的单词出现的次数1）整个运算需要分阶段阶段一：并行局部运算阶段二：汇总处理，不同的阶段需要开发不同的程序2）阶段之间的调用3）业务程序（task程序）如何并发到集群并启动程序4）如何监控task程序的运行状态，如何处理异常::这些问题是开发分布式程序都会面临的问题，完全可以封装成框架::MR的结构一个完整的MapReduc
分类：
其他好文 时间：
2019-08-23 00:24:34
阅读次数：
114
Apache Beam实战指南 | 大数据管道（pipeline）设计及实践 mp.weixin.qq.com Apache Beam实战指南 | 大数据管道（pipeline）设计及实践 mp.weixin.qq.com mp.weixin.qq.com 策划 & 审校 | Natalie作者 | ...
分类：
Web程序 时间：
2019-08-22 11:01:48
阅读次数：
109
原文:ASP.NET Core Web 应用程序系列（一）- 使用ASP.NET Core内置的IoC容器DI进行批量依赖注入（MVC当中应用） 在正式进入主题之前我们来看下几个概念： 一、依赖倒置 依赖倒置是编程五大原则之一，即： 1、上层模块不应该依赖于下层模块，它们共同依赖于一个抽象。 2、抽... ...
分类：
Web程序 时间：
2019-08-21 09:33:20
阅读次数：
96
ELK报错及解决方案 1.jdk版本问题 解决方案： 这里是说Elasticsearch该版本内置了JDK，而内置的JDK是当前推荐的JDK版本。当然如果你本地配置了JAVA_HOME那么ES就是优先使用配置的JDK启动ES。 ES推荐使用LTS版本的JDK（这里只是推荐，JDK8就不支持），如果你 ...
分类：
其他好文 时间：
2019-08-19 21:00:35
阅读次数：
263
Scrapy进阶知识点总结（四）——Item Pipeline ...
分类：
其他好文 时间：
2019-08-18 13:34:02
阅读次数：
83
第1章 初识Redis 1. Redis介绍： Redis是一种基于键值对（key-value）的NoSQL数据库。 与很多键值对数据库不同的是，Redis中的值可以是由string（字符串）、hash（哈希）、list（列表）、set（集合）、zset（有序集合）等多种数据结构和算法组成，因此Re ...
分类：
其他好文 时间：
2019-08-17 17:59:01
阅读次数：
91
