需求：闲来无聊，想看小说，但是想下载下来，于是开始准备爬虫。 1.创建项目(命令是在命令行里面执行的) scrapy startproject text #创建一个名字为text的scrapy项目 ...
分类：
其他好文 时间：
2020-12-09 11:56:04
阅读次数：
6
使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Red
分类：
其他好文 时间：
2020-12-09 11:53:29
阅读次数：
6
一日神技：最快30秒写出一个异步加载爬虫(https://s4.51cto.com/images/blog/202012/03/5c1708002c25e9a16f9671eed1606f12.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shado
分类：
其他好文 时间：
2020-12-08 12:54:03
阅读次数：
6
众所周知，Python中的多线程是一个假的多线程，对于多核CPU，由于受限于GIL全局解释锁，同一时刻只能有一个线程在运行。但是对于经常爬虫网络请求、下载图片等IO密集型操作，多线程变的很实用，能在一定程度上提高程序运行的效率。下面带大家从零开始学习Python多线程。1、单线程在单线程程序中可能包含多个方法，运行程序后，默认是在一个主线程里按顺序运行。importtimedefexe_time(
分类：
编程语言 时间：
2020-12-08 12:10:35
阅读次数：
6
GNEv0.1正式发布：4行代码开发新闻网站通用爬虫摄影：产品经理GNE比羊肉面还香！GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的HTML，输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色
分类：
Web程序 时间：
2020-12-08 12:05:08
阅读次数：
8
为aiohttp爬虫注入灵魂摄影：产品经理与产品经理在苏州的小生活听说过异步爬虫的同学，应该或多或少听说过aiohttp这个库。它通过Python自带的async/await实现了异步爬虫。使用aiohttp，我们可以通过requests的api写出并发量匹敌Scrapy的爬虫。我们在aiohttp的官方文档上面，可以看到它给出了一个代码示例，如下图所示：我们现在稍稍修改一下，来看看这样写爬虫，运
分类：
Web程序 时间：
2020-12-08 12:03:47
阅读次数：
9
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
为什么每一个爬虫工程师都应该学习Kafka摄影：产品经理与产品经理环游世界的瞬间这篇文章不会涉及到Kafka的具体操作，而是告诉你Kafka是什么，以及它能在爬虫开发中扮演什么重要角色。一个简单的需求假设我们需要写一个微博爬虫，老板给的需求如下：开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了：接下来开始做报警功能，逻辑也非常简单：再来看看统计关键词的功能，这个功能背后有一个网页，会实时
分类：
其他好文 时间：
2020-12-08 12:02:43
阅读次数：
2
如何使用Flupy构建数据处理管道摄影：产品经理厨师：kingname经常使用Linux的同学，肯定对|这个符号不陌生，这个符号是Linux的管道符号，可以把左边的数据传递给右边。例如我有一个spider.log文件，我想查看里面包含"ERROR"关键词，同时时间为2019-11-23的数据，那么我可以这样写命令：catspider.log|grepERROR|grep"201
分类：
其他好文 时间：
2020-12-08 12:01:17
阅读次数：
2
1方案介绍大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了
分类：
其他好文 时间：
2020-12-07 12:19:18
阅读次数：
6
