为aiohttp爬虫注入灵魂摄影：产品经理与产品经理在苏州的小生活听说过异步爬虫的同学，应该或多或少听说过aiohttp这个库。它通过Python自带的async/await实现了异步爬虫。使用aiohttp，我们可以通过requests的api写出并发量匹敌Scrapy的爬虫。我们在aiohttp的官方文档上面，可以看到它给出了一个代码示例，如下图所示：我们现在稍稍修改一下，来看看这样写爬虫，运
分类：
Web程序 时间：
2020-12-08 12:03:47
阅读次数：
9
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
为什么每一个爬虫工程师都应该学习Kafka摄影：产品经理与产品经理环游世界的瞬间这篇文章不会涉及到Kafka的具体操作，而是告诉你Kafka是什么，以及它能在爬虫开发中扮演什么重要角色。一个简单的需求假设我们需要写一个微博爬虫，老板给的需求如下：开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了：接下来开始做报警功能，逻辑也非常简单：再来看看统计关键词的功能，这个功能背后有一个网页，会实时
分类：
其他好文 时间：
2020-12-08 12:02:43
阅读次数：
2
一日一技：不使用try...except掩盖一些已知异常摄影：产品经理下厨：kingname产品经理的母上送的大闸蟹在我们写代码的过程中，可能会遇到很多很多的异常，其中有一些异常，我们知道它无关紧要，可以忽略，那么我们的代码可能会这样写：nums=[1,2,3,‘4‘,5,6]fornuminnums:try:print(num+1)exceptTypeError:pass在这段代码中，需要让列表
分类：
其他好文 时间：
2020-12-08 12:02:15
阅读次数：
2
一日一技：在Python中实现函数重载摄影：产品经理下厨：kingname假设你有一个函数connect，它有一个参数address，这个参数可能是一个字符串，也可能是一个元组。例如：connect(‘123.45.32.18:8080‘)connect((‘123.45.32.18‘,8080))你想在代码里面兼容这两种写法，于是你可能会这样写代码：defconnect(address):ifi
分类：
编程语言 时间：
2020-12-08 12:01:57
阅读次数：
6
一日一技：如何从Redis的列表中一次性pop多条数据？摄影：产品经理产品经理说我炒的蛋炒饭比图中好吃当我们想从Redis的列表里面持续弹出数据的时候，我们一般使用lpop或者rpop:importredisclient=redis.Redis()whileTrue:data=client.lpop(‘key‘)ifnotdata:breakprint(f‘弹出一条数据：{data.decode(
分类：
其他好文 时间：
2020-12-08 12:01:42
阅读次数：
2
一日一技：在Python里面的常用常量字符串摄影：产品经理地点：龙井村曾经，当我想实现：从24个小写字母中随机选择一个字母的时候，我是这样写代码的：importrandomletter=random.choice(‘qwertyuiopasdfghjklzxcvbnm‘)后来，我知道了，原来代码可以这样写：importrandomimportstringletter=random.choice(s
分类：
编程语言 时间：
2020-12-08 12:01:30
阅读次数：
5
如何使用Flupy构建数据处理管道摄影：产品经理厨师：kingname经常使用Linux的同学，肯定对|这个符号不陌生，这个符号是Linux的管道符号，可以把左边的数据传递给右边。例如我有一个spider.log文件，我想查看里面包含"ERROR"关键词，同时时间为2019-11-23的数据，那么我可以这样写命令：catspider.log|grepERROR|grep"201
分类：
其他好文 时间：
2020-12-08 12:01:17
阅读次数：
2
一日一技：使用PPT进行扣图，让你抛弃PhotoShop摄影：产品经理买单：kingname说到移除图片背景，很多人想到的是使用PhotoShop这种大型软件来处理。但实际上，最新版的PowerPoint就能实现这个目的。首先，我们把图片添加到PPT中，如下图所示。然后双击图片，进入图片编辑状态，如下图所示：此时，在左上角可以看到移除背景的按钮。点击它。PPT此时会自动猜测哪些内容可能是你要移除的
分类：
其他好文 时间：
2020-12-08 12:00:32
阅读次数：
2
一日一技：在Python中像字典一样持久化数据摄影：产品经理买单：kingname我们知道，如果我们在Python中想把一段数据持久化到硬盘上，最简单的办法就是写文件：withopen(‘data.txt‘,‘w‘,encoding=‘utf-8‘)asf:f.write(‘username：1234567\n‘)f.write(‘password:9876543\n‘)但这样做有一个弊端，就是在
分类：
编程语言 时间：
2020-12-08 12:00:14
阅读次数：
6
