一、什么是PyQuery？ PyQuery库也是一个非常强大又灵活的网页解析库。 官网地址：http://pyquery.readthedocs.io/en/latest/ 二、PyQuery基本库使用 1.初始化 2.CSS选择器-获取标签 3.CSS选择器-获取属性 4.获取内容 5.获取HTM ...
分类：
编程语言 时间：
2019-08-03 12:43:08
阅读次数：
107
[TOC] Requests库 Requests库的7个主要方法 | 方法 | 说明 | | : : | : : | | requests.request() | 构造一个请求，支撑以下各方法的基础方法 | | requests.get() | 获取HTML网页的主要方法，对应于HTTP的GET | ...
分类：
编程语言 时间：
2019-08-02 20:26:58
阅读次数：
105
一、常用匹配模式 二、常用正则方法 1.match()方法 从字符串的起始位置匹配一个模式，如果不是起始位置匹配的话，match（）就会返回None 语法格式：re.match(pattern,string,flags=0) result.group()获取匹配的结果，result.span()获去 ...
分类：
编程语言 时间：
2019-08-02 00:10:33
阅读次数：
121
参考学习：https://www.cnblogs.com/alex3714/articles/8359358.html 一、urllib库介绍 urllib库，它是Python内置的HTTP请求库。它包含4个模块： request： HTTP请求模块， 可以用来模拟发送请求。 error： 异常处理 ...
分类：
编程语言 时间：
2019-08-02 00:07:51
阅读次数：
116
0x00 场景 在测试某个app的时候，抓取数据包，发现某些参数存在被加密的情况，或者有签名校验的情况，这个时候如果我们想直接去篡改数据包的内容往往是做不到的，那就来看看抓取的某个app登录数据包，如下所示，password字段明显进行了加密： 接下来，就开始通过JEB对apk进行反编译后动态调试定 ...
分类：
其他好文 时间：
2019-08-02 00:05:17
阅读次数：
178
如果想要大规模抓取数据，那么一定会用到分布式爬虫，对于分布式爬虫来说，我们一定需要多台主机，每台主机多个爬虫任务，但是源代码其实只有一份。那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行，那么怎么去部署就又是一个值得思考的问题。对于Scrapy来说，它有一个扩展组件叫做Scrapyd，我们只需要安装Scrapyd即可远程管理Scrapy任务，包括部署源码、启动任务、监听任务等操作。另外
分类：
编程语言 时间：
2019-08-01 09:41:48
阅读次数：
166
获取全站用户，理论来说从1个用户作为切入点就可以，我们需要爬取用户的关注列表，从关注列表不断的叠加下去。随便打开一个用户的个人中心绿色圆圈里面的都是我们想要采集到的信息。这个用户关注0人？那么你还需要继续找一个入口，这个用户一定要关注了别人。选择关注列表，是为了让数据有价值，因为关注者里面可能大量的小号或者不活跃的账号，价值不大。我选了这样一个入口页面，它关注了3个人，你也可以选择多一些的，这个没
分类：
编程语言 时间：
2019-07-28 09:45:05
阅读次数：
126
全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。你第一步找一个爬取种子，算作爬虫入口https://www.zhihu.com/people/zhang-jia-wei/followin
分类：
编程语言 时间：
2019-07-28 09:25:45
阅读次数：
111
import urllib import os,refrom urllib import request, parseimport requestsimport randomimport timefrom bs4 import BeautifulSoup user_agent_list = [ "M ...
分类：
编程语言 时间：
2019-07-27 23:52:19
阅读次数：
166
