# -*- coding: utf-8 -*-"""语言版本：python：3.6.1scrapy：1.3.3功能：本蜘蛛主要演示如何爬取多个页面作者：cuanboy出处：http://www.scrapyd.cn （scrapy中文网）时间：2017年12月16日15:55:00运行：CMD模式进 ...
分类：
其他好文 时间：
2020-06-23 12:55:24
阅读次数：
48
安装库获取随机的UserAgent的两种方法 # 获取随机的UA ''' 首先安装包 pip install fake_useragent pip install faker ''' # 方法一 from fake_useragent import UserAgent ua = UserAgent( ...
分类：
编程语言 时间：
2020-06-23 00:38:23
阅读次数：
106
# 本节内容： # 解析复杂的 HTML网页： # 1--bs.find() bs.find_all() tag.get_text() # find_all(tag/tag_list,attributes_dict,recursive,text,limit,keywords) # find(tag/ ...
分类：
其他好文 时间：
2020-06-22 20:59:01
阅读次数：
47
什么是爬虫框架 说这个之前，得先说说什么是框架： 是实现业界标准的组件规范：比如众所周知的MVC开发规范 提供规范所要求之基础功能的软件产品：比如Django框架就是MVC的开发框架，但它还提供了其他基础功能帮助我们快速开发，比如中间件、认证系统等 框架的关注点在于规范二字，好，我们要写的Pytho ...
分类：
编程语言 时间：
2020-06-22 10:52:35
阅读次数：
62
我们已经抓取了一个HTML页面，接下来，我们使用BeautifulSoup来分析页面。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python- ...
分类：
编程语言 时间：
2020-06-22 10:52:00
阅读次数：
56
一.抓包工具 mitmproxy的使用 Fiddler手机抓包设置 Fiddler抓取内容自动保存本地 fiddler抓包syntaxview窗口乱码 Fiddler显示指定host请求,以及过滤无用的css,js 手机APP无法抓包(无法连接服务器) python爬虫用drony转发进行抓包转发 ...
分类：
移动开发 时间：
2020-06-21 19:53:18
阅读次数：
77
最近写一个小爬虫，需要拿到邮箱信息，发现拿不到，也不是ajax接口。最后查资料发现是被Cloudflare加密起来了，有加密肯定有解密。 通过大佬https://blog.shiniv.com/2016/09/decode-encode-cloudflare-address-obfuscation/ ...
分类：
编程语言 时间：
2020-06-21 15:47:23
阅读次数：
77
前言 小的时候心中总有十万个为什么类似的问题，今天带大家爬取一个问答类的网站。 本堂课使用正则表达式对文本类的数据进行提取，正则表达式是数据提取的通用方法。 环境介绍： python 3.6 pycharm requests re json 爬虫的一般思路 1、确定爬取的url路径，headers参 ...
分类：
编程语言 时间：
2020-06-19 23:11:46
阅读次数：
70
requests库是一个常用的用于http请求的模块，它使用python语言编写，可以方便的对网页进行爬取，是学习python爬虫的较好的http请求模块。 一、 requests模块的安装 首先我们要继续requests模块的安装。 1、 pip命令安装 windows系统下只需要在命令行输入命令 ...
分类：
编程语言 时间：
2020-06-19 21:12:53
阅读次数：
59
面对这么多的知识点，有的盆友就麻爪了…… 我是谁？ 我该从哪里开始看？ 我该怎么看？ 我该看多少？ 这，是一个问题。 我们贴心的做了一个学习线路图： 然并卵，很多人还是一头雾水…… 我们先对每阶段课程做个简单介绍： PC端页面制作 学习HTML+CSS搭建网页、PhotoShop切图等基础知识，属于 ...
分类：
其他好文 时间：
2020-06-18 14:36:47
阅读次数：
147
