阿里巴巴供应商爬虫 起因 学了爬虫入门之后，打算找一个有难度的网站来实践，一开始打算找淘宝或者天猫（业界老大）来实践，但后续发现网上已经有很多这方面的项目，于是瞄上了阿里的国际网站阿里巴巴。开始一切顺利，没发现什么难度，后面发现供应商的联系方式需要登录，于是以其为目标开始写爬虫。 网站结构 1.阿里 ...
分类：
编程语言 时间：
2019-03-27 12:32:32
阅读次数：
300
1. 预备知识 学习者需要预先掌握Python的数字类型、字符串类型、分支、循环、函数、列表类型、字典类型、文件和第三方库使用等概念和编程方法。 2. Python爬虫基本流程 a. 发送请求 使用http库向目标站点发起请求，即发送一个Request，Request包含：请求头、请求体等。 Req ...
分类：
编程语言 时间：
2019-03-21 11:58:43
阅读次数：
213
scrapy startproject bmw cd bmw scrapy genspider bmw5 'autohome.com.cn' 第一种方式:不使用ImagePipeline bww5.py: items.py: settings.py部分设置: pipelines.py: 第二种:通过 ...
分类：
其他好文 时间：
2019-03-17 10:19:42
阅读次数：
153
1. 爬取前的分析 是mitmproxy的命令行接口，比Fiddler、Charles等工具方便的地方是它可以对接Python脚本。 有了它我们可以不用手动截获和分析HTTP请求和响应，只需写好 请求和响应 的处理逻辑即可。 它还可以实现数据的解析、存储等工作，这些过程都可以通过Python实现。 ...
分类：
移动开发 时间：
2019-03-12 09:27:36
阅读次数：
277
一.利用lxml解析 二.利用beautifulSoup解析: 1 import os 2 3 import requests 4 from bs4 import BeautifulSoup 5 6 PROXY = { 7 'HTTPS': '116.209.55.208:9999' 8 } 9 1 ...
分类：
其他好文 时间：
2019-03-10 20:41:56
阅读次数：
296
1 import requests 2 3 url = "https://movie.douban.com/cinema/nowplaying/changsha/" 4 proxy = { 5 'HTTP': '116.209.53.143:9999' 6 } 7 headers = { 8 'Us ...
分类：
其他好文 时间：
2019-03-10 20:31:45
阅读次数：
206
1.爬取百思不得姐段子 1 import requests 2 import re 3 4 5 def parse_url(url): 6 headers = { 7 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' 8 'Appl ...
分类：
其他好文 时间：
2019-03-10 20:24:56
阅读次数：
255
1.处理验证码 import http.client, mimetypes, urllib, json, time, requests ###################################################################### class YDMHt ...
分类：
其他好文 时间：
2019-03-04 19:05:44
阅读次数：
131
1. 第二款抓包工具Charles安装与使用 Charles和Fiddler一样，也是一款抓包工具，比Fiddler界面更加清晰，支持多平台 1.1 官方网址 https://www.charlesproxy.com/ 1.2 下载地址 Charles工具下载地址：https://www.charl ...
分类：
移动开发 时间：
2019-03-04 10:05:59
阅读次数：
242
爬前叨叨 缘由 今天本来没有打算抓取这个网站的，无意中看到某个微信群有人问了一嘴这个网站，想看一下有什么特别复杂的地方，一顿操作下来，发现这个网站除了卡慢，经常自己宕机以外，好像还真没有什么特殊的.... 爬取网址 http://cgk.kxjs.tj.gov.cn/navigation.do 有很 ...
分类：
编程语言 时间：
2019-02-24 11:04:55
阅读次数：
215
