python2环境下关于urllib2的使用可以学习这篇文章。 本文主要针对python3环境下使用urllib模块实现简单程序爬虫。 链接：https://www.jianshu.com/p/31833117b34b urllib模块的使用 1.数据编码处理 我们通过爬虫程序可以得到网站返回的数据 ...
分类：
Web程序 时间：
2018-12-01 15:24:38
阅读次数：
214
1、 爬虫 1、 用urllib.request库请求一个url的内容。 2、 用 beautifulsoup解析request库请求得到的内容。 3、 在网页上右键 检查，阅读html代码，归纳出想爬到信息属于html树形结构的哪一部分。 4、 用beautifulsoup的next_elemen ...
分类：
其他好文 时间：
2018-12-01 00:23:31
阅读次数：
608
import urllib.request import re import ssl # 处理https请求 import time import os # 创建目录用 def get_html(url): page = urllib.request.urlopen(url) html = page... ...
分类：
编程语言 时间：
2018-11-30 13:55:50
阅读次数：
180
# -*- coding:utf-8 -*-import requestsimport reimport base64from codes import appimport jsonimport urllib.parseimport timeimport datetimesession = requ ...
分类：
其他好文 时间：
2018-11-28 23:40:06
阅读次数：
1934
根据联合国网站可访问性审计报告，73%的主流网站都在其重要功能中依赖JavaScript。和单页面应用的简单表单事件不通，使用JavaScript时，不再是加载后立即下载所有页面内容。这样会造成许多网页在浏览其中展示的内容不会出现在HTML源码中，针对于这种依赖于JavaScript的动态网站，我们 ...
分类：
其他好文 时间：
2018-11-28 14:05:28
阅读次数：
202
Requests基于urllib，比urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。 实例引入 200 ] 各种请求方式 基本GET请求 { "args": {}, "headers": { "Accept": " / ", "Accept Encoding": "gzip, ...
分类：
编程语言 时间：
2018-11-28 12:22:15
阅读次数：
202
第一种请求头的方式 第二种请求头的方式 设置代理通过rulllib.request.ProxyHandler()可以设置代理,网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问,所以这个时候需要通过设置代理来爬取数据 cookie,HTTPCookiProcessor c ...
分类：
Web程序 时间：
2018-11-27 14:44:18
阅读次数：
213
学到哪种程度 暂且把目标定位初级爬虫工程师，简单列一下吧： （必要部分） 了解企业级爬虫和个人爬虫的差异（企业级爬虫，首先在数据量上跟我们平时学习的时候爬虫，不是同一数量级，数据量大很多。其次，企业级爬虫代码一般部署到专门的爬虫服务器上，采取7*24小时运行，所以需要日志监控，异常维护。） 人生苦短 ...
分类：
编程语言 时间：
2018-11-27 14:40:11
阅读次数：
198
urllib提供的功能就是利用程序去执行各种HTTP请求。如果要模拟浏览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏览器发出的请求，再根据浏览器的请求头来伪装，User-Agent头就是用来标识浏览器的。 ...
分类：
编程语言 时间：
2018-11-27 01:34:40
阅读次数：
234
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 pip install requests 安装完成后import一下，正常则说明可以开始使用了。 基本用法： requests.get()用于请求目标网站，类型是一个H ...
分类：
编程语言 时间：
2018-11-26 16:20:36
阅读次数：
243
