#https://movie.douban.com/top250?start=25&filter=要爬取的网页importrefromurllib.requestimporturlopendefgetPage(url):response=urlopen(url)returnresponse.read().decode(‘utf-8‘)defparsePage(s):ret=com.find
分类：
其他好文 时间：
2018-11-26 00:13:33
阅读次数：
355
写爬虫都需要些什么呢,A要爬取的网址难度的大小(选择谷歌对要爬取的网址源代码进行分析)B借用Python中的模块urllib与requests对网址进行请求与访问以requests为例:(requests模块的导入见:http://blog.51cto.com/13747953/2321389)a下载图片importrequestsret=requests.get(‘http://×××w.xia
分类：
其他好文 时间：
2018-11-24 19:52:12
阅读次数：
167
import urllib.requestkeywd="张国荣"keywd=urllib.request.quote(keywd)url="http://www.baidu.com/s?wd="+keywdreq=urllib.request.Request(url)data=urllib.requ ...
分类：
其他好文 时间：
2018-11-24 00:19:00
阅读次数：
151
# python 3.7 from urllib.request import Request,urlopen import time,re,csv class Maoyan(object): def __init__(self): self.header = { 'Connection': 'ke... ...
分类：
其他好文 时间：
2018-11-23 18:38:08
阅读次数：
189
Python爬虫入门（1）：综述 Python爬虫入门（2）：爬虫基础了解 Python爬虫入门（3）：Urllib库的基本使用 Python爬虫入门（4）：Urllib库的高级用法 Python爬虫入门（5）：URLError异常处理 Python爬虫入门（6）：Cookie的使用 Python爬 ...
分类：
编程语言 时间：
2018-11-23 14:16:55
阅读次数：
246
# python 3.7 from urllib.request import Request,urlopen import re,time class Neihan(object): def __init__(self): self.header={ 'Host': 'www.neihan8.co... ...
分类：
其他好文 时间：
2018-11-23 12:37:21
阅读次数：
375
1.概念 requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。 2.安装 2.1 通过pip安装 ->打开命令行，windows->cmd ...
分类：
编程语言 时间：
2018-11-22 16:11:04
阅读次数：
146
import requestsfrom urllib.parse import urlencodefrom pyquery import PyQuery as pq#from pymongo import MongoClientbase_url = 'https://m.weibo.cn/api/c ...
分类：
其他好文 时间：
2018-11-22 11:43:07
阅读次数：
503
import urllib.request response = urllib.request.urlopen("http://www.python.org") print(response.status) #获取响应码 print(response.getheaders()) #获取响应头信息 p... ...
分类：
编程语言 时间：
2018-11-22 00:10:42
阅读次数：
213
Request pip3 install requests res = requests.get(url,params) 获取响应网页对象,params以字典形式向url传参，value值为None不会传入。 import requests params = {'name':'km','age':2 ...
分类：
其他好文 时间：
2018-11-21 15:52:41
阅读次数：
231
