用到了requests、BeautifulSoup、urllib等，具体代码如下。 在编代码的时候，有一些小细节的处理不够熟练，比如文件的读写。下面再搞一搞。 爬虫爬取了前30个页面保存到本地文件中，其实可以考虑用多线程，线程池的方法去分别爬取每一个主页面，这样可能效率会更高一些。至于多线程的部分， ...
分类：
编程语言 时间：
2018-07-21 16:55:19
阅读次数：
128
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求 ...
分类：
编程语言 时间：
2018-07-21 14:53:08
阅读次数：
170
入门 python爬虫入门一之综述 python爬虫入门二之爬虫基础了解 python爬虫入门三之Urllib库的基本使用 python爬虫入门四之Urllib库的高级用法 python爬虫入门五之URLError异常处理 python爬虫入门六之Cookie的使用 python爬虫入门七之正则表达 ...
分类：
编程语言 时间：
2018-07-21 12:02:42
阅读次数：
136
[TOC] urllib库 python内置的http请求库 官方文档: 一个web测试网站： 1.urllib.request(请求模块) "返回目录" urlopen 发送请求 + url：链接,字符串 + data：post方式表单，bytes类型 + data = bytes(urllib. ...
分类：
Web程序 时间：
2018-07-21 11:57:08
阅读次数：
307
urllib 库 urllib 库是 Python 中一个最基本的网络请求库。它可以模仿浏览器的行为向指定的服务器发送请求，同时可以保存服务器返回的数据。 urlopen() 在 Python3 的 urllib 库中，所有和网络请求的相关方法都被集中到 模块下了。以下是 方法最基本的使用方法： 上 ...
分类：
Web程序 时间：
2018-07-20 22:34:23
阅读次数：
258
#coding:utf8 import requests import Image import cStringIO import imghdr import urllib2 import ssl import urllib import sys import json import time re... ...
分类：
其他好文 时间：
2018-07-20 00:24:50
阅读次数：
564
#coding:utf8 import requests import json import ssl import datetime import urllib import sys import json import time import random reload(sys) sys.set... ...
分类：
其他好文 时间：
2018-07-20 00:22:17
阅读次数：
136
在Python2中有urllib2和urllib3两个库来实现请求的发送，在Pyhon3中则统一为urllib。 urilib包含以下4个模块 一 request模块使用方法 1.urlopen() 基本HTTP请求构造方法 返回结果是一个HTTPResponse类型的对象，主要包含read()，r ...
分类：
Web程序 时间：
2018-07-19 10:50:53
阅读次数：
210
requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License ...
分类：
其他好文 时间：
2018-07-18 23:20:02
阅读次数：
133
http协议通信需要httpServer和httpClient. 在python中 httpServer的实现类是server.py文件，要跟实现tcp,udp Server的文件socketserver.py区分开 httpClient的实现类是client.py文件，也可以使用urllib库自己 ...
分类：
编程语言 时间：
2018-07-18 17:21:05
阅读次数：
529
