1、抓取网页的内容 urlopen(url)函数：这个函数返回一个 http.client.HTTPResponse 对象, 这个对象又有各种方法 #coding=utf-8import urllib.request url="http://www.baidu.com/"data=urllib.re ...
分类：
编程语言 时间：
2018-06-30 14:47:01
阅读次数：
134
真正有知识的人的成长过程，就像麦穗的成长过程：麦穗空的时候，麦子长得很快，麦穗骄傲地高高昂起，但是，麦穗成熟饱满时，它们开始谦虚，垂下麦芒。——蒙田《蒙田随笔全集》上篇论述了关于python多线程是否是鸡肋的问题，得到了一些网友的认可，当然也有一些不同意见，表示协程比多线程不知强多少，在协程面前多线程算是鸡肋。好吧，对此我也表示赞同，然而上篇我论述的观点不在于多线程与协程的比较，而是在于IO密集型
分类：
编程语言 时间：
2018-06-27 10:19:49
阅读次数：
291
在上一节中我们知道了URLopen()可以实现最基本的爬虫请求： 但是几个参数根本不足以构建完整的请求。假如需要在请求中假如Header等信息，就可以尝试利用更加强大的Request类来进行构建。 下面的例子是一个用法： 这一次我们依旧是用urlopen来发送请求，但是不同的是，我们请求的不是url ...
分类：
其他好文 时间：
2018-06-24 18:01:41
阅读次数：
184
from urllib import request from time import sleep from lxml import etree import csv # import random #sleep(random.random(1)*2) 随机秒数 # 参数部分 # sz_url = ... ...
分类：
其他好文 时间：
2018-06-20 14:33:12
阅读次数：
194
如在请求一个URL，网站没有响应的时候，会无限卡死进程。这个时候我们可以在urllib2.urlopen设置一个超时时间，超过这个时间的话就抛出异常。如下所示。 我们可以捕抓到这个异常然后用自己的方法去处理。 ...
分类：
编程语言 时间：
2018-06-15 00:00:27
阅读次数：
339
urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常 因而对程式进行了更新 对比老版本： 下面运行目前会有报错 ...
分类：
微信 时间：
2018-06-14 01:13:18
阅读次数：
290
晚上回来学学爬虫，记住，很多网站一般新手是爬不出来的，来个简单的，往下看：import urllib.requestfrom bs4 import BeautifulSoup #我用的pycharm需要手动导入这个包的import lxml #同上def getHtml(url,headers): ...
分类：
编程语言 时间：
2018-06-13 23:37:35
阅读次数：
258
刚刚入坑Pycharm，试了个简单爬取网页： 结果控制台输出中文变成了unicode编码。 最后read()改成read().decode()解决 ...
分类：
其他好文 时间：
2018-06-13 15:17:19
阅读次数：
1760
在urllib.request模块中。 data参数urlopen（）函数API中的一个，是可选的参数。如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过bytes（）方法进行转换。 bytes（）方法中第一个参数是str（字符串）类型，所以必须用urllib.pars ...
分类：
其他好文 时间：
2018-06-11 11:04:57
阅读次数：
133
网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 Urllib2介绍： 1.urlopen import urllib2 #导入urllib2 库 response = urllib2.urlopen("http://www.baidu.com") #向指定的url发送请求 ...
分类：
Web程序 时间：
2018-06-11 00:32:15
阅读次数：
233
