urllib 标准库（py2中是urllib2） 子模块：request、parse、error request： urlopen函数：打开并读取一个从网络获取的远程对象 beautifulsoup4（bs4） 非标准库 Heading标签也叫做H标签，HTML语言里共六种大小的heading 标签 ...
分类：
其他好文 时间：
2017-11-11 19:52:41
阅读次数：
211
如果学会了python的基本语法，我认为入门爬虫是很容易的。 我写的第一个爬虫大概只需要10分钟，自学的 scrapyd , 看官方文档花了20分钟，因为我英文不是很好，很多单词需要搜索一下。 (scrapy 并不是入门必须的） 再接触到了 requests , lxml ，配合基本库 urllib ...
分类：
其他好文 时间：
2017-11-09 15:05:07
阅读次数：
160
1、模块说明 requests是使用Apache2 licensed 许可证的HTTP库。 用python编写。 比urllib2模块更简洁。 Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。 ...
分类：
编程语言 时间：
2017-11-09 14:30:09
阅读次数：
199
Python的urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。他们两个最显着的差异如下： urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。这意味着，你不能伪装你的用户代理字符串等。urlli ...
分类：
编程语言 时间：
2017-11-07 14:24:28
阅读次数：
198
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。 0x02 通过H ...
分类：
其他好文 时间：
2017-11-07 12:22:11
阅读次数：
272
#-*-coding:utf-8 -*- import urllib import re import json import urllib2 from lxml import etree import requests import time from Queue import Queue fro... ...
分类：
编程语言 时间：
2017-11-06 20:14:23
阅读次数：
231
首先来看一下他们的区别 urllib和urllib2 urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以通过urllib模块伪装你的User Agent字符串等（伪装浏览器）。 urllib提供urlencode方法用来 ...
分类：
Web程序 时间：
2017-11-05 23:29:32
阅读次数：
286
python中源码位置(以urllib为例):python中自带的模块:/usr/lib/python3.5/urllib/request.py(python3)/usr/lib/python2.7/urllib2.py(python2)python的第三方模块:/usr/local/lib/python2.7/site-packages/注意:关于urllib模块,python3中的导入方法为importurllib.request.方法..
分类：
其他好文 时间：
2017-11-04 23:41:18
阅读次数：
165
站在网站管理的角度，如果在同一时间段，大家全部利用爬虫程序对自己的网站进行爬取操作，那么这网站服务器能不能承受这种负荷？肯定不能啊，如果严重超负荷则会时服务器宕机（死机）的，对于一些商业型的网站，宕机一秒钟的损失都是不得了的，这不是一个管理员能承担的，对吧？那管理员会网站服务器做什么来优化呢？我想到 ...
分类：
Web程序 时间：
2017-11-02 11:26:35
阅读次数：
235
1.掌握python的基本语法知识2.学会如何抓取HTML页面: HTTP请求的处理:urlib、urlib2及requests(reqests对urllib和urllib2进行了封装 ，功能相当于二者的和) 处理后的请求可以模拟浏览器发送的请求，获取浏览器的响应3.解析服务器响应的内容: re、xpath、BeautifulSoup4(bs4)、j..
分类：
编程语言 时间：
2017-11-02 11:23:05
阅读次数：
146
