<!DOCTYPE html fourth / GitHub stylesheet for MarkdownPad (http://markdownpad.com) / / Author: Nicolas Hery http://nicolashery.com / / Version: b13fe6 ...
分类：
编程语言 时间：
2018-01-13 15:46:02
阅读次数：
301
1.1 介绍通过过滤和分析HTML代码，实现对文件、图片等资源的获取一般用到：urllib和urllib2模块正则表达式（re模块）requests模块Scrapy框架urllib库：1）获取web页面2）在远程http服务器上验证3）表单提交（GET和POST）4）异常处理（urllib2.URLError）5）非http协议通信（ftp）获取页面信息：urllib2.urlopen(url,d
分类：
编程语言 时间：
2018-01-12 22:38:08
阅读次数：
264
初学爬虫，整理一些相关知识，方便查询 1、urlopen 语法： resp = request.urlopen(url) #读取所有内容 resp.read() #读取指定n个内容 resp.read(n) #读取一行内容 resp.readline() #所有内容以行的形式读取 resp.read ...
分类：
Web程序 时间：
2018-01-11 20:36:17
阅读次数：
225
from urllib import request from lxml import etree # url = '''http://bangumi.tv/anime/browser?sort=rank''' # response = request.urlopen(url) # html = r... ...
分类：
其他好文 时间：
2018-01-11 19:14:49
阅读次数：
179
爬取过程，首先通过urllib.request.urlopen(url).read(),读取对应网页的全部源代码，然后根据上面的第一个正则表达式进行第一次信息过滤，过滤完成后，进行第二次过滤，找出所有目标的图片链接，将这些链接地址存储到一个列表中，然后遍历该列表，并将对应链接通过urllib.req ...
分类：
其他好文 时间：
2018-01-11 15:23:18
阅读次数：
88
思路 1.首先在网页中使用账户和密码名登录慕课网 2.其次再分析请求头，如下图所示，获取到请求URL，并提取出cookie信息，保存到本地 3.最后在代码中构造请求头，使用urllib.request发送包含cookie信息的请求 源码 运行结果 入下图,可以看到，已经可以获取到登录后的一些信息了 ...
分类：
Web程序 时间：
2018-01-10 21:43:42
阅读次数：
281
一、响应Response 1、response属性 2、响应编码 如上response.encoding可以获得返回response的编码，通过给其赋值，可以更改其编码，如下实例： 3、获取二进制数据 方式一：response.content 方式二：stream=True参数 一点一点的取，比如下 ...
分类：
编程语言 时间：
2018-01-10 21:33:35
阅读次数：
235
一、flask实现的分页组件 from urllib.parse import urlencode,quote,unquote class Pagination(object): """ 自定义分页 """ def __init__(self,current_page,total_count,bas ...
分类：
其他好文 时间：
2018-01-10 20:17:38
阅读次数：
210
Python3之urllib模块 简介 urllib是python的一个获取url(Uniform Resource Locators，统一资源定位符)，可以用来抓取远程的数据。 常用方法 （1）urlopen urllib.request.urlopen(url, data=None,[timeo ...
分类：
编程语言 时间：
2018-01-10 17:00:53
阅读次数：
1238
本篇主要介绍，爬取html数据后，将html的正文内容存储为json或csv格式。1json格式存储选定要爬取的网站后，我们利用之前学过的内容，如：BeautifulSoup、xpath等方式解析，来获取我们希望得到的内容。1.1获取数据首先使用urllib访问页面https://www.lagou.com/zhaopin/Python/?labelWords=label获取html内容，代码如下
分类：
数据库 时间：
2018-01-09 10:19:09
阅读次数：
280
