-前言 之前一直用scrapy与urllib姿势爬取数据，最近使用requests感觉还不错，这次希望通过对知乎数据的爬取为 各位爬虫爱好者和初学者更好的了解爬虫制作的准备过程以及requests请求方式的操作和相关问题。当然这是一个简单的爬虫项目，我会用重点介绍爬虫从开始制作的准备过程，目的是为了 ...
分类：
编程语言 时间：
2018-06-13 12:06:22
阅读次数：
378
这次给大家带来的是4 幅思维导图，梳理了 Python 爬虫部分核心知识点：网络基础知识，Requests，BeautifulSoup，urllib 和 Scrapy 爬虫框架。 爬虫是一个非常有趣的主题，本文正是通过爬虫完成了课题所需数据的原始积累。第一次抓到数据时，感觉世界都明亮了呢~ 当然，由 ...
分类：
编程语言 时间：
2018-06-11 13:55:29
阅读次数：
1112
在urllib.request模块中。 data参数urlopen（）函数API中的一个，是可选的参数。如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过bytes（）方法进行转换。 bytes（）方法中第一个参数是str（字符串）类型，所以必须用urllib.pars ...
分类：
其他好文 时间：
2018-06-11 11:04:57
阅读次数：
133
# url编码与解码 from urllib import parse url = 'http://zzk.cnblogs.com/s/blogpost?Keywords=中文' a = '中文' b = parse.quote(a) # 转urlencode编码 print(b) print(pa... ...
分类：
编程语言 时间：
2018-06-09 16:42:45
阅读次数：
144
urllib库作为基本库，requests库也是在urllib库基础上发展的 但是urllib在使用上不如requests便利，比如上篇文章在写urllib库的时候，比如代理设置，处理cookie时，没有写，因为感觉比较繁琐，另外在发送post请求的时候，也是比较繁琐。 一言而代之，requests ...
分类：
其他好文 时间：
2018-06-09 15:59:08
阅读次数：
127
# 爬虫网络请求方式：urllib(模块), requests(库), scrapy, pyspider(框架)# 爬虫数据提取方式：正则表达式, bs4, lxml, xpath, css哪种方法都可以用,可以根据实际情况选用方式 ...
分类：
其他好文 时间：
2018-06-09 13:14:40
阅读次数：
104
# -*- coding: utf-8 -*-import scrapyimport urllib.request # https://accounts.douban.com/login class DoubanSpider(scrapy.Spider): name = 'douban' allow ...
分类：
其他好文 时间：
2018-06-09 13:14:17
阅读次数：
160
urllib库是python内置的一个http请求库 其实urllib库不好用，没有requests库好用，下一篇文章再写requests库，requests库是基于urllib库实现的 作为最最基本的请求库，了解一下原理还是很有必要的 常用模块： urllib.request 请求模块 urlli ...
分类：
Web程序 时间：
2018-06-08 23:15:56
阅读次数：
370
import urllib.requestfrom urllib import parsefrom lxml import etreeclass Tieba(): def __init__(self): pass def sendRequest(self,url,begin,end): header ...
分类：
其他好文 时间：
2018-06-08 19:32:38
阅读次数：
167
import osimport urllib.requestfrom urllib import parse#https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&pn=50def writePage(filename,html): """ :param f ...
分类：
其他好文 时间：
2018-06-08 19:31:47
阅读次数：
189
