以前搞偷偷摸摸的事，不对，是搞爬虫都是用urllib，不过真的是很麻烦，下面就使用requests + BeautifulSoup 爬爬简单的网页。 详细介绍都在代码中注释了，大家可以参阅。 发现自己表述能力真的是渣啊，慢慢提高吧。 ...
分类：
编程语言 时间：
2018-07-06 01:43:19
阅读次数：
199
发现一个问题，之前爬的内容写入文件的方式错了，应该是“wb"! 啊，居然才发现，太蠢了！ json.dump() : 将python内置类型序列转化为python对象后写入文件 json.load() : 将json形式的字符串元素转化成python类型 xpath模糊查询： //div[conta ...
分类：
Web程序 时间：
2018-07-02 23:06:12
阅读次数：
1561
请求库 urllib urllib主要分为几个部分 urllib.request 发送请求urllib.error 处理请求过程中出现的异常urllib.parse 处理urlurllib.robotparser 解析robots.txt -->规定了该网站的爬虫权限 urllib.request方 ...
分类：
编程语言 时间：
2018-07-01 18:19:25
阅读次数：
159
1、抓取网页的内容 urlopen(url)函数：这个函数返回一个 http.client.HTTPResponse 对象, 这个对象又有各种方法 #coding=utf-8import urllib.request url="http://www.baidu.com/"data=urllib.re ...
分类：
编程语言 时间：
2018-06-30 14:47:01
阅读次数：
134
#!/usr/local/bin/python#--coding:utf-8--Author:jackyTime:14-2-22下午11:48Desc:短信http接口的python代码调用示例importhttplibimporturllibimportjson#服务地址host="intapi.253.com"#端口号port=80#版本号version="v1.
分类：
编程语言 时间：
2018-06-29 12:13:43
阅读次数：
223
爬虫工作流程1、请求数据协议:http https websocket注意请求过程中的 headers（请求头）中User-Agent referer cookies请求库：urllib requests 工具：fiddler charles 2、解析数据正则表达式bs4lxml-xpath 3、数 ...
分类：
其他好文 时间：
2018-06-28 23:00:14
阅读次数：
356
1. Python3 使用urllib库请求网络 1.1 基于urllib库的GET请求 请求百度首页www.baidu.com ，不添加请求头信息： 输出显示百度首页的源码。但是有的网站进行了反爬虫设置，上述代码可能会返回一个40X之类的响应码，因为该网站识别出了是爬虫在访问网站，这时需要伪装一下 ...
分类：
编程语言 时间：
2018-06-26 22:36:04
阅读次数：
316
简介 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 Licensed 许可证的 ...
分类：
其他好文 时间：
2018-06-26 01:13:38
阅读次数：
345
有的时候爬取网页，可以利用网站额结构特点爬取网页 在百度搜索框中输入搜索内容，单击搜索，浏览器会发送一个带有参数的url请求。尝试删除其中的一些参数，只剩下wd这个参数。发现wd是搜索内容。这样程序可以根据不同的wd值，请求不同的网页。 浏览器中发送请求的url中包含汉字是不能请求成功的，需要将汉字 ...
分类：
Web程序 时间：
2018-06-24 16:54:42
阅读次数：
178
