上次说到了requests库的获取,然而这只是开始,你获取了网页的源代码,但是这并不是我们的目的,我们的目的是解析链接里面的信息,比如各种属性 @href @class span 抑或是p节点里面的文本内容,但是我们需要一种工具来帮我们寻找出这些节点,总不能让我们自己一个一个复制粘贴来完成吧,那样的 ...
分类：
编程语言 时间：
2019-03-16 20:55:39
阅读次数：
234
Selenium 简介： 有时候我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样，在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有。这是因为 requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaSc ...
分类：
其他好文 时间：
2019-03-15 18:49:30
阅读次数：
151
#!python3.7 import requests,sys,time,logging,random from lxml import etree logging.basicConfig(level=logging.ERROR, format=' %(asctime)s - %(levelname... ...
分类：
其他好文 时间：
2019-03-15 17:30:42
阅读次数：
133
一、get请求 1.导入requests后，用get方法就能直接访问url地址，如：http://www.cnblogs.com/yoyoketang/， 2.这里的r也就是response，请求后的返回值，可以调用response里的status_code方法查看状态码 3.状态码200只能说明这 ...
分类：
其他好文 时间：
2019-03-15 14:22:48
阅读次数：
182
写在前面在上一篇关于Kubernetes资源限制的文章我们讨论了如何通过ResourceRequirements设置Pod中容器内存限制，以及容器运行时是如何利用LinuxCgroups实现这些限制的。也分析了requests是用来通知调度器Pod所需资源需求和limits是在宿主机遇到内存压力时帮助内核限制资源二者的区别。在本文中，我会继续深入探讨CPU时间的requests和limits。你是
分类：
Web程序 时间：
2019-03-15 10:35:44
阅读次数：
261
当添加PYTHONPATH环境变量时，无论输入pip2 -V还是pip3 -V都显示的是python2的环境变量，使用pip3 install 时也是安装在了python2的三方库（因为python2中已经有了requests库所以提示已存在） 奇怪了，原来是环境变量导致的，哪个写在上面就都显示哪个 ...
分类：
编程语言 时间：
2019-03-14 18:21:00
阅读次数：
194
import requests,bs4,os #利用 requests 模块下载页面 url='http://xkcd.com' os.makedirs('xkcd', exist_ok=True) #创建一个文件夹xkcd while not url.endswith('#'): res=requ... ...
分类：
Web程序 时间：
2019-03-13 16:52:54
阅读次数：
235
Python 几种爬虫的方法 一、使用Requests库 1.1安装Requests库 pip install Requests 1.2实例： import Requests r = Requests.get(url) print r.text print r.status_code 传递URL参数 ...
分类：
编程语言 时间：
2019-03-13 12:17:44
阅读次数：
165
首先需要导入的包中，gzip和zipfile用于文件压缩和解压缩相关;argparse用于构建命令行参数;requests用于http请求下载网络文件资源;subprocess用于运行shell命令;tqdm用于进度条显示;six包用于python2和python3的兼容,比如 from six.m ...
分类：
其他好文 时间：
2019-03-13 10:41:21
阅读次数：
178
介绍 基于GET请求 带参数的GET请求->params 带参数的GET请求->headers 带参数的GET请求->cookies 基于POST请求 发送post请求，模拟浏览器的登录行为 补充 响应Response response属性 编码问题 获取二进制数据 解析json Redirecti ...
分类：
其他好文 时间：
2019-03-12 21:07:41
阅读次数：
193
