import requests #引入requests库 import bs4 #引入bs4库 session=requests.Session() #调用库里的Session（）方法 r=session.get('http://127.0.0.1:80/sysbench/tuninglog/cre... ...
分类：
编程语言 时间：
2018-07-28 17:24:51
阅读次数：
134
网络编程 用基础的urllib包发送get请求： 输出为： 发送post请求： 输出为： 利用requests包来发送请求： 发送get请求： res.json()方法可以将得到的response返回成字典 输出为： 发送post请求： 输出为： 发送入参为json格式的post请求： 输出为： 发 ...
分类：
其他好文 时间：
2018-07-27 19:28:05
阅读次数：
193
一、SSL问题1.不启用fiddler，直接发https请求，不会有SSL问题（也就是说不想看到SSL问题，关掉fiddler就行） 2.启动fiddler抓包，会出现这个错误：requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED ...
分类：
其他好文 时间：
2018-07-26 23:38:19
阅读次数：
289
爬取糗百内容 GitHub 代码地址 "https://github.com/injetlee/Python/blob/master/qiubai_crawer.py" 微信公众号：【智能制造专栏】，欢迎关注。 本文目标 掌握爬虫的基本概念 Requests 及 Beautiful Soup 两个 ...
分类：
编程语言 时间：
2018-07-26 21:15:24
阅读次数：
249
0.背景 使用 scrapy_redis 爬虫， 忘记或错误设置 request.priority(Rule 也可以通过参数 process_request 设置 request.priority)，导致提取 item 的 request 排在有序集 xxx:requests 的队尾，持续占用内存。 ...
分类：
编程语言 时间：
2018-07-26 20:01:04
阅读次数：
164
１．re实现 1 import re,os 2 import requests 3 from requests.exceptions import RequestException 4 5 MAX_PAGE = 10 #最大页数 6 KEYWORD = 'python' 7 headers = { ...
分类：
编程语言 时间：
2018-07-26 19:52:43
阅读次数：
223
课程简介学习Python爬虫开发数据采集程序啦！网络编程，数据采集、提取、存储，陷阱处理……一站式全精通！！！目标人群掌握Python编程语言基础，有志从事网络爬虫开发及数据采集程序开发的人群。学习目标了解Web前端，熟悉HTTP，系统学习Pythonurllib库HTTP编程模块，requests网络编程库，BeautifulSoup4HTML转换解析，并发数据采集、提取、存储，熟悉Seleni
分类：
数据库 时间：
2018-07-26 16:16:50
阅读次数：
220
HTTP请求格式 "GET {} HTTP/1.1\r\nhost: {}\r\nConnection\r\n\r\n".format(path, host) Request Header GET / HTTP/1.1Host: www.baidu.comConnection: keep-alive ...
分类：
Web程序 时间：
2018-07-25 13:53:05
阅读次数：
776
由于公司需求，要有一个监控，并且可以钉钉、邮件报警，我就做了。虽然，我是tester，因为公司暂时没运维，我兼职了。 前提条件： * 已经装好naigos，但没配置报警 * 需要linux下有python环境，并且安装requests第三方库 首先，我先感概一下这nagios的配置真有点麻烦，而且没 ...
分类：
移动开发 时间：
2018-07-25 00:58:25
阅读次数：
1273
内容简介 · · · · · · 本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实 ...
分类：
编程语言 时间：
2018-07-24 13:13:56
阅读次数：
803
