写在前面 这篇文章是我照着廖雪峰python网站学习的，大致内容差不多，多了我一丢丢的自己的想法。如果发现有什么不对的话请及时联系我。 参考链接： 介绍 这个模块是python的‘必用’模块，用来处理HTTP请求的请求和响应。在这里只介绍一些基本的。 通过 来安装。 使用版本 我学习时使用的pyth ...
分类：
编程语言 时间：
2019-11-27 19:18:35
阅读次数：
86
爬取网页数据有很多方法，我知道的就有： 1、scrapy框架，创建scrapy框架文件夹，在spider文件写上请求函数，文件保存函数等等 2、导入requests模块请求，写上请求函数和保存函数。 方法很多种，今天这章节是做简单的爬取方式了。根据cookie，user-agent请求数据。 1、导 ...
分类：
其他好文 时间：
2019-11-19 11:42:22
阅读次数：
88
怎么在java中实现类似于python的requests模块的session功能呢。java也是可以实现的，用java的okhttp包可以实现。 在pom.xml中加入相关依赖 <!-- https://mvnrepository.com/artifact/com.squareup.okhttp3/ ...
分类：
编程语言 时间：
2019-11-05 18:39:07
阅读次数：
151
概述 selenium模块的作用通过编写代码模拟人工对浏览器的事件,触发相关操作,从而获取网页信息,相对于使用requests模块,selenium模块对动态数据的爬取更为方便 安装selenium:pip install selenium -i https://pypi.douban.com/si ...
分类：
其他好文 时间：
2019-10-31 21:53:27
阅读次数：
84
requests模块主要是用于网页的请求，获取相应数据 tkinter模块是python基于GUI的一个模块，大致模块如下： 具体可参照：https://www.cnblogs.com/shwee/p/9427975.html 今天给大家介绍，自制翻译小工具的具体项目实战： 整体是实现方式： 步骤一 ...
分类：
编程语言 时间：
2019-10-29 19:24:47
阅读次数：
92
做爬虫的人,一定离不开的一个框架就是scrapy框架,写小项目的时候可以用requests模块就能得到结果,但是当爬取的数据量大的时候,就一定要用到框架. 下面先练练手,用scrapy写一个爬取猫眼电影的程序,环境配置和scrapy安装略过 第一步肯定是终端运行创建爬虫项目和文件 然后在产生的ite ...
分类：
其他好文 时间：
2019-10-29 10:01:18
阅读次数：
122
requests，发送http请求（用python模拟浏览器浏览网页）requests.get("http://www.baidu.com") 示例： 1 import requests 2 response = requests.get("http://www.weather.com.cn/ada ...
分类：
编程语言 时间：
2019-10-07 23:16:19
阅读次数：
115
发送短信微信：从服务商处购买url，用如http://www.fasong.com?...&...&... 也可用requests模块 import requests ...
分类：
微信 时间：
2019-10-05 20:16:11
阅读次数：
125
使用python的requests开发爬虫程序的时候，经常需要将之前请求返回的cookie值作为下一个请求的cookie进行调用，比如模拟登录之后的返回的sessionID，就是需要作为后续请求的cookie参数 分成三步走： 1、通过requests模块导入 from requests.cooki ...
分类：
编程语言 时间：
2019-10-05 12:15:43
阅读次数：
155
Requests模块的使用 中文文档API：http://2.python-requests.org/en/master/ 1、发送get、post请求 2、响应的属性 查看响应内容 response.text 属性 respone.content.decode('utf8') 属性，字节形式的需要 ...
分类：
编程语言 时间：
2019-10-01 20:19:40
阅读次数：
146
