在上文中我们说了：爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！下面我们分析爬虫的基本流程 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应 获取响应内容如果服务器能正常响应，会 ...
分类：
编程语言 时间：
2019-04-30 19:52:22
阅读次数：
124
HTTP请求： 1.HTTP请求主要分为“Get”和“Post”两种方法。 2.当我们在浏览器输入URL http://www.baidu.com 的时候， 浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件 服务器把Response文件对象发送回给浏览 ...
分类：
Web程序 时间：
2019-04-23 21:13:37
阅读次数：
232
请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本。 Get请求例子，使用Charles抓取的request： 第一部分：请求行，用来说明请求类型,要访问的资源以及所使用的HTTP版本. GET说明请求类型为GET,[/562f25980001b1b106000338.jpg]为 ...
分类：
Web程序 时间：
2019-04-18 14:56:27
阅读次数：
238
Request 请求 HttpServletRequest概述 我们在创建Servlet时会覆盖service()方法，或doGet()/doPost(),这些方法都有两个参数，一个为代表请求的request和代表响应response。 service方法中的request的类型是ServletRe ...
分类：
其他好文 时间：
2019-04-15 00:48:18
阅读次数：
205
一、什么是springmvc springmvc是spring框架的一个模块，springmvc和spring无需通过中间整合层进行整合； springmvc是一个基于mvc的web框架 二、mvc设计模式在b/s系统下应用 1）用户发起request请求至控制器(Controller) 控制接收用 ...
分类：
编程语言 时间：
2019-03-26 19:44:35
阅读次数：
160
1.python或者java：建议先学python，等用python熟悉了什么是自动化测试的时候，这个时候在学java因为很多时候会用到java，仅仅python是不够的。比如性能测试，jvm。如果只做自动化python足够了。 2.学习接口前准备：熟悉HTTP；request请求 3.接口：pos ...
分类：
其他好文 时间：
2019-03-24 09:51:00
阅读次数：
140
http: const http = require("http"); http.createServer((req , res)=>{ req:request 请求 req.url 请求的地址 req.method 请求的方式 req.headers 请求头 req.body 接受get传递过来的 ...
分类：
Web程序 时间：
2019-03-07 16:23:19
阅读次数：
195
JSP内置对象预先定义了九个这个的对象： request（请求） 、 response （响应）、 session （会话）、 application （应用程序）、 out 、 pageContext (页面上下文对象)、 config（配置） 、 page （页）、 exception(异常) ...
分类：
Web程序 时间：
2019-03-03 22:13:06
阅读次数：
273
一、 什么是ASP.NET页面的生存周期 所谓的页面生存周期，指的是一个ASP.NET页面对象从初始化到销毁经过的步骤。在通常情况下我们在浏览器地址栏中输入网址查看页面时，浏览器则会向服务器端（IIS）发送一个Request请求，IIS就会判断发送过来的请求页面，完全识别HTTP页面处理程序类后，一 ...
分类：
Web程序 时间：
2019-02-28 18:19:23
阅读次数：
234
什么是urllib Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块 urlopen 关于urllib.re ...
分类：
Web程序 时间：
2019-02-22 12:13:27
阅读次数：
237
