静态网页：根据url即可方便的爬取 动态网页：分为两种：一种是通过F12查看控制台的xhr等文件，找到包含所要爬取的内容的文件，发现这个文件的url路径跟页码有联系，那么就可以根据构造的url来进行访问爬取了。还有一种情况是查看了包含所要爬取内容的文件，发现文件url是固定不变的或者跟页码没有关系， ...
分类：
编程语言 时间：
2019-12-15 20:00:48
阅读次数：
100
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <meta http-e ...
分类：
移动开发 时间：
2019-12-15 16:19:06
阅读次数：
89
我们经常会在网站追踪用户的信息，比如记录用户的停留时间。 但是如果发送是XHR请求的话。页面会阻塞。google了发现有一个api是可以支持的 大致是说 navigator.sendBeacon 可以用来发送一些小量的数据，特别适合统计场景，且这个请求是异步的，不受浏览器行为限制：即使浏览器关闭请求 ...
分类：
数据库 时间：
2019-12-10 15:14:27
阅读次数：
121
第一步 爬取数据 这样的日志页面需要取下来对时间进行分析，也可以求人家从数据库里面取出来给我，但是数据差不多，还是不求了 话不多说 只会request的我，根据往常一样，反手一个request.get(url) 和F12看到的一点都不一样？？ 好吧 看一下请求数据 在控制台>network>XHR检 ...
分类：
其他好文 时间：
2019-12-09 17:23:33
阅读次数：
109
AJAX 的全称是 Asynchronous JavaScript and XML（异步 JavaScript 和XML）， 意思就是“用 JavaScript 执行异步网络请求”。 它不是一项新技术，而是很多原有的成熟技术的结合体。 1.作用： 处理数据异常。 2.步骤： 创建 XHR 对象； 发 ...
分类：
Web程序 时间：
2019-12-06 13:48:08
阅读次数：
91
好程序员web前端教程分享前端javascript练习题之promisepromise-ajax的封装functionajax(url){//创建promise对象varpromise=newPromise(function(resolve,reject){//创建ajax对象if(window.XMLHttpRequest){varxhr=newXMLHttpRequest();}else{va
分类：
编程语言 时间：
2019-11-29 11:04:25
阅读次数：
90
好程序员web前端教程分享前端javascript练习题Ajax封装ajax的基本封装----必须掌握functionajax(url,fn){if(window.XMLHttpRequest){varxhr=newXMLHttpRequest();}else{varxhr=newActiveXObject("Microsoft.XMLHTTP");}xhr.open("get
分类：
编程语言 时间：
2019-11-28 09:25:13
阅读次数：
91
//创建 XMLHttpRequest 对象 var xhr = new XMLHttpRequest(); //配置请求方式、请求地址以及是否同步 xhr.open('POST', './play', true); //设置请求结果类型为 blob xhr.responseType = 'blob ...
分类：
其他好文 时间：
2019-11-21 16:50:09
阅读次数：
129
封装原生js ajax函数 function ajax(type,url,data,callback){ var xhr = XMLHttpRequest ? new XMLHttpRequest() : new ActiveXObject("Microsoft.XMLHTTP") if(typeo ...
分类：
Web程序 时间：
2019-11-15 20:03:16
阅读次数：
113
今天的任务是爬取拉勾网的职位信息。 首先，我们进入拉勾网，然后在职位搜索栏搜索Python 的同时，打开控制面板F12，来查看网页构成。 在XHR里，可以清楚的看见Ajax请求，所以需要使用session模块来模拟浏览器的行为来操作。 源代码如下： import requests import js ...
分类：
编程语言 时间：
2019-11-09 19:55:16
阅读次数：
113
