码迷,mamicode.com
首页 > 其他好文 > 详细

第三课之Spider(翻译单词)

时间:2020-07-19 16:17:25      阅读:111      评论:0      收藏:0      [点我收藏+]

标签:图片   凭证   code   get   复习   number   回顾   自动   alt   

第三课 - 模块Spider

把英文单词翻译成中文试试看,看不懂的选项,都翻译

Spider选项卡里的Application Login一栏:碰到表单怎么做?改成Automatically submit these credentials(自动提交这些凭证):用户名和密码写一个默认的都是admin

技术图片

Spider Status:爬取的状态

requests made 提出的请求

bytes transferred 传送的字节数

requests queued 请求队列

forms queued 队列形式

火狐浏览器,点击选项,点击常规,划到最后,点击网络设置,选择不使用代理,火狐浏览器就可正常访问


下面再来实践一次:爬行网址www.jwc.jyu.edu.cn/,网站选取的不好,下面就当回顾复习一下流程
1、
技术图片

2、
技术图片

3、
技术图片

4、
技术图片

5、再去Target查看前,先设置下Filter显示选项,第二课里有要设置哪些。爬出来的东西啥也没有

技术图片


Spider选项的一些设置:

技术图片

Number of threads(线程的数量):爬取小网站,2或3即可,大的网站,设置成10,非常大,传输速度快的网站。设置成100

第三课之Spider(翻译单词)

标签:图片   凭证   code   get   复习   number   回顾   自动   alt   

原文地址:https://www.cnblogs.com/IronMind/p/13339130.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!