2019-2020-1学期 20202429《网络空间安全专业导论》第三周学习总结 经过前两周的学习,我们已经对电脑的数据处理和存储等有了一定得了解,这些仅仅是在了解计算机,而在第六、七章中,学习了如何使用计算机系统和计算机算法。 第六章 低级程序语言与伪代码 机器语言与Pep/9虚拟机 计算机最终 ...
分类:
其他好文 时间:
2020-10-29 10:23:23
阅读次数:
21
认知和学习Hadoop,我们必须得了解Hadoop的构成,我根据自己的经验通过Hadoop构件、大数据处理流程,Hadoop核心三个方面进行一下介绍: 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成,而上层的生态系统都是基于 ...
分类:
其他好文 时间:
2020-10-29 10:11:31
阅读次数:
19
什么情况下需要布隆过滤器? 先来看几个比较常见的例子 字处理软件中,需要检查一个英语单词是否拼写正确 在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里,一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 这几个例子有一个共同的特点: 如何判断一个元素是否存在一个集合中 ...
分类:
其他好文 时间:
2020-10-27 11:01:11
阅读次数:
45
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于快学Python ,作者叶庭云 一、分析网页 网站的页面是 JavaScript 渲染而成的,我们所看到的内容都是网页加载后又执行了JavaScript代码之后才呈现出 ...
分类:
编程语言 时间:
2020-10-27 10:58:40
阅读次数:
26
copy自:http://www.ayulong.cn/types/2 视频教程:https://www.bilibili.com/video/BV1cE411u7RA?p=1 虽然前面的知识看着比较零散, 第一次接触到爬虫的我不禁在想这些真的和爬虫有关系吗, 但是事实上前面的知识确实就是爬虫的核心 ...
分类:
移动开发 时间:
2020-10-26 10:58:08
阅读次数:
36
1、定义元组 2、增删改查 增-连接,删-删除整个元组变量,改-不能改,查-访问,切片 3、其他操作 ...
分类:
编程语言 时间:
2020-10-26 10:39:08
阅读次数:
22
scrapy是基于twisted的异步处理框架,与传统的requests爬虫程序执行流程不同,scrapy使用多线程,将发送请求,提取数据,保存数据等操作分别交给Scheduler(调度器),Downloader(下载器),Spider(爬虫),Pipeline(管道)等爬虫“组件”来完成。多线程的 ...
分类:
其他好文 时间:
2020-10-24 10:26:51
阅读次数:
25
走过路过不要错过,学不会没关系,长点见识也是可以的啦。 简介 博主于17年开始自学的python, 期间做过各个领域的python开发,包括爬虫, web, 硬件, 桌面应用, AI, 数据分析。 很多人学习python,不知道从何学起。很多人学习python,掌握了基本语法过后,不知道在哪里寻找案 ...
分类:
编程语言 时间:
2020-10-24 09:55:19
阅读次数:
29
Python爬虫爬取动态网页 我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获取到网页的数据的情况,而且右键查看网页源代码也无法看到网页的数据,同时点击第二页、第三页等进行翻页的时候,网页地址栏中的url也没变,这些就是动态网页,例如:http://www.neeq.com.cn/ ...
分类:
编程语言 时间:
2020-10-22 22:21:32
阅读次数:
21
烤串:http://player.youku.com/embed/XMjQ4NzQ2NDEzNg== 小品网站1 小品网站2 等我学了爬虫 ,一定会来下载你们 ...
分类:
Web程序 时间:
2020-10-22 22:20:49
阅读次数:
35