从豆瓣图书Top250抓取数据，并通过词云图展示 导入库 抓取数据 提取词云图要展示的数据 绘图设置 结果展示 参考来源： 微信公众号：数据不吹牛(shujubuchuiniu) https://blog.csdn.net/weixin_40864434/article/details/903015 ...
分类：
其他好文 时间：
2019-08-25 19:39:31
阅读次数：
194
一 爬虫的初识和价值 什么是爬虫？ 爬虫就是通过编写程序 模拟 浏览器上网，让其去互联网上 抓取 数据的过程 爬虫的价值 实际的应用（爬取数据的产品化、商业化） 就业（爬虫工程师紧缺） 二 爬虫的合法性 爬虫本身 在法律上并不被禁止 ，但是具有违法的风险 爬虫所带来的的风险主要体现在一下两个方面： ...
分类：
其他好文 时间：
2019-08-23 15:02:36
阅读次数：
68
实验环境使用之前用过的GNS3、WireShark和CRT进入GNS3页面，点击左侧图标菜单栏，拖入2台路由器到拓扑操作台，再点击PC图标，选择VPC，拖入拓扑操作台，配置两台路由器(更改名称、更改图标、添加二层业务单板、添加磁盘容量为128Mb)----------------配置环境-------------1、接下来用网线把PC和路由器连接起来将PC1连到SW1的f1/0将PC2连到SW1的
分类：
其他好文 时间：
2019-08-10 09:45:02
阅读次数：
153
端口镜像 <H3C>system-vies //进入配置模式 用户名：admin 密码：admin（默认） [H3C] dis cu int 查看所有端口的配置 [H3C] mirroring-group 1 local //创建本地镜像组 [H3C] mirroring-group 1 mirro ...
分类：
其他好文 时间：
2019-08-04 13:48:23
阅读次数：
484
0x00 场景 在测试某个app的时候，抓取数据包，发现某些参数存在被加密的情况，或者有签名校验的情况，这个时候如果我们想直接去篡改数据包的内容往往是做不到的，那就来看看抓取的某个app登录数据包，如下所示，password字段明显进行了加密： 接下来，就开始通过JEB对apk进行反编译后动态调试定 ...
分类：
其他好文 时间：
2019-08-02 00:05:17
阅读次数：
178
如果想要大规模抓取数据，那么一定会用到分布式爬虫，对于分布式爬虫来说，我们一定需要多台主机，每台主机多个爬虫任务，但是源代码其实只有一份。那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行，那么怎么去部署就又是一个值得思考的问题。对于Scrapy来说，它有一个扩展组件叫做Scrapyd，我们只需要安装Scrapyd即可远程管理Scrapy任务，包括部署源码、启动任务、监听任务等操作。另外
分类：
编程语言 时间：
2019-08-01 09:41:48
阅读次数：
166
一、为什么要抓取数据 二、如何抓取数据 参考链接https://www.cnblogs.com/zhaopanpan/p/9319822.html https://www.cnblogs.com/zhaopanpan/ ...
分类：
其他好文 时间：
2019-06-29 12:40:04
阅读次数：
94
写在前面 本来这篇文章该几个月前写的，后来忙着忙着就给忘记了。ps:事多有时候反倒会耽误事。几个月前，记得群里一朋友说想用selenium去爬数据，关于爬数据，一般是模拟访问某些固定网站，将自己关注的信息进行爬取，然后再将爬出的数据进行处理。他的需求是将文章直接导入到富文本编辑器去发布，其实这也是爬 ...
分类：
其他好文 时间：
2019-06-08 14:41:46
阅读次数：
102
上图是zabbix的架构，zabbix proxy（代理），可以减小IO并发。 zabbix web GUI是用php写的画图工具，从数据库抓取数据。 zabbix database zabbix获取到的数据会存在mysql数据库。 zabbix server zabbix服务端。 概述 Zabbi ...
分类：
系统相关 时间：
2019-06-07 12:49:31
阅读次数：
126
前言 数据库监控工具最常用的就是zabbix了，zabbix能将收集到的数据通过图表展示出来，并通过设置阈值及时告警。可zabbix对于文本的处理就不行了，比方说抓取数据库运行的sql，这个zabbix就无能为力。如果想看这段时间内执行的sql，常用的手段，对于oracle我们能通过拉取一段时间的a ...
分类：
其他好文 时间：
2019-06-06 19:17:32
阅读次数：
202
