打开靶机环境 查看显示内容 根据提示，需要admin登录才能得到flag 题目介绍为Cookie欺骗、认证、伪造 介绍一下cookie和session 一、cookie： 在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户 ...
分类：
Web程序 时间：
2020-03-04 14:36:57
阅读次数：
472
前言 话说有一天，产品经理突然找到正在摸鱼的你。 产品：『我们要加一个聚合搜索功能，当用户在我们网站查询一件商品时，我们分别从 A、B、C 三个网站上查询这个信息，然后再把得到的结果返回给用户』 你：『哦，就是写个爬虫，从 3 个网站上抓取数据是吧？』 产品：『呸，爬虫是犯法的，这叫数据分析，怎么样 ...
分类：
编程语言 时间：
2020-02-18 23:21:10
阅读次数：
166
python使用正则抓取数据 今天主要学习了python使用正则抓取网页数据。 首先这是正则的几个步骤： 1、用import re 导入正则表达式模块； 2、用re.compile()函数创建一个Regex对象； 3、用Regex对象的search()或findall()方法，传入想要查找的字符串， ...
分类：
其他好文 时间：
2020-02-15 18:59:48
阅读次数：
79
[TOC] 一 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautif ...
分类：
其他好文 时间：
2020-01-29 12:41:33
阅读次数：
78
2019刚出校门，初到公司，最大的成就是完成了一个全球抓取数据的系统！简单介绍一下这个项目的实现思路以及在项目中踩过的坑，随时告诫自己以后尽量避免！ 历时一个半月还多几天，终于通过交付测试了！项目是从全球范围内，通过Google,Bing,雅虎来抓取数据，由于服务器不是特别的好，并且考虑到会有很多的 ...
分类：
其他好文 时间：
2020-01-22 01:16:02
阅读次数：
312
增加多线程抓取数据，增加url判断，若数据已抓取，不在重复抓取 （可参考URL管理器） 需要再添加上队列,否则全开 from lxml import etree import requests import time import os import random import urllib3 fr ...
分类：
编程语言 时间：
2020-01-20 18:54:59
阅读次数：
79
前言: 这节咱们抓取一下上位机的MQTT通信数据 使用这个软件抓取数据 假设咱手头有个上位机但是并不知道IP地址和端口号 反复的连接和断开,然后找到出现频率最高的 锁定该IP地址和端口号 ip.addr == 47.92.31.46 && tcp.port == 1883 让两个MQTT上位机通信 ...
分类：
其他好文 时间：
2020-01-15 09:18:50
阅读次数：
90
本篇集中介绍了6种场景，如果你在工作中遇到了同样的问题，欢迎与我们交流。 ...
什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。 ...
分类：
编程语言 时间：
2020-01-01 16:36:12
阅读次数：
108
一、Beautiful Soup的简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因 ...
分类：
编程语言 时间：
2019-12-31 12:39:28
阅读次数：
88
