介绍 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 使用方法 项目演示 select选择器选择a标签中的文本内容和gref属性 效果 ...
分类：
其他好文 时间：
2019-10-05 14:13:33
阅读次数：
105
1， 因为是post型，所以需要抓取数据包 2， 测试结果为数字型注入 提交恒等的语句可以查询到所有的数据信息 3， 使用UNION联合查询法 判断字段数，测试为2个字段时没有报错，所以可以判断字段数为2 4， 爆字段 #发现两个都可以查询 5， 查询数据库 #可以查到数据库名称为 pikachu ...
分类：
其他好文 时间：
2019-10-04 23:21:18
阅读次数：
177
Python3实用编程技巧进阶 1.如何实现可迭代对象和迭代器对象 如果想从网络上抓取数据存入字典，然后再对字典进行迭代显示，由于网络I/O操作的时间相对较长，这样就会造成用户的长时间等待，我们希望能一次抓取就显示一次，于是迭代器对象出现了。在 for 循环的时候 in 后面跟的是一个可迭代对象，在 ...
分类：
编程语言 时间：
2019-09-30 21:44:50
阅读次数：
96
Python爬虫工程师必学 App数据抓取实战 爬虫分为几大方向，WEB网页数据抓取、APP数据抓取、软件系统数据抓取。主要讲解如何用python实现App数据抓取 数据去重又称重复数据删除，是指在一个数字文件集合中，找出重复的数据并将其删除，只保存唯一的数据单元。数据去重可以有效避免资源的浪费，所 ...
分类：
移动开发 时间：
2019-09-28 14:34:49
阅读次数：
294
开始爬虫之旅 引言 我经常会看到有人在知乎上提问如何入门 Python 爬虫？、Python 爬虫进阶？、利用爬虫技术能做到哪些很酷很有趣很有用的事情？等这一些问题，我写这一系列的文章的目的就是把我的经验告诉大家。 什么是爬虫? 引用自维基百科 网络蜘蛛（Web spider）也叫网络爬虫（Web ...
分类：
编程语言 时间：
2019-09-22 14:42:25
阅读次数：
135
第六天： 使用Beautiful Soup解析网页 通过requests库已经可以抓到网页源码，接下来要从源码中找到并提取数据。Beautiful Soup是python的一个库，其最主要的功能是从网页中抓取数据。Beautiful Soup目前已经被移植到bs4库中，也就是说在导入Beautifu ...
分类：
编程语言 时间：
2019-09-19 21:51:57
阅读次数：
124
什么是爬虫 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 爬虫的分类 1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上 ...
分类：
其他好文 时间：
2019-09-18 14:30:04
阅读次数：
126
从 android 2.3 之后已经限制无法在主线程中使用网络抓取数据 会出现 NetworkOnMainThreadException 从 android 2.3 之后已经限制无法在主线程中使用网络抓取数据 会出现NetworkOnMainThread... ...
分类：
移动开发 时间：
2019-09-16 13:34:41
阅读次数：
103
其实 web scraper 说到底就是那点儿东西，所有的网站都是大同小异，但是都还不同。这也是好多同学总是遇到问题的原因。因为没有统一的模板可用，需要理解了 web scraper 的原理并且对目标网站加以分析才可以。 今天再介绍一篇关于 web scraper 抓取数据的文章，除了 web sc ...
分类：
Web程序 时间：
2019-09-12 10:11:07
阅读次数：
172
[TOC] http协议是明文传输的，不实现加密传输的话很容易被抓包软件抓取数据并进行篡改，所以现在涉及到money的领域、微信大家族里面一般都是强制使用https协议进行开发。 加解密基本知识 1. 对称加密 2. 非对称加密 对称加密 对称加密：加密所使用的密钥与解密所使用的密钥是同一个则是对称 ...
分类：
Web程序 时间：
2019-08-29 09:33:10
阅读次数：
111
