1 这个是什么 整理Python中requests常用的API 2 代码 ...
分类：
编程语言 时间：
2019-09-01 01:10:37
阅读次数：
83
爬虫的工作原理 首先，爬虫可以模拟浏览器去向服务器发出请求； 其次，等服务器响应后，爬虫程序还可以代替浏览器帮我们解析数据； 接着，爬虫可以根据我们设定的规则批量提取相关数据，而不需要我们去手动提取； 最后，爬虫可以批量地把数据存储到本地 爬虫的步骤 第0步：获取数据。爬虫程序会根据我们提供的网址， ...
分类：
编程语言 时间：
2019-08-31 13:07:27
阅读次数：
123
# coding=utf-8import requestsfrom lxml import etree# 请求网页获取网页信息responce = requests.get("https://ibaotu.com/shipin/")# 整理网页文本对象html = etree.HTML(respon ...
分类：
编程语言 时间：
2019-08-30 18:48:24
阅读次数：
81
环境：win10 工具：jadx 、夜神模拟器、pycharm 下载好了之后加载到模拟器 输入正确的flag验证 加载到jadx。查看MainAtivity if语句进行验证是否正确，如果正确就输出you get it!调用了a函数，查看一下a函数 看到定义了四个数组a b c d 其中对arr数组 ...
分类：
其他好文 时间：
2019-08-29 23:56:00
阅读次数：
204
[TOC] 正则表达式是用来简洁表达一组字符串的表达式 一、正则表达式的语法 1.1 正则表达式的常用操作符 | 操作符 | 说明 | 实例 | | | | | | . | 表示任何单个字符 | | | [ ] | 字符集，对单个字符给出取值范围 | [abc]表示a、b、c，[a‐z]表示a到z单 ...
分类：
编程语言 时间：
2019-08-24 15:26:16
阅读次数：
87
基于requests模块发起ajax的get请求 需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据 用抓包工具捉取 使用ajax加载页面的请求 鼠标往下下滚轮拖动页面，会加载更多的电影信息，这个局部刷新是当前页面发起的ajax请求， 用抓包工具捉取页面 ...
分类：
编程语言 时间：
2019-08-20 01:23:58
阅读次数：
133
urllib基础 urlretrieve() urlretrieve(网址,本地文件存储地址) 直接下载网页到本地 urlcleanup() 清除缓存 info() 查看网页简介 getcode() 输出网页爬取状态码，200为正常，其他都不正常 geturl() 获取当前访问的网页的url 超时设 ...
分类：
编程语言 时间：
2019-08-19 19:31:12
阅读次数：
89
需求：爬取搜狗首页的页面数据 requests模块如何处理携带参数的get请求，返回携带参数的请求 需求:指定一个词条，获取搜狗搜索结果所对应的页面数据 之前urllib模块处理url上参数有中文的需要处理编码，requests会自动处理url编码 发起带参数的get请求 params可以是传字典或 ...
分类：
编程语言 时间：
2019-08-19 19:17:56
阅读次数：
121
准备工作 一：安装Chrome浏览器 二：根据你浏览器的版本号下载 ChromeDriver （笔者的版本号是 ） "ChromeDriver下载地址" "笔者的版本下载" 三：环境变量配置 （windows下）直接将ChromDriver可执行文件复制到python的Script目录下 四：验证安 ...
分类：
编程语言 时间：
2019-08-17 01:15:28
阅读次数：
150
