1.正则表达式的简介 1.1 概念 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑 1.2 正则表达式的应用场景 表单验证(例如 : 手机号、邮箱、身份证.... ) 爬虫 2. ...
分类：
编程语言 时间：
2020-07-20 15:43:06
阅读次数：
92
爬虫步骤 确定爬取目标的url 使用python代码发送请求获取数据 解析获取到的数据（精确数据） 找到新的目标（新的url）回到第一步，再次获取 -- 自动化 数据持久化 python3(原生提供的模板)：urllibb.request urlopen 返回response对象 response. ...
分类：
其他好文 时间：
2020-07-20 10:42:59
阅读次数：
88
""" 使用urllib.request()请求一个网页内容，并且把内容打印出来。 """ from urllib import request import chardet if __name__ == '__main__': # 有的网站url使用不了 url = "https://www.cn ...
分类：
Web程序 时间：
2020-07-19 23:19:06
阅读次数：
78
什么是正则表达式？ 一套规则，匹配字符串的 能做什么 检测一个输入的字符串是否合法 ——web开发项目 表单验证 用户输入一个内容的时候，我们要提前做检测 能够提高程序的效率并且减轻服务器的压力 从一个大文件中找到所有符合规则的内容——日志分析，爬虫 能够有效的从一大段文字中快速找到符合规则的内容 ...
分类：
其他好文 时间：
2020-07-19 00:44:23
阅读次数：
121
# 此为获取东航登录时的token（经分析js得出此token存储于localstorage中） browser = webdriver.Chrome(executable_path='xxxx')browser.get('https://passport.ceair.com/?redirectUr ...
分类：
编程语言 时间：
2020-07-18 22:36:19
阅读次数：
166
Python爬虫部分由结对的郑磊完成。 前端利用改自eChart的工具类，用它提供的方法绘制热词云图。由于该工具类本身接收JSON进行绘制，而我们出于简单采用Stack将封装的结果传至页面，故在页面上用Java脚本和JavaScript现场封装了一个JSON提供给绘图接口。利用给定的点击事件接口合成 ...
分类：
其他好文 时间：
2020-07-18 22:28:26
阅读次数：
71
Python爬虫学习使用urllib3抓点网页数据并查找匹配。 ...
分类：
编程语言 时间：
2020-07-18 19:54:57
阅读次数：
63
Python爬虫 # 开发思路 准备 - 分析网页内容-结合chrome开发者模式 爬取原始数据 HTTP库 提取/清洗数据 保存 # 引入包 urllib - 指定url 获取网页信息 bs4 - 解析网页 re - 正则表达式，文字匹配 xlwt - excel操作 sqlite3 - SQLi ...
分类：
编程语言 时间：
2020-07-18 15:31:42
阅读次数：
66
Python第三方库 jieba - 分词 matplotlib - 绘图 PIL - 图片处理 numpy - 矩阵运算 sqlite3 - sqlite数据库 Flask - web框架 urllib - URL处理，网页爬虫 bs4 - 解析文档-html re - 正则表达式，文字匹配 xl ...
分类：
编程语言 时间：
2020-07-18 15:31:09
阅读次数：
65
在web sprider crawl过程中,许多网站都需要登录后才能访问，一般如果我们不用爬虫框架的前提下，常规用的就两个库 ，urllib库和requests库，本文将用最基础的urllib库，以模拟登录人人网为例，理清爬虫过程中登录访问和cookie的思绪。 1.终极方案，也是最简单粗暴最有效的 ...
分类：
编程语言 时间：
2020-07-18 00:32:56
阅读次数：
71
