public ActionResult Index() { var musiclist = from i in ms.MusicInfo select i; //LinQ语句，从数据库中提取数据 //MusicInfo是一张表 return View(musiclist.ToList()); //执 ...
分类：
其他好文 时间：
2020-07-05 00:22:27
阅读次数：
69
爬虫固定套路 1.提取数据(1.找到需要爬取的url,通过http请求获取html页面) 2.解析数据(1.数据筛选,2.数据过滤,3.获取有效数据) 最难搞的就是这一步,因为你要去分析解析人家前端页面Html的格式,这里也就是爬虫功放战的主要战场 3.数据入库 一、提取数据 1.找到需要爬取页面的 ...
分类：
其他好文 时间：
2020-06-22 13:04:10
阅读次数：
56
数据解析 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery（自学） 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 数 ...
分类：
其他好文 时间：
2020-06-18 11:22:58
阅读次数：
123
1、引入 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 2、数据解 ...
分类：
编程语言 时间：
2020-06-17 23:03:38
阅读次数：
74
简述：爬取整个网站级别等需求复杂的爬虫，可以使用Scrapy框架。并发性好，速度快。 构成： 5+2结构 1. Engine模块 作用：1. 控制所有模块（2,3,4,5,a,b）之间的数据流 2. 根据条件来触发事件 a. Downloader Middleware(Downloader模块和en ...
分类：
其他好文 时间：
2020-06-16 20:14:06
阅读次数：
56
join_room接口需要用到creat_room接口中的返回值room_id作为参数 creat_room返回值 join_room传参 第一步： （1）creat_room请求： 返回值为： （2）添加JSON Extractor提取creat_room的返回值room_id。因为是返回值且是j ...
分类：
其他好文 时间：
2020-06-04 13:53:43
阅读次数：
75
原文链接 从高数原理推导出的PCA降维 【机器学习】降维-PCA PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最近重构性两方面进行，前者的优化条件为划分后方差最 ...
分类：
编程语言 时间：
2020-06-03 15:13:40
阅读次数：
75
by 豆豆 Beautiful Soup 简介 Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它提供了一些简单的操作方式来帮助你处理文档导航，查找，修改文档等繁琐的工作。因为使用简单，所以 Beautiful Soup 会帮你节省不少的工作时间 ...
分类：
其他好文 时间：
2020-05-31 16:05:49
阅读次数：
63
爬取简书思路： 1）使用selenium模拟浏览器打开网页2）由于分页是通过点击【阅读更多】按钮来加载数据的，因此需要模拟单击该按钮3）确定要爬取多少页的数据，如果要爬取10页的数据，就需要模拟单机10次【阅读更多】按钮4）单击该按钮后，需要定位这个信息列表元素，然后使用xpath提取数据5）提取到 ...
分类：
其他好文 时间：
2020-05-19 20:19:19
阅读次数：
48
软件测试会用到正则表达式吗？答案是肯定的： 正则表达式的应用场景有很多，一般是用来验证字符串，提取字符串和替换字符串。 在接口测试或性能测试中，经常需要从响应结果中提取数据作。经常用提取方法方式包括XPath和正则表达式提取法（例如：Jmeter中的正则表达式提取器）。 XPath的应用在前边UI自 ...
分类：
其他好文 时间：
2020-05-16 18:45:43
阅读次数：
59
