爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。 #!/usr/local/bin/python3.7 from selenium import webdri ...
分类：
编程语言 时间：
2020-06-14 20:53:53
阅读次数：
155
1.读取 2.数据预处理 3.数据划分—训练集和测试集数据划分 from sklearn.model_selection import train_test_split x_train,x_test, y_train, y_test = train_test_split(data, target, ...
分类：
其他好文 时间：
2020-06-14 20:45:45
阅读次数：
70
一、减少请求资源大小或者次数 1、尽量和并和压缩css和js文件。（将css文件和并为一个。将js合并为一个） 原因：主要是为了减少http请求次数以及减少请求资源的大小 打包工具： webpack gulp grunt. ....2、尽量所使用的字体图标或者SVG图标来代替传统png图 因为字体图 ...
分类：
其他好文 时间：
2020-06-14 17:08:19
阅读次数：
71
1，客户端通过Distributed FileSystem 向namenode请求下载文件，namenode 通过查找元数据，返回文件块所在datanode的地址。 2，客户端挑选一台datanode（按照就近原则，返回的块地址根据网络拓扑图排序，距离客户端进的排在前面）服务器，建立连接，请求读取数 ...
分类：
其他好文 时间：
2020-06-14 16:34:06
阅读次数：
59
1，客户端向nn请求上传文件，nn检查该文件和父目录是否存在。 2，nn返回响应给客户端，是否可以上传文件。 3，客户端向nn请求上传第一个块的dn的信息。 4，nn根据副本原则，返回给客户端块上传的dn节点信息。 5，客户端和dn1建立连接，请求上传数据，dn1接着和dn2建立连接，dn2和dn3 ...
分类：
其他好文 时间：
2020-06-14 16:31:06
阅读次数：
71
1、Model的使用 数据传递：Model是通过addAttribute方法向页面传递数据的； 数据获取：JSP页面可以通过el表达式或C标签库的方法获取数据； return：return返回的是指定的页面路径； 1 /** 2 * Model是每一次请求可以自动创建 3 * @param mode ...
分类：
其他好文 时间：
2020-06-14 15:01:53
阅读次数：
47
条件操作符用于比较两个表达式并从MongoDB集合中获取数据。 MongoDB中条件操作符有： (>) 大于 - $gt (<) 小于 - $lt (>=) 大于等于 - $gte (<= ) 小于等于 - $lte 一、MongoDB大于操作符 - $gt 如果想获取集合中 "likes" 大于 ...
分类：
数据库 时间：
2020-06-14 10:48:23
阅读次数：
205
题目描述 如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值，那么中位数就是所有数值排序之后中间两个数的平均值。我们使用Insert()方法读取数据流，使用GetMedian()方法获取当前读取数据的中位数。 题目链 ...
分类：
其他好文 时间：
2020-06-14 01:35:36
阅读次数：
73
//getcurl get读取数据function curlGet($url){ $UserAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.35 ...
分类：
Web程序 时间：
2020-06-13 11:25:57
阅读次数：
76
在工作中我们常会用到wireshark抓取数据包进行分析，当使用wireshark默认设置时，会捕获到大量冗余的数据包，如果没有过滤器过滤，我们很难找到自己想要抓取的数据，这个时候就需要用到wireshark的过滤器来过滤，它们可以帮助我们在庞杂的结果中迅速找到我们需要的信息。 wireshark提 ...
分类：
其他好文 时间：
2020-06-13 11:06:06
阅读次数：
87
