1.本次所想可视化的数据是各国所拥有的机场的数量 2.本次尝试主要花费的时间在于寻找数据和提取数据 3.对于可视化的第三方库 “一定要先规定字体” 不然在建立轴是不能显示中文的 4.本次主要加深了坐标的建立以及爬取网页数据 ...
分类：
其他好文 时间：
2020-05-16 09:21:00
阅读次数：
60
1、简介 Scrapy终端是一个交互终端，可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看它们的工作方式，方便在爬取的网页中提取数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终 ...
分类：
系统相关 时间：
2020-05-11 19:03:07
阅读次数：
72
以长沙楼盘为例，看一下它的房价情况如何url = https://cs.newhouse.fang.com/house/s/b91/ 一、页面 二、分析页面源代码 我们要获得的数据就是名字和价格，先来分析一下源代码，鼠标右键Inspect，并且打开xpath，第一步，找到需要提取数据的区域，选中定位 ...
分类：
其他好文 时间：
2020-05-06 19:28:26
阅读次数：
103
什么是覆盖索引？解释一： 就是select的数据列只用从索引中就能够取得，不必从数据表中读取，换句话说查询列要被所使用的索引覆盖。 解释二： 索引是高效找到行的一个方法，当能通过检索索引就可以读取想要的数据，那就不需要再到数据表中读取行了。如果一个索引包含了（或覆盖了）满足查询语句中字段与条件的数据 ...
分类：
数据库 时间：
2020-05-05 12:54:36
阅读次数：
164
1. 索引的概念 1.1 索引是什么 MySQL 官方对索引的定义为：索引（Index）是帮助MySQL 高效获取数据的数据结构。可以得到索引的本质：索引是数据结构。可以简单理解为排好序的快速查找数据结构。 在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向） ...
分类：
数据库 时间：
2020-05-05 00:59:37
阅读次数：
111
本节中的函数对JSON值执行搜索操作，以从其中提取数据，报告数据是否在其中的某个位置或报告其中的数据的路径。 JSON_CONTAINS(target, candidate[, path]) 通过返回1或0指示给定的candidateJSON文档是否包含在targetJSON文档中，或者（如果提供了 ...
分类：
数据库 时间：
2020-05-04 22:55:44
阅读次数：
86
爬取起点月票榜 一、实现过程： 1、找到一个感兴趣的网页——起点中文网的月票排行榜（https://www.qidian.com/rank/yuepiao），并尝试爬取： 2、分析网页源代码，思考提取数据方法 书名在h4标签，简介在p标签 利用soup.find_all(name, attrs, r ...
分类：
其他好文 时间：
2020-04-30 19:36:03
阅读次数：
100
数仓架构 老生常谈 一个数据仓库是一个统一的架构下组织不同数据源的异类集合。有两种构建数据仓库的方法：解释自上而下的方法和自下而上的方法。 1.自上而下的方法： 基本组件讨论如下： 外部源–外部源是从中收集数据的源，与数据类型无关。数据也可以是结构化，半结构化和非结构化的。 阶段区域–由于从外部源提 ...
分类：
其他好文 时间：
2020-04-27 15:17:10
阅读次数：
171
这个解析库对于学过前端的人非常友好，因为其有强大的CSS选择器，也可以增加或删除class，方便的提取数据或者属性。 初始化 字符串初始化 这个就是传入html代码的字符串格式，简单的requests库可以获得该参数。 以知乎 新闻页为例 r.text返回的是一个经过解码后的字符串，是unicode ...
分类：
编程语言 时间：
2020-04-24 01:01:23
阅读次数：
81
一.主题式网络主题式网络爬虫设计方案 1.爬虫名称：爬取中国大学排名分析 2.爬虫爬取的内容：爬取最好大学网的排名表 3.网络爬虫设计方案概述:主题式网络爬虫设计方案概述：实现思路：选定想要爬取的网页，查看网页源码，找出标签，提取数据，并将数据存入Excel文件中；读取文件数据，对数据进行清洗和处理 ...
分类：
其他好文 时间：
2020-04-23 21:13:54
阅读次数：
84
