一、重要的SQL命令 select:从数据库中提取数据 update:更新数据库中的数据 delete:删除数据库中的数据 insert into:插入新数据 create database:创建新数据库 alter database:修改数据库 create table:创建表 alter tab ...
分类:
数据库 时间:
2019-10-23 21:57:40
阅读次数:
102
数据分类 非结构化数据:html等 处理方法:正则表达式,xpath 结构化数据:json,xml 处理方法:转化位python数据类型 JSONView的使用: 安装JSONView插件 下载插件,拖入chrome://extensions/这个网页里就可以用了 ...
分类:
其他好文 时间:
2019-10-23 11:29:39
阅读次数:
98
介绍:Apache Solr 是一个开源的搜索服务器。Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现。 漏洞原因:此次漏洞出现在Apache Solr的DataImportHandler,该模块是一个可选但常用的模块,用于从数据库和其他源中提取数据。它具 ...
分类:
Web程序 时间:
2019-10-19 13:05:52
阅读次数:
98
**因为糗事百科的URL改变,正则表达式也发生了改变,导致了网上许多的代码不能使用,所以写下了这一篇博客,希望对大家有所帮助,谢谢!** 废话不多说,直接上代码。 为了方便提取数据,我用的是beautifulsoup库和requests 就返回none。 函数语法: re.search 扫描整个字符串并返回第一个成功的匹配。 函数语法: re.find ...
分类:
编程语言 时间:
2019-10-13 17:11:43
阅读次数:
105
Python爬虫工程师必学——App数据抓取实战 随着移动互联网的市场份额逐步扩大,手机APP已经占据我们的生活,以往的数据分析都借助于爬虫爬取网页数据进行分析,但是新兴的产品有的只有APP,并没有网页端这对于想要提取数据的我们就遇到了些问题,本章以豆果美食APP为例给大家演示如何提取手机的数据。 ...
分类:
移动开发 时间:
2019-10-11 17:55:27
阅读次数:
203
数据分析流程 一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程,每个部分需要掌握的细分知识点如下: 数据获取:公开数据、Python爬虫 外部数据的获取方式主要有以下两种。 第一种是获取外部的公开数据集,一些科研机构、企业、 ...
分类:
编程语言 时间:
2019-10-09 15:18:08
阅读次数:
86
? Beautiful Soup是python的一个HTML或XML的解析库,我们可以用它来方便的从网页中提取数据,它拥有强大的API和多样的解析方式。 Beautiful Soup的三个特点: Beautiful Soup提供一些简单的方法和python式函数,用于浏览,搜索和修改解析树,它是一个 ...
分类:
其他好文 时间:
2019-10-08 20:32:41
阅读次数:
70
BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库,它能够将 HTML 或 XML 转化为可定位的树形结构,并提供了导航、查找、修改功能,它会自动将输入文档转换为 Unicode 编码,输出文档转换为 UTF 8 编码。 BeautifulSoup 支 ...
分类:
编程语言 时间:
2019-10-07 11:36:01
阅读次数:
86
scrapy框架之Selectors选择器 Selectors(选择器) 当您抓取网页时,您需要执行的最常见任务是从HTML源中提取数据。有几个库可以实现这一点: BeautifulSoup是Python程序员中非常流行的网络抓取库,它基于HTML代码的结构构建一个Python对象,并且处理相当糟糕 ...
分类:
其他好文 时间:
2019-10-05 14:34:22
阅读次数:
83