SQL(Structured Query Language)：数据库，指关系型数据库。主要代表：SQL Server、Oracle、MySQL、PostgreSQL。 NoSQL(Not Only SQL)：泛指非关系型数据库。主要代表：MongoDB、Redis、CouchDB。 NewSQL：对 ...
分类：
数据库 时间：
2019-12-18 23:35:49
阅读次数：
364
一、爬虫的定义 爬虫定义：程序或者脚本——自动的爬取万维网的数据的程序或者脚本。 二、爬虫可以解决的问题 1、解决冷启动问题。 2、搜索引擎的根基——通用爬虫。 3、帮助机器学习建立知识图谱。 4、制作各种比价软件。 三、爬虫工程师的进阶之路 1、初级爬虫工程师 （1）web 前端的知识： HTML ...
分类：
编程语言 时间：
2019-12-18 21:59:23
阅读次数：
90
一、 MongoDB的概念 它是一个基于分布式文件存储的数据库，由C++编写，主要是为WEB应用提供可拓展的高性能的数据存储解决方案。它是一款介于关系型数据库和非关系型之间的产品，它所支持的数据结构非常松散，是一种叫bson的格式，非常类似于json格式，其可以存储比较复杂的数据类型，并且在查询数据 ...
分类：
数据库 时间：
2019-12-18 13:04:46
阅读次数：
83
1、 var result = db.foo.aggregate(...);db.bar.insert(result.result); 2、 var temp1 = db.mtb1.find(name:"joe");while(temp1.hasNext()) db.tab2.insert(temp ...
分类：
数据库 时间：
2019-12-18 12:51:39
阅读次数：
130
通过可视化工具，我们可以不用在命令行操作MongoDB了，可以直接使用类似于SQLyog的软件进行相关操作 1、下载地址（二者择其一即可），可使用迅雷来进行下载，否则下载速度极其慢 2018.4.6版 https://download.studio3t.com/studio-3t/windows/2 ...
分类：
数据库 时间：
2019-12-18 12:40:00
阅读次数：
101
0、前言 MongoDB是一个高性能、开源的文档型数据库，是当前nosql数据库中最热门的一种，在企业中广泛应用；虽然前段时间更改了开源协议导致被很多企业舍弃，但主要是对云服务商影响较大，对我们来说其实没什么影响；下面介绍简单集成，高级用法以后详聊 一、启动MongoDB 1、在官网下载Window ...
分类：
数据库 时间：
2019-12-18 10:45:38
阅读次数：
108
下载完MongoDB 找到数据库存储的位置 然后打开一个终端 输入mongo --dbpath + 上面的路径(相对路径 或者 绝对路径) 这是开机命令 然后重新打开一个终端（* 必须是重新打开一个） 输入mongo，如果光标是挂起状态，则说明进入成功 然后重新打开一个终端，进入项目路径，cnpm ...
分类：
数据库 时间：
2019-12-17 15:11:48
阅读次数：
81
无聊，自建轮子 创建mongo镜像,dockerfile如下 from centos:7 RUN yum install net-tools vim -y RUN mkdir -p /mongodb/bin \ && mkdir -p /mongodb/conf \ && mkdir -p /mon ...
分类：
其他好文 时间：
2019-12-16 17:29:12
阅读次数：
82
Scrapy 一 介绍 Scrapy简介 Scrapy架构图 Scrapy运行流程 二 安装 三 命令行工具 介绍 示例 四 项目结构以及爬虫应用简介 目录结构 应用说明 pycharm中运行爬虫程序 五 Spiders 1.介绍 2.Spider会循环做的事情 3.爬取格式 entrypoint. ...
分类：
编程语言 时间：
2019-12-16 13:37:02
阅读次数：
120
3.4.聚合 3.4.1.什么是聚合？ MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count( ) 例如上图中一个集合中有9个文档，通过count操作后，输出一个9，这种操作就是一个单一的聚合操作 3.4.2 ...
分类：
数据库 时间：
2019-12-16 13:23:37
阅读次数：
97
