scrapy处理选中一个目录 scrapy startproject name 创建一个项目 cd neme 切进去 scrapy genspider spidername allowurl 创建一个爬虫指定允许访问的地址 一般而言 加请求头,cookie,ip,维持会话在middleware中改写 ...
分类:
编程语言 时间:
2020-05-02 16:48:58
阅读次数:
83
db.getCollection('syxw').find({'click':{$type:2}}).forEach(function(x){x.click=NumberInt(x.click);db.getCollection('syxw').save(x);}) use sxmu 再执行,将sy ...
分类:
数据库 时间:
2020-05-02 11:30:10
阅读次数:
135
#! /bin/bash #download url file_name file_dir define download_url=https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.18.tgz file_name=${downloa ...
分类:
数据库 时间:
2020-05-02 09:24:48
阅读次数:
65
必备条件: 一台能上404的机子.. 过程: 翻本子的时候觉得要是直接爬到本地看起来多舒服啊..然后就写了个爬虫,由于也只是初学爬虫,个中技巧也不熟练,写的过程中的语法用法参考了很多文档和博客,具体过程,我是对于当前搜索页用F12看过去..找到每个本子的地址再一层层下去最后下载图片,根据标签一层层遍 ...
分类:
编程语言 时间:
2020-05-01 23:56:54
阅读次数:
216
简单的配置什么的,可以取官网看,连接地址 https://docs.mongodb.com/drivers/go ; 普通的查询很好说,几乎一看就明白,但是如果想要根据 _id 来查询的话,在python中,会有一个ObjectId()的类;在golang中其实也差不多,不过变成了 primitiv ...
分类:
数据库 时间:
2020-05-01 23:53:56
阅读次数:
317
一、简述关系数据库中表与表的 3 种关系 1)一对一的关系 例如:一个人对应一个唯一的身份证号,即为一对一的关系。 2)一对多关系 例如:一个班级对应多名学生,一个学生只能属于一个班级,即为一对多关系 3)多对多关系 例如:一个学生可以选多门课程,而同一门课程可以被多个学生选修,彼此的对应关系 即是 ...
分类:
数据库 时间:
2020-05-01 19:04:15
阅读次数:
163
Mongodb 账户权限配置 1、第一步创建超级管理用户 use admin db.createUser({ user:'admin', pwd:'123456', roles:[{role:'root',db:'admin'}] }) 2、第二步修改 Mongodb 数据库配置文件 路径:C:\P ...
分类:
数据库 时间:
2020-05-01 18:31:07
阅读次数:
83
一、 连接数据库 1、连接数据库 mongo 清屏:cls 查看所有数据库列表 show dbs 1、使用数据库、创建数据库 use itying 如果真的想把这个数据库创建成功,那么必须插入一个数据。 数据库中不能直接插入数据,只能往集合(collections)中插入数据。下面命令表示给 ity ...
分类:
数据库 时间:
2020-05-01 14:36:26
阅读次数:
75
1、NoSql 介绍 2.1 NoSQL 介绍 NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是 SQL”,它指的是非关系型的数据库,是以 key-value形式存储,和传统的关系型数据库不一样,不一定遵循传统数据库的一些基本要求,比如说遵循 SQL 标准、ACID 属性、表 ...
分类:
数据库 时间:
2020-05-01 12:35:08
阅读次数:
96
MongoDB 是什么?MongoDB 是一个基于分布式文件存储的数据库;由 C++ 语言编写 MongoDB做什么?为 WEB 应用提供可扩展的高性能数据存储解决方案 创建数据库文件的存放位置data的目录下,创建一个db文件 D:\MongoDB\data\db (1) 打开cmd命令用Wind ...
分类:
数据库 时间:
2020-04-30 23:13:00
阅读次数:
96