MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写,运行稳定,性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站 MongoDB特点 模式自由 :可以把不同结构的文档存储在同一个数据库里 面向集合的存储:适合存储 JSON风格文件的形式 完整的索 ...
分类:
数据库 时间:
2020-01-28 23:13:45
阅读次数:
95
安装 到mongodb官网下载安装包或者压缩包:https://www.mongodb.com/download-center?jmp=nav 1、如果是msi包的话则点击按步骤安装,如果是压缩包的话不用安装; 2、配置环境变量:将mongodb的bin目录配置到环境变量的path中,或者新建MON ...
分类:
数据库 时间:
2020-01-28 21:40:34
阅读次数:
109
"java从心"正式更名"KEN DO EVERTHING"。Ken(Can) Do Everything,无所不能 Believe youseft then you can do everthing ! 我也是刚踏入python的大门,所以只能给点小建议,而不是指导(暂时只接触了python爬虫) ...
分类:
编程语言 时间:
2020-01-28 21:17:37
阅读次数:
76
常见的热备份方案LVM方案利用Linux的LVM技术来实现热备份,将MySQL的数据目录放到LVM逻辑卷上,然后通过LVM快照技术备份逻辑卷的内容。第一次备份是全量备份,之后的备份都是增量备份。在还原时,将快照中的数据目录恢复到ySQL的数据目录即可。使用LVM这种技术不仅可以备份MySQL还可以备份MongoDB等其他数据库,但使用LVM做热备份方案也比较麻烦,因为需要手动创建逻辑卷、迁移数据目
分类:
数据库 时间:
2020-01-28 20:52:17
阅读次数:
92
以3个节点为例子 1. 分别配置三个配置文件,文件目录,日志目录 systemLog: verbosity: 1 destination: file path: "/root/software/mongod_replication/replication2/logs/mongod.log" logA ...
分类:
数据库 时间:
2020-01-28 13:53:23
阅读次数:
83
Url管理器: 用来管理要抓取的url和已抓取的url,防止重复抓取和循环抓取,url管理器的五个最小功能: 1、添加url到容器中 2、获取一个url 3、判断url是否已在容器中 4、判断是否还有待爬取的url 5、将待爬取的url移到已爬取的url 网页下载器: 网页下载器是爬虫的核心组件,它 ...
分类:
编程语言 时间:
2020-01-28 12:24:55
阅读次数:
55
参考资料:https://cuiqingcai.com/993.html 即 静觅 » Python爬虫实战二之爬取百度贴吧帖子 我最近在忙学校的一个小项目的时候涉及到NLP的内容。但是在考虑如何训练的时候却才懂什么叫巧妇难为无米之炊的滋味。中文语料库实在少的可怜,偶尔有一两个带标签的语料库,拿出一 ...
分类:
编程语言 时间:
2020-01-28 09:28:35
阅读次数:
74
KV键值对存储大家都很熟悉了,Java 中的 map 都是在堆内存储,如果我们遇到一种情况是map特别大,每次GC我们不想释放这些空间,那么这一部分缓存数据又该如何处理呢?当然大家说可以使用第三方缓存组件:Redis,HBase,MongoDB,今天给大家多一种选择:堆外内存。 今天要给大家介绍的是 ...
分类:
编程语言 时间:
2020-01-27 15:53:23
阅读次数:
104
前些日子看阿里云便宜,买了一个,安装了一个mongodb,自己连着做调试。 好久没用了,今天突然惊喜的发现被黑客登录了。没想到居然还有人靠这么低级的漏洞混饭吃。 被黑的表现如下: 其中mydb1的数据和mydb2的数据都被清空了。 从mongodb的直连地址来自美国(当然也有可能是用的美国服务器做的 ...
分类:
数据库 时间:
2020-01-27 15:51:27
阅读次数:
323
爬虫时报错如下: requests.exceptions.SSLError: HTTPSConnectionPool(host='某某某网站', port=443): Max retries exceeded with url: /login/ (Caused by SSLError(SSLErro ...
分类:
编程语言 时间:
2020-01-27 13:43:26
阅读次数:
549