码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 mongodb ji    ( 12880个结果
MongoDB简介
MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写,运行稳定,性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站 MongoDB特点 模式自由 :可以把不同结构的文档存储在同一个数据库里 面向集合的存储:适合存储 JSON风格文件的形式 完整的索 ...
分类:数据库   时间:2020-01-28 23:13:45    阅读次数:95
mongoDB的常用语法
安装 到mongodb官网下载安装包或者压缩包:https://www.mongodb.com/download-center?jmp=nav 1、如果是msi包的话则点击按步骤安装,如果是压缩包的话不用安装; 2、配置环境变量:将mongodb的bin目录配置到环境变量的path中,或者新建MON ...
分类:数据库   时间:2020-01-28 21:40:34    阅读次数:109
Python入门小建议
"java从心"正式更名"KEN DO EVERTHING"。Ken(Can) Do Everything,无所不能 Believe youseft then you can do everthing ! 我也是刚踏入python的大门,所以只能给点小建议,而不是指导(暂时只接触了python爬虫) ...
分类:编程语言   时间:2020-01-28 21:17:37    阅读次数:76
数据库热备份神器 - XtraBackup
常见的热备份方案LVM方案利用Linux的LVM技术来实现热备份,将MySQL的数据目录放到LVM逻辑卷上,然后通过LVM快照技术备份逻辑卷的内容。第一次备份是全量备份,之后的备份都是增量备份。在还原时,将快照中的数据目录恢复到ySQL的数据目录即可。使用LVM这种技术不仅可以备份MySQL还可以备份MongoDB等其他数据库,但使用LVM做热备份方案也比较麻烦,因为需要手动创建逻辑卷、迁移数据目
分类:数据库   时间:2020-01-28 20:52:17    阅读次数:92
Mongodb复制集搭建
以3个节点为例子 1. 分别配置三个配置文件,文件目录,日志目录 systemLog: verbosity: 1 destination: file path: "/root/software/mongod_replication/replication2/logs/mongod.log" logA ...
分类:数据库   时间:2020-01-28 13:53:23    阅读次数:83
python爬虫模块理解
Url管理器: 用来管理要抓取的url和已抓取的url,防止重复抓取和循环抓取,url管理器的五个最小功能: 1、添加url到容器中 2、获取一个url 3、判断url是否已在容器中 4、判断是否还有待爬取的url 5、将待爬取的url移到已爬取的url 网页下载器: 网页下载器是爬虫的核心组件,它 ...
分类:编程语言   时间:2020-01-28 12:24:55    阅读次数:55
Python爬取百度贴吧内容
参考资料:https://cuiqingcai.com/993.html 即 静觅 » Python爬虫实战二之爬取百度贴吧帖子 我最近在忙学校的一个小项目的时候涉及到NLP的内容。但是在考虑如何训练的时候却才懂什么叫巧妇难为无米之炊的滋味。中文语料库实在少的可怜,偶尔有一两个带标签的语料库,拿出一 ...
分类:编程语言   时间:2020-01-28 09:28:35    阅读次数:74
Java 堆外Map工具
KV键值对存储大家都很熟悉了,Java 中的 map 都是在堆内存储,如果我们遇到一种情况是map特别大,每次GC我们不想释放这些空间,那么这一部分缓存数据又该如何处理呢?当然大家说可以使用第三方缓存组件:Redis,HBase,MongoDB,今天给大家多一种选择:堆外内存。 今天要给大家介绍的是 ...
分类:编程语言   时间:2020-01-27 15:53:23    阅读次数:104
mongodb数据库被黑客删除数据的表现
前些日子看阿里云便宜,买了一个,安装了一个mongodb,自己连着做调试。 好久没用了,今天突然惊喜的发现被黑客登录了。没想到居然还有人靠这么低级的漏洞混饭吃。 被黑的表现如下: 其中mydb1的数据和mydb2的数据都被清空了。 从mongodb的直连地址来自美国(当然也有可能是用的美国服务器做的 ...
分类:数据库   时间:2020-01-27 15:51:27    阅读次数:323
解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)问题
爬虫时报错如下: requests.exceptions.SSLError: HTTPSConnectionPool(host='某某某网站', port=443): Max retries exceeded with url: /login/ (Caused by SSLError(SSLErro ...
分类:编程语言   时间:2020-01-27 13:43:26    阅读次数:549
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!