码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 mongodb ji    ( 12880个结果
我的全栈工程师之旅(一)
之前我一直做的是php开发,也一直比较忙,没时间安排学习前端,现在终于有点时间了,鉴于现在前端开发大行其道,作为一个合格的开发者,也改学习学习了。我准备在半个月能搞定这些前端开发的知识,虽无法做到完全精通,但至少要能够写些小小的程序。 那么,前端开发需要学习哪些知识呢。 由于我已经具备了JavaSc ...
分类:其他好文   时间:2020-01-16 23:49:50    阅读次数:78
mongodb
优势 MongoDB 相比 RDBMS 的优势 模式较少:MongoDB 是一种文档数据库,一个集合可以包含各种不同的文档。每个文档的字段数、内容以及文档大小都可以各不相同。 采用单个对象的模式,清晰简洁。 没有复杂的连接功能。 深度查询功能。MongoDB 支持对文档执行动态查询,使用的是一种不逊 ...
分类:数据库   时间:2020-01-16 18:46:20    阅读次数:88
python爬虫——scrapy的使用
本文中的知识点: 安装scrapy scrapy的基础教程 scrapy使用代理 安装scrapy 由于小哥的系统是win7,所以以下的演示是基于windows系统。linux系统的话,其实命令都一样的,没啥差,windows与linux都可以用。 安装好后,先看下scrapy是否安装上了,确认下, ...
分类:编程语言   时间:2020-01-16 18:42:21    阅读次数:91
百万级高并发MongoDB集群性能数十倍提升优化实践(上篇)
1. 背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量,读流量很低),峰值tps几乎已经到达集群上限,同时平均时延也超过100ms,随着读写流量的进一步增加,时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构,数据均衡的分布于各个分片中,添加片键启用分片功能后实现完美 ...
分类:数据库   时间:2020-01-16 16:06:23    阅读次数:108
实现java连接mongoDB(简单封装)
最近要完成一个登陆注册的功能,加上刚刚学了MongoDB,就想试一试,查了很多博客,都不能找到一篇完整的用例,只有自己折腾下了。这里我们需要加载一个jar包,我用的是mongo-java-driver-3.8.0.jar,主要用到的是client下的相关组件。 package com.amyyang ...
分类:数据库   时间:2020-01-16 14:16:18    阅读次数:342
MongoDB---初识
1、概述 1.1、MongoDB 是一个 基于分布式存储的 数据库、由C++编写、旨在 为web应用 提供 高可用的高性能数据存储解决方案; 1.2、MongoDB 将 数据 存储 为 文档,数据结构 是 key-value (BSON形式:类似json的二进制形式的存储格式[Binary JOSN ...
分类:数据库   时间:2020-01-15 19:47:48    阅读次数:69
python爬虫——urllib使用代理
收到粉丝私信说urllib库的教程还没写,好吧,urllib是python自带的库,没requests用着方便。本来嘛,python之禅(import this自己看)就说过,精简,效率,方便也是大家的追求。不过大家有要求,那就写一篇关于urllib的基础教程。 本文中的知识点: get请求 使用代 ...
分类:编程语言   时间:2020-01-15 19:28:11    阅读次数:99
Mongo---com.mongodb.client
1、概述 1.1、MongoDB 对数据的操作 分为 Read Operations(查询操作)、Write Operations(增、删、改); 1.2、MongoDB 提供 客户端 用 bulk 方式 执行 Write Operations(批量写操作); 1.3、 BulkWriteResul ...
分类:数据库   时间:2020-01-15 13:59:10    阅读次数:234
MongoDB安装
安装的是4.2版本的MongoDB,下载下来msi文件以后,一路下一步下一步,然后选择Custom(自定义), 之后选择相对应的安装路径,因为C盘快满了,安装在了D盘,出现“install mongoDB罗盘”的时候把小勾取消掉,直接安装即可。 安装好了以后,目录大概是这个样子: 有bin,有dat ...
分类:数据库   时间:2020-01-15 12:14:34    阅读次数:97
小白学 Python 爬虫(40):爬虫框架 Scrapy 入门基础(七)对接 Selenium 实战
人生苦短,我用 Python 前文传送门: "小白学 Python 爬虫(1):开篇" "小白学 Python 爬虫(2):前置准备(一)基本类库的安装" "小白学 Python 爬虫(3):前置准备(二)Linux基础入门" "小白学 Python 爬虫(4):前置准备(三)Docker基础入门" ...
分类:编程语言   时间:2020-01-15 09:15:57    阅读次数:78
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!