(一)使用Beautiful Soup库 1,安装Beautiful Soup库:pip install beautifulsoup4 2,简单使用: import requests; from _socket import timeout from bs4 import BeautifulSoup ...
分类:
编程语言 时间:
2020-01-31 00:49:17
阅读次数:
85
python爬虫抓取庆余年小说,并使用wordcloud胡乱分析 ...
分类:
编程语言 时间:
2020-01-30 23:12:32
阅读次数:
136
添加maven依赖 org.mongodb mongodb driver 3.6.4 org.mongodb mongo java driver 3.6.4 junit junit RELEASE 连接方式 / 无权限的连接方式 / @Test public void noAuthConnectio ...
分类:
数据库 时间:
2020-01-30 21:13:43
阅读次数:
89
上图请求头内容,内容多不说,也不确认哪些数据是必须的,网上找到一个懒办法 快速一键生成 Python 爬虫请求头 实战演练 抓取网站:https://developer.mozilla.org... 网站在线转换 1,Chrome 打开开发者选项( f12 ) > network 选项卡 > 刷新页 ...
分类:
其他好文 时间:
2020-01-30 17:20:21
阅读次数:
341
2.5、与python交互 点击查看官方文档 安装python包 进入虚拟环境 sudo pip install pymongo 或源码安装 python setup.py 引入包pymongo import pymongo 类MongoClient 连接,创建客户端 无安全认证:client=py ...
分类:
数据库 时间:
2020-01-30 10:00:50
阅读次数:
85
在mysql中已经学习了索引,并知道索引对于查询速度的提升 mongodb也支持索引,以提升查询速度 步骤一:创建大量数据 执行如下代码,向集合中插入10万条文档 for(i=0;i<100000;i++) { db.t1.insert({name:'test'+i, age:i}) } 步骤二:数 ...
分类:
数据库 时间:
2020-01-30 09:29:55
阅读次数:
76
2.4、备份 语法 mongodump -h dbhost -d dbname -o dbdirectory -h:服务器地址,也可以指定端口号 -d:需要备份的数据库名称 -o:备份的数据存放位置,此目录中存放着备份出来的数据 例1 sudo mkdir test1bak sudo mongodu ...
分类:
数据库 时间:
2020-01-29 23:31:14
阅读次数:
92
超级管理员 为了更安全的访问mongodb,需要访问者提供用户名和密码,于是需要在mongodb中创建用户 采用了角色-用户-数据库的安全管理方式 常用系统角色如下: root:只在admin数据库中可用,超级账号,超级权限 Read:允许用户读取指定数据库 readWrite:允许用户读写指定数据 ...
分类:
数据库 时间:
2020-01-29 23:25:53
阅读次数:
95
2.3、复制(副本集) 什么是复制 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性 复制还允许从硬件故障和服务中断中恢复数据 为什么要复制 数据备份 数据灾难恢复 读写分离 高(24* 7)数据可用性 无宕机维护 副本集对应用程序是透明 复制的工作 ...
分类:
数据库 时间:
2020-01-29 23:24:04
阅读次数:
86
# 本程序为学习代码,成功爬取了'梨视频'网站的全部视频文件,并保存在video文件夹 import os import re import requests def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r. ...
分类:
编程语言 时间:
2020-01-29 16:27:45
阅读次数:
434