内容整理自中国大学MOOC——北京理工大学-蒿天-Python网络爬虫与信息提取 相关实战章节 我们预爬取的url如下 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html 网页节选 在浏览器中读取网页源代码 可以 发现表格数据信息是直接写入HT ...
分类:
编程语言 时间:
2020-02-12 13:27:19
阅读次数:
125
?写在前面 : 欢迎加入纯干货技术交流群Disaster Army:317784952 接到5月25日之前要交稿的任务我就一门心思想写一篇爬虫入门的文章,可是我并不会。还好有将近一个月的时间去学习,于是我每天钻在书和视频教程里。其实并不难的,我只是想做到能够很好的理解它并用自己的语言较好的表达出来, ...
分类:
编程语言 时间:
2020-02-11 23:08:22
阅读次数:
130
基础概念 MongoDB 是非关系型数据库,也就是nosql,存储json数据格式会非常灵活,要比mysql更好,同时也能为mysql分摊一部分的流量压力。另外呢,对于非事务的数据完全可以保存到MongoDB中,这些数据往往也是非核心数据。 以下是MongoDB和数据库以及ElasticSearch ...
分类:
数据库 时间:
2020-02-11 14:42:11
阅读次数:
78
我对对象池的简单理解:当一个游戏需要产生大量游戏物体又需要频繁销毁时,可用一个对象池将游戏物体存储起来。目的是优化内存。 以下两篇我参考过觉得OK的博文: https://blog.csdn.net/u013236878/article/details/52443066 https://www.ji ...
分类:
其他好文 时间:
2020-02-11 00:44:23
阅读次数:
72
使用环境: window wamp自带php7.3.1 leveral composer 错误原因: 原来的php中并没有安装mongodb扩展,或者mongodb扩展的版本不对,版本要求是要大于^1.5.0。 使用php -m 可以查看已安装扩展列表,检查一下是否有mongodb扩展文件。 解决步 ...
分类:
数据库 时间:
2020-02-10 22:22:35
阅读次数:
196
内容整理自中国大学MOOC——北京理工大学-蒿天-基于bs4库的HTML页面遍历方法 我们使用如下链接作为实验对象 https://python123.io/ws/demo.html 页面信息如下 利用requests库爬取出网页的HTML完整代码 1 import requests 2 r = r ...
分类:
编程语言 时间:
2020-02-10 21:04:26
阅读次数:
126
概述 MongoDB 是一个通用的、面向文档的分布式数据库[^1],这是官方对 MongoDB 介绍。区别于传统的关系型数据库 MySQL、Oracle 和 SQL Server,MongoDB 最重要的一个特点就是『面向文档』,由于数据存储方式的不同,对外提供的接口不再是被大家熟知的 SQL,所以 ...
分类:
数据库 时间:
2020-02-10 18:27:12
阅读次数:
166
查询某个字段存在的语句 db.getCollection('tableName').find({"RouteInfo":{"$exists":true}}) 查询某个字段不存在的语句 db.getCollection('tableName').find({"RouteInfo":{"$exists" ...
分类:
数据库 时间:
2020-02-10 11:23:09
阅读次数:
57
mongoDB和redis一样,都是noSQL技术之一。 redis是Key Value存储,mongoDB是文档存储。 文档存储一般用类似json的格式存储,存储的内容是文档型的。文档是一组键值(key value)对(即 BSON)。 Mongo中的一些概念: shell连接mongo命令: 如 ...
分类:
数据库 时间:
2020-02-09 22:06:03
阅读次数:
83
1. 下载mongodb包,官方地址 $ wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1804-debugsymbols-4.0.16.tgz $ tar -xvzf mongodb-linux-x86_64- ...
分类:
数据库 时间:
2020-02-09 16:52:48
阅读次数:
89